Spiderless - 一个基于 AWS Lambda 的"即点即爬"爬虫应用

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

爱意满满的作品展示区。

这是一个创建于 2592 天前的主题，其中的信息可能已经有所发展或是发生改变。

网站跑在 AWS S3 上面不知道能否访问： https://kmppp.com

技术栈介绍和价值一个亿的核心代码开源在： https://github.com/slashbit/spider-less

至于功能，动图走起！

第 1 条附言 · 2018 年 12 月 16 日

附上架构图 Serverless Application Architecture (1).png

24 条回复 • 2019-02-20 22:06:42 +08:00

rayhy

2018 年 12 月 15 日

弱弱地问一下楼主有没有试过用国内的云服务商提供的类似功能（比如腾讯云的云函数）来做这件事情？

2018 年 12 月 15 日 via iPhone

支持

rayingecho

2018 年 12 月 15 日

思路很棒，已 star

8bits

2018 年 12 月 15 日

@rayhy 目前还没有用过国内的 Serverless 服务，如果有机会做小程序开发的话，倒还真想体验下腾讯云函数

abmin521

2018 年 12 月 15 日 via Android

量大的话需要 MQ 吧

isCyan

2018 年 12 月 15 日

AWS 全家桶实战，支持一个

8bits

2018 年 12 月 15 日

@abmin521 Message Queue 吗？嗯，可以用 AWS 的 SQS （ Simple Queue Service ），cron 函数将需要爬的任务筛选出来后，将消息扔到队列中，scrape 函数由队列消息触发

Senventise

2018 年 12 月 15 日 via Android

建议防一下滥用，貌似可以访问墙外地址

miao

2018 年 12 月 15 日

只能爬文字？

8bits

2018 年 12 月 15 日

@Senventise 的确哈，因为爬虫访问“外网”是不受限制的...

8bits

2018 年 12 月 15 日

@miao 嗯，目前只支持静态网页，在 AWS Lambda 上用 puppeteer 比较费劲

binarymann

2018 年 12 月 15 日

不错不错，正好学习下 serverless

8bits

2018 年 12 月 15 日

@d5
@rayingecho
@isCyan
@binarymann
谢谢支持！😊

tedd

2018 年 12 月 15 日

已订阅了个站的更新，谢谢分享🙏

bbmmwan886

2018 年 12 月 16 日 via Android

貌似面向国外的不知道会不会更新中文的英文用起来还是不太习惯😅😅😅

8bits

2018 年 12 月 16 日

@bbmmwan886 操作很简单啦 😊

landi

2018 年 12 月 17 日

网站很漂亮啊，ui 是自己设计的吗。。。

8bits

2018 年 12 月 17 日

@landi 谢谢，嗯 😊

dezhou9

2018 年 12 月 17 日 via Android

有点简单啊，高中生水平，朋友。已 star

evanvane

2018 年 12 月 18 日 via Android

请问下，第二张图是怎么生成的？

8bits

2018 年 12 月 18 日

@dezhou9 谢谢支持 😊嗯嗯主要展示一个完整的 Serverless 应用案例。

8bits

2018 年 12 月 18 日

@evanvane 在这里画的： https://cloudcraft.co/

dezhou9

2018 年 12 月 18 日 via Android

@8bits 我的发展建议是做一个可编程的信息流网站，根据不同的 parser，以从右向左的方式滚动

evanvane

2019 年 2 月 20 日

@8bits 多谢