有没有分布式爬虫调度的轮子

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

这是一个创建于 2777 天前的主题，其中的信息可能已经有所发展或是发生改变。

有没有这样一个服务，可以提交待爬的任务任务包括链接 /优先级 /额外信息例如 cookie 然后服务会自动对提交的任务进行去重，按优先级排序。这样的话爬虫端只需要不断的提交任务，领取任务。除了数据储存以外基本上就是无状态的了。无论跑多少份都可以。

3 条回复 • 2018-06-27 02:46:52 +08:00

a7a2

2018 年 6 月 26 日

mq 就可以啊

gabon

2018 年 6 月 27 日 via Android

我自己用 netty 写了一个分布式调度器

AX5N

2018 年 6 月 27 日

pyspider?