这是一个创建于 3011 天前的主题，其中的信息可能已经有所发展或是发生改变。
分布式爬虫是要共享一个 URL 池的么？
多台服务器的话，可以分布在全世界么？比如各地都买 vps
目前一般用什么语言写分布式爬虫？ PHP 能行么（一直都用 php 爬的，但都是小爬虫）？谢谢
有没有一个综合性的思路，谢谢
 |
1
yrj 2017 年 10 月 21 日 via iPad
参考 pyspider
|
 |
2
t1518968889 2017 年 10 月 21 日 via Android
puppeteer
|
 |
3
xielemon 2017 年 10 月 21 日
scrapy-redis
|
 |
4
hcnhcn012 2017 年 10 月 22 日 via iPhone
scrapy-redis +1
|
 |
5
SlipStupig 2017 年 10 月 23 日
scrapy+etcd
|
 |
6
rainnus 2017 年 10 月 23 日
scrapy-redis + 2
|
Select Language