平时不怎么关注爬虫,最近业务上有需求爬取用户好评和差评,数据量估算非常大,具体内容很刑,所以细节就不表了。
想问一下有没有好用的分布式框架,大概想了一下需求是建立一个多节点的主从网络,然后可以发布任务并监督从节点爬取并回收结果,大概这样就行了。。
想了想就算只做基础需求,自己撸的话大半天也过去了,来万能的 v2 问问有没有能开箱即用的