请问有没有什么著名的爬虫框架可以下载网站镜像、最好还能增量更新的

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 4161 天前的主题，其中的信息可能已经有所发展或是发生改变。

这边搜到几个
crawler4j
j-spider
WebLech
不知道哪个比较靠谱
另外还有吗？

第 1 条附言 · 2014 年 8 月 23 日

似乎crawler4j还算靠谱，但是增量更新这个做得到么？真的没有人回答吗？

第 2 条附言 · 2014 年 8 月 24 日

最近在研究scrapy，不知有没有熟悉这个的大神可以现身说法

目前尚无回复