有什么好用的爬虫程序？可以爬单个站点的

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 3450 天前的主题，其中的信息可能已经有所发展或是发生改变。

想把站点爬一遍，检查下 500 404 等错误，
收集下页面错误

第 1 条附言 · 2015-06-08 10:35:50 +08:00

用了同事推荐的 xenu 软件

4 条回复 • 2015-06-08 16:59:36 +08:00

Andy00

2015-06-08 09:36:19 +08:00

[web magic](http://webmagic.io)
用java开发的，不知道是否对你有帮助

wy315700

2015-06-08 09:36:22 +08:00

wget就可以啊

Andy00

2015-06-08 09:37:06 +08:00

。。。原来回复里不能用Markdown语法
网站这个
http://webmagic.io

wsbnd9

2015-06-08 16:59:36 +08:00

scrapy python 的一个爬虫框架