这是一个创建于 3877 天前的主题，其中的信息可能已经有所发展或是发生改变。
想把站点爬一遍，检查下 500 404 等错误，
收集下页面错误
收集下页面错误
第 1 条附言 · 2015 年 6 月 8 日
用了同事推荐的 xenu 软件
 |
1
Andy00 2015 年 6 月 8 日
[web magic](http://webmagic.io)
用java开发的，不知道是否对你有帮助 |
 |
2
wy315700 2015 年 6 月 8 日
wget就可以啊
|
|
3
Andy00 2015 年 6 月 8 日
|
 |
4
wsbnd9 2015 年 6 月 8 日
scrapy python 的一个爬虫框架
|
Select Language