有无爬取整站 url 的工具呢?

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 3667 天前的主题，其中的信息可能已经有所发展或是发生改变。

大概几百万页面，只想拿到其url即可。
想自己写python，试了试，力不从心囧～

所以上来问下有无一些现成的工具可以爬。

谢谢大家！

10 条回复 • 2014-10-31 11:33:27 +08:00

muziyue

2014-10-31 10:23:22 +08:00

老虎sitemap生成器:)

TONYHEAD

2014-10-31 10:24:16 +08:00

XENU

llhh

2014-10-31 10:29:16 +08:00

@muziyue
@TONYHEAD
这两个工具，3百万页面可以吗？

muziyue

2014-10-31 10:30:26 +08:00

@llhh 没试过，我现在十万多要跑一个下午……

iscraft

2014-10-31 10:40:17 +08:00

2楼说的xenu应该是最快的吧

llhh

2014-10-31 10:46:37 +08:00

@TONYHEAD
@muziyue
@iscraft
我现在用screaming frog seo spider比xenu要强一些。
可以正则爬取，选择ua，速度……十万的话3个小时，当然要看网站速度嘛。

jqw1992

2014-10-31 10:50:17 +08:00

touch

2014-10-31 10:51:16 +08:00

python scrapy不是很好爬吗

sohu022

2014-10-31 11:18:44 +08:00

用Scrapy，把规则写好，把response.url保存下来就行了。

simapple

2014-10-31 11:33:27 +08:00

https://github.com/simapple/spider 去年早些时候写的，比较烂，希望能对你有帮助