这是一个创建于 4051 天前的主题，其中的信息可能已经有所发展或是发生改变。
有个客户网站，栏目都没有列表页，很多页面都藏得很深。（无法进后台，无法看数据库）
有没有这样的工具，可以抓取全部的URL，就可以自己整理了:
http://localhost/aaa/001
http://localhost/aaa/002
http://localhost/aaa/003
http://localhost/aaa/004
http://localhost/bbb/001
http://localhost/bbb/002
http://localhost/bbb/003
就可以统计出aaa栏目下有哪些URL，bbb栏目下有哪些URL
现在进入http://localhost/aaa/，是直接跳转到aaa下最新的一篇，太苦逼了
有没有这样的工具，可以抓取全部的URL，就可以自己整理了:
http://localhost/aaa/001
http://localhost/aaa/002
http://localhost/aaa/003
http://localhost/aaa/004
http://localhost/bbb/001
http://localhost/bbb/002
http://localhost/bbb/003
就可以统计出aaa栏目下有哪些URL，bbb栏目下有哪些URL
现在进入http://localhost/aaa/，是直接跳转到aaa下最新的一篇，太苦逼了
 |
1
wenjuncool 2013-10-22 18:27:06 +08:00
自己开发吧
|
 |
2
soho176 2013-10-22 19:22:00 +08:00
用火车头 采集网址吧
|
 |
3
manoon 2013-10-22 19:42:06 +08:00
循环生成
aaa/001 aaa/002 aaa/nnn 循环访问aaa/nnn 如果404 退出 如果200 加到列表 最后你需要的列表 应该很清晰了吧。 |
 |
4
nsxuan 2013-10-22 19:49:20 +08:00
wget 即可把 有个 不下载 写入列表
|
 |
5
66beta OP |
Select Language