这是一个创建于 3309 天前的主题，其中的信息可能已经有所发展或是发生改变。
爬虫实践基于 webmagic ，提供一个例子用于层次化主题帖子和二级帖子及内容。
webmagic 介绍 https://www.oschina.net/p/webmagic
5 分钟实现爬 oschina 帖子 https://git.oschina.net/ihuotui/webmagic-sample
目标
1 遍历主题列表
2 读取主题详情页，获取目标文件或者图片或者内容
3 （可选）读取主题详情页下一页，获取目标文件或者图片
4 （可选）下载目标文件
说明，使用 redis 作为进度保存。
基于以上目标
1 写了一个抽象类 AbstractPageAndSubPageProcessor 作为遍历抽象，子类集成后，实现一些逻辑就可以运行。
2 使用 DownloadUrlFileThread 来下载具体文件。
3 测试方法运行 test 目录的 AbstractPageTest
webmagic 介绍 https://www.oschina.net/p/webmagic
5 分钟实现爬 oschina 帖子 https://git.oschina.net/ihuotui/webmagic-sample
目标
1 遍历主题列表
2 读取主题详情页，获取目标文件或者图片或者内容
3 （可选）读取主题详情页下一页，获取目标文件或者图片
4 （可选）下载目标文件
说明，使用 redis 作为进度保存。
基于以上目标
1 写了一个抽象类 AbstractPageAndSubPageProcessor 作为遍历抽象，子类集成后，实现一些逻辑就可以运行。
2 使用 DownloadUrlFileThread 来下载具体文件。
3 测试方法运行 test 目录的 AbstractPageTest
第 1 条附言 · 2017 年 1 月 12 日
不过觉得框架的处理页面只能单个 processor ，应该设计成责任链，然后可以根据不同的页面写不同的 processor 。
 |
1
spice630 2017 年 1 月 12 日
臃肿的 java 推荐你学下 golang
https://github.com/songtianyi/laosj |
 |
3
jurant 2017 年 1 月 12 日
唉 java 看一半就没学了.
|
 |
4
luban 2017 年 1 月 12 日
webmagic 设计还是很好的
|
 |
7
zingl 2017 年 1 月 12 日
5 分钟可以开始爬一个网站
|
Select Language