这是一个创建于 3151 天前的主题，其中的信息可能已经有所发展或是发生改变。
大家好！ 我是"一步采集"的作者。 地址： http://onestepspider.51pashanhu.com/
一步采集通过分析网页 HTML 结构，尝试自动识别出页面中的列表数据，比如 V2EX 列表的主题数据，包括字段标题、时间、作者、阅读量等等。 还有常见的表格类数据。
并且，程序内还有一套“分页识别算法”，自动分析出下一页，以实现采集分页数据的功能。
优点：相对于其他同类产品，一步采集的速度是有非常大的优势，采集一个常规网页，基本都是在秒级别。
缺点和不足： 对于 Ajax 加载的网页还不支持，详情页的识别还在开发中。
这个产品目前还是一个 Demo 阶段，欢迎大家提供宝贵意见！ 我们持续改进！
 |
1
oness OP 核心点就 2 个：自动识别列表算法、自动识别分页算法。
下一步的自动采集内容页，涉及正文提取算法。 这个目前有很成熟的算法，很好搞定。 |
 |
2
whung 2017 年 6 月 17 日 via iPhone  1
收藏下支持一下你
|
 |
3
mingyun 2017 年 6 月 17 日
试了下，速度挺快的，都不用写代码了
|
 |
4
watermelon92 2017 年 6 月 17 日
实测速度的确快啊，怎么做到的
|
|
5
oness OP |
 |
6
xiaoqiang0704 2017 年 6 月 18 日
确实很方便。可以进一步分享实现的方式吗
|
 |
7
jayli517 2018 年 2 月 6 日
找东西的时候发现的，已经 200 多天了，不知道还更新不更新了，爬山虎采集器倒是评测感觉挺好的
|
Select Language