有没有新闻通用爬虫？可以智能识别爬虫和标题？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 3130 天前的主题，其中的信息可能已经有所发展或是发生改变。

看了下一些收费 api 或者云爬虫可以做到提交网址返回正文，想请教下是个什么思路。
自己写爬虫都是针对一个站点定制 xpath 或者 css selector 规则，那这种通用的是怎么解决的呢？

3 条回复 • 2017-07-10 16:03:57 +08:00

bearsiji

2017 年 7 月 10 日

bearsiji

2017 年 7 月 10 日

https://github.com/GravityLabs/goose 还有这个你的目的就是内容提取，常见的方法是 HTML 节点结构打分

stcasshern

2017 年 7 月 10 日

@bearsiji 谢谢。学习一个