V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
ghos
V2EX  ›  问与答

目前自媒体信息泛滥,是否存在一种自写爬虫信息收集的开源工具呢?

  •  
  •   ghos · 2019-07-17 11:01:35 +08:00 · 1553 次点击
    这是一个创建于 1945 天前的主题,其中的信息可能已经有所发展或是发生改变。

    起因

    现在获取信息的渠道真的是五花八门,想要自建一个服务来汇集一下自己感兴趣的信息。想要发出来跟大家讨论讨论,通过搜索引擎搜到了几个方案,于是抛砖引玉看看有没有更好的方式。

    方案

    huginn

    huignn 可以通过跑一些任务来收集信息然后制作成 rss feed 但是主要问题是 huignn 自定义那套 dsl 太难用了,能用代码解决的问题非要用 dsl,十分的别扭。

    rsshub

    rsshub 可以通过写 js 来进行页面抓取和解析配合 Tiny Tiny RSS 可以保存抓取到的信息,十分不错。

    想向诸位请教一下,除了这两种方式有没有其他更好用的信息收集方式呢?

    1 条回复    2019-07-17 13:51:27 +08:00
    ghos
        1
    ghos  
    OP
       2019-07-17 13:51:27 +08:00
    急!在线等~
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1096 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 22:42 · PVG 06:42 · LAX 14:42 · JFK 17:42
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.