V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
spider22
V2EX  ›  分享发现

前嗅可以采集公众号所有的历史消息啦!

  •  
  •   spider22 · 2018-01-09 17:32:02 +08:00 · 1947 次点击
    这是一个创建于 2510 天前的主题,其中的信息可能已经有所发展或是发生改变。

    前嗅可以采集公众号所有的历史消息啦!

    相信之前采集过公众号历史文章的人都知道,用搜狗微信搜索公众号进行数据采集很方便,但是这个方法也有一个比较大的缺点,那就是只能显示最近 10 条群发文章。所以,小编今天要教大家另一个方法,可以采集公众号的全部历史文章!
    
    前嗅通过微信官方提供的转载文章接口,能够采集到全部的历史文章。首先 ,你需要拥有一个自己的微信公众号,登录微信公众平台,打开浏览器的开发者工具,复制下登录后的 cookie 信息。
    
    接下来,我们点击下一页内容,通过开发者工具查看每页的网页地址,找到每一页的地址的规律。图中我复制了前几页的地址,可以看到每一页中只有两个参数不同,一个是随机数 random,一个是 begin 表示页码,我们只要修改 begin 的参数,就能成功打开网址得到我们需要的数据。
    
    现在需要的东西都找到了,那我们就可以开始在软件里配置采集模板了。输入采集地址,把 cookie 信息复制到软件中,在频道属性部分选择手动登录功能,即可完成登录。
    
    完成登录后的操作就比较简单了(前嗅官网上有很多视频教程),可以根据自己的需求添加任意字段进行采集,小编这里采集的字段有:文章标题、原文链接、发布时间、来源、正文内容。
    
    小编用这个方法采集了某个公众号的全部历史文章,不过采集的时候需要注意,采集速度太快会提示“操作频繁”,所以在软件中我们需要把采集时间间隔设置的长一点,小编建议设置 10 秒以上的时间间隔。
    
    为了更直观的浏览数据,小编把数据导入到了 excel 表中。
    
    以上,就是采集微信公众号历史文章的方法,有兴趣的用户可以自己采集试试看,当然,有大规模采集需求的用户也可以联系小编。
    
    3 条回复    2018-04-05 14:25:52 +08:00
    Sornets
        1
    Sornets  
       2018-01-09 17:50:37 +08:00
    相信之前采集过公众号历史文章的人都知道,用搜狗微信搜索公众号进行数据采集很方便,但是这个方法也有一个比较大的缺点,那就是只能显示最近 10 条群发文章。所以,小编今天要教大家另一个方法,可以采集公众号的全部历史文章!

    前嗅通过微信官方提供的转载文章接口,能够采集到全部的历史文章。首先 ,你需要拥有一个自己的微信公众号,登录微信公众平台,打开浏览器的开发者工具,复制下登录后的 cookie 信息。

    接下来,我们点击下一页内容,通过开发者工具查看每页的网页地址,找到每一页的地址的规律。图中我复制了前几页的地址,可以看到每一页中只有两个参数不同,一个是随机数 random,一个是 begin 表示页码,我们只要修改 begin 的参数,就能成功打开网址得到我们需要的数据。

    现在需要的东西都找到了,那我们就可以开始在软件里配置采集模板了。输入采集地址,把 cookie 信息复制到软件中,在频道属性部分选择手动登录功能,即可完成登录。

    完成登录后的操作就比较简单了(前嗅官网上有很多视频教程),可以根据自己的需求添加任意字段进行采集,小编这里采集的字段有:文章标题、原文链接、发布时间、来源、正文内容。

    小编用这个方法采集了某个公众号的全部历史文章,不过采集的时候需要注意,采集速度太快会提示“操作频繁”,所以在软件中我们需要把采集时间间隔设置的长一点,小编建议设置 10 秒以上的时间间隔。

    为了更直观的浏览数据,小编把数据导入到了 excel 表中。

    以上,就是采集微信公众号历史文章的方法,有兴趣的用户可以自己采集试试看,当然,有大规模采集需求的用户也可以联系小编。
    Sornets
        2
    Sornets  
       2018-01-09 17:50:45 +08:00
    不用谢
    AlwaysBee
        3
    AlwaysBee  
       2018-04-05 14:25:52 +08:00
    如果是想导入微信公众号文章到 WordPress,可以用 小蜜蜂 采集插件,可以自动同步指定公众号的文章,使用方式简单
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   900 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 21:57 · PVG 05:57 · LAX 13:57 · JFK 16:57
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.