为什么微信公众号难抓取?

难在获取历史文章链接吧

微信的文章选择在浏览器打开又不难，你试试在浏览器看微信公众号全部的文章。我抓取都失败了。别折腾了，你搞不到的，搞到也不会和微信同步更新。

上了规模就难了
需要大量的手机
需要海量的帐号(以及手机号码)
需要大量不同出口的 IP

抓取是很简单的，不是问题所在
问题是，你缺少索引页，导致没有批量入口。穷举的代价又比较大，所以也就不适合使用

搜狗能检索微信文章，这一点已经说明问题了：
要么搜狗拿到了索引，要么微信主动讲文章链接送给搜狗。搜狗肯定不是自己去“不经允许”爬取的，这里各位爬虫大佬们要小心法律风险

微信 pc 端 微信浏览器可以浏览公众号的所有文章. 调用 api 要用到登陆后获取到的一个参数. 调用文章类的 api 有限速. 如果多账号 多 ip 再逆向微信 pc 端 是可以做成这个产品的. 但是谁敢呢 南山必胜客不治你吗. 我公司就算让我做 我都不会做的,现在市面上没有这种产品.不是他们技术不行 马哥劝你 耗子尾汁

@opengps 搜狗宣布，签订最终私有化协议，将成为腾讯全资子公司，预计交易将在 2020 年第四季度完成。完成后，搜狗将从纽交所退市。

微信重新实现了 TLS，你可以试试自己抓抓包看，根本抓不到正确的 URL，更不用说抓公众号文章了

有第三方提供接口服务的，一年才 200 多，试了一下，数据还挺全的。

任何看得到的数据抓取都没难度，难的是数量级好不好

@anonymous2022 wemp.app 这个就是靠的抓取公众号获利的

曾经的经验给你简单分享一下，有几个知识点需要知道：
（ 1 ）微信文章有两种链接，临时链接和永久链接。在微信里打开的是永久链接，在搜狗里面搜索出来的是临时链接
（ 2 ）顾名思义，临时链接有时间限制，一般超过 6 个小时就无法打开显示链接已过期。但是放到微信里点又可以打开，因为微信使用了 key 进行了链接转换。
（ 3 ）这个 key 又分为万能 key （解任何文章，与你的微信账号相关联，有效期 2 小时）和公众号 key （只对单一公众号有效，有效期 2 小时）。key 不仅可以转换链接，还可以用来打开列表页。
（ 4 ）一个微信账号的万能 key 使用频繁会导致封号（无法转换、浏览文章）
（ 5 ）自 19 年开始搜狗不再根据时间顺序返回搜索结果，导致无法通过“关键词”查找最新文章，且未登录账号只能看到前 100 页的数据
（ 6 ）搜狗搜索公众号显示最近 10 条文章（目前已经不显示数据了），也是临时链接
（ 7 ）搜狗搜索微信出现验证码非常频繁
（ 8 ）使用手机或 pc 客户端可以查看公众号列表页，但是 pc 端需要先关注才能看到。这里能做的抓取方案是中间人攻击，但是别忘了你是用自己的微信号做的，你要考虑怎么自动化控制刷页面，最重要的是你能撑几个小时不被封号？以及你有多少实例，能花大价钱购买养好的微信号呢？（新号权重非常低，浏览列表页的数量很少，如果只看不养号，很快就被封了）
（ 9 ）可能有人说，不就是 python 发个 requests 请求吗？我手机刷一下列表页，找到 url，request body，模拟一下不就好咯。关于这一点你可以去看（ 3 ）和（ 4 ）

最主要的成本来自于，需要真实有效的微信号和批量操作。

综合以上成本，你倒不如选择有腾讯做股东的公众号数据分析平台-新榜（不是做广告哈）去买数据....
当然，数据二道贩子有很多，也有很多个人在卖，都比自己去搞定要低成本的多（学习除外）

另外未经授权抓取数据并贩卖是违法行为！

重点忘说了，chromedriver 也好，puppeteer 也好，甚至按键精灵也好，这些都逃不过微信号这一关的。

@junan0708 求推荐这个第三方平台

入口

最靠谱的办法是找个摄像机对着手机屏幕，手机自动打开微信里面的文章，然后摄像机逐行 OCR，然后入库

@akaayy 天行数据

@Tink 可以直接用 fd 或者 charles 做中间人攻击，直接拿到所有请求的 body，写个规则过滤一下，直接拿到 json 数据不香吗