如题: 推特(twitter/x)如何下载任意账户(非私密账户)的所有历史推文?
目前已搜到的结果:
1.依赖官方 API 的方案都受 3200 条的限制
2.twitter/x 目前的反爬较为严格,github 上的几个主流爬虫都已经失效/残缺
有大佬有相关成熟方案推荐吗?
如果没有现成方案,这样一个需求大概需要花多少钱能请人实现? 如有人能给可行实现方案,可以给我报个价。
先谢谢大家了。
1
donaldturinglee 6 天前
你买能爬的接口不就好了。现在很多做代理池的都有这种服务
|
2
Tiande PRO |
3
xbin 5 天前
主要是 x 访问频率控制严格,使用网页 graphql api 控制一下访问频率还是很稳的
|
5
Janan OP @donaldturinglee 我目前搜到的基本不提供单账户全内容下载,要么受 3200 条限制。大佬如果有用过可行的,求推荐。
|
6
supermama 5 天前
|
8
kdwnil 5 天前 via Android
以前用搜索可以绕过 3200 条的限制,但也会忽略全部转推。到现在这招对抗风控的成本高,搜索接口的返回也变得一团糟,太麻烦所以没什么人愿意弄
|
9
Tink PRO rapidapi
|
11
lasuar 5 天前
直接找数据提供商买全量数据,不过费用可能要上百万 RMB ,毕竟 vx 文章都是这个价。
|
12
usn PRO 意思是那些几十万发帖的人只能自己看到最早的记录么
|
13
kdwnil 5 天前 via Android
@usn 一般情况下连自己都看不了早年的记录,网页时间线是时间倒序 800 条左右,客户端更少,不过账号拥有者可以通过导出个人数据来尽可能地拿到绝大多数推文
|
15
feidao158 5 天前
插个眼,这个需求我之前也有过,一直没找到合适的解决方案,不知道有没有什么三方付费的代理 API 能实现这个需求也行
|