V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Janan
V2EX  ›  问与答

推特(twitter/x)如何下载任意账户的所有历史推文?求爬虫或其他方案推荐。

  •  
  •   Janan · 6 天前 · 1039 次点击

    如题: 推特(twitter/x)如何下载任意账户(非私密账户)的所有历史推文?

    目前已搜到的结果:

    1.依赖官方 API 的方案都受 3200 条的限制
    2.twitter/x 目前的反爬较为严格,github 上的几个主流爬虫都已经失效/残缺

    有大佬有相关成熟方案推荐吗?

    如果没有现成方案,这样一个需求大概需要花多少钱能请人实现? 如有人能给可行实现方案,可以给我报个价。

    先谢谢大家了。

    15 条回复    2025-12-02 18:28:56 +08:00
    donaldturinglee
        1
    donaldturinglee  
       6 天前
    你买能爬的接口不就好了。现在很多做代理池的都有这种服务
    Tiande
        2
    Tiande  
    PRO
       6 天前 via Android
    xbin
        3
    xbin  
       5 天前
    主要是 x 访问频率控制严格,使用网页 graphql api 控制一下访问频率还是很稳的
    Janan
        4
    Janan  
    OP
       5 天前
    @Tiande 刚试了,无法满足下载全部推文的需求。谢谢。
    Janan
        5
    Janan  
    OP
       5 天前
    @donaldturinglee 我目前搜到的基本不提供单账户全内容下载,要么受 3200 条限制。大佬如果有用过可行的,求推荐。
    Janan
        7
    Janan  
    OP
       5 天前
    @supermama 不行,只能爬取 1 年以内的。
    kdwnil
        8
    kdwnil  
       5 天前 via Android
    以前用搜索可以绕过 3200 条的限制,但也会忽略全部转推。到现在这招对抗风控的成本高,搜索接口的返回也变得一团糟,太麻烦所以没什么人愿意弄
    Tink
        9
    Tink  
    PRO
       5 天前 via Android
    rapidapi
    Janan
        10
    Janan  
    OP
       5 天前
    @kdwnil 是的,可恶的老马。
    lasuar
        11
    lasuar  
       5 天前
    直接找数据提供商买全量数据,不过费用可能要上百万 RMB ,毕竟 vx 文章都是这个价。
    usn
        12
    usn  
    PRO
       5 天前 via iPhone
    意思是那些几十万发帖的人只能自己看到最早的记录么
    kdwnil
        13
    kdwnil  
       5 天前 via Android
    @usn 一般情况下连自己都看不了早年的记录,网页时间线是时间倒序 800 条左右,客户端更少,不过账号拥有者可以通过导出个人数据来尽可能地拿到绝大多数推文
    usn
        14
    usn  
    PRO
       5 天前 via iPhone
    @kdwnil #13 那就只能通过删除最新发的从而让更早的贴文出现在倒序时间表里面吗
    feidao158
        15
    feidao158  
       5 天前
    插个眼,这个需求我之前也有过,一直没找到合适的解决方案,不知道有没有什么三方付费的代理 API 能实现这个需求也行
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2586 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 11:40 · PVG 19:40 · LAX 03:40 · JFK 06:40
    ♥ Do have faith in what you're doing.