推特(twitter/x)如何下载任意账户的所有历史推文?求爬虫或其他方案推荐。 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Janan
V2EX    问与答

推特(twitter/x)如何下载任意账户的所有历史推文?求爬虫或其他方案推荐。

  •  
  •   Janan 1 天前 863 次点击

    如题: 推特(twitter/x)如何下载任意账户(非私密账户)的所有历史推文?

    目前已搜到的结果:

    1.依赖官方 API 的方案都受 3200 条的限制
    2.twitter/x 目前的反爬较为严格,github 上的几个主流爬虫都已经失效/残缺

    有大佬有相关成熟方案推荐吗?

    如果没有现成方案,这样一个需求大概需要花多少钱能请人实现? 如有人能给可行实现方案,可以给我报个价。

    先谢谢大家了。

    15 条回复    2025-12-02 18:28:56 +08:00
    donaldturinglee
        1
    donaldturinglee  
       1 天前
    你买能爬的接口不就好了。现在很多做代理池的都有这种服务
    Tiande
        2
    Tiande  
    PRO
       1 天前 via Android
    xbin
        3
    xbin  
       1 天前
    主要是 x 访问频率控制严格,使用网页 graphql api 控制一下访问频率还是很稳的
    Janan
        4
    Janan  
    OP
       1 天前
    @Tiande 刚试了,无法满足下载全部推文的需求。谢谢。
    Janan
        5
    Janan  
    OP
       1 天前
    @donaldturinglee 我目前搜到的基本不提供单账户全内容下载,要么受 3200 条限制。大佬如果有用过可行的,求推荐。
    Janan
        7
    Janan  
    OP
       1 天前
    @supermama 不行,只能爬取 1 年以内的。
    kdwnil
        8
    kdwnil  
       1 天前 via Android
    以前用搜索可以绕过 3200 条的限制,但也会忽略全部转推。到现在这招对抗风控的成本高,搜索接口的返回也变得一团糟,太麻烦所以没什么人愿意弄
    Tink
        9
    Tink  
    PRO
       1 天前 via Android
    rapidapi
    Janan
        10
    Janan  
    OP
       1 天前
    @kdwnil 是的,可恶的老马。
    lasuar
        11
    lasuar  
       1 天前
    直接找数据提供商买全量数据,不过费用可能要上百万 RMB ,毕竟 vx 文章都是这个价。
    usn
        12
    usn  
    PRO
       1 天前 via iPhone
    意思是那些几十万发帖的人只能自己看到最早的记录么
    kdwnil
        13
    kdwnil  
       1 天前 via Android
    @usn 一般情况下连自己都看不了早年的记录,网页时间线是时间倒序 800 条左右,客户端更少,不过账号拥有者可以通过导出个人数据来尽可能地拿到绝大多数推文
    usn
        14
    usn  
    PRO
       1 天前 via iPhone
    @kdwnil #13 那就只能通过删除最新发的从而让更早的贴文出现在倒序时间表里面吗
    feidao158
        15
    feidao158  
       17 小时 57 分钟前
    插个眼,这个需求我之前也有过,一直没找到合适的解决方案,不知道有没有什么三方付费的代理 API 能实现这个需求也行
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     3503 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 21ms UTC 04:26 PVG 12:26 LAX 20:26 JFK 23:26
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86