下载 huggingface 大模型有什么好方法吗 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
iorilu
V2EX    程序员

下载 huggingface 大模型有什么好方法吗

  •  
  •   iorilu 238 天前 3921 次点击
    这是一个创建于 238 天前的主题,其中的信息可能已经有所发展或是发生改变。

    也用了 https://hf-mirror.com/

    但这个基本下几 G 就限流了

    直接 huggingface 下载也是比较慢的, 反正下 7,8G 以上文件基本 没完成就没速度了

    大家有啥好方法吗, 现在模型太大了, 都是几十 G

    25 条回复    2025-04-02 19:46:26 +08:00
    1daydayde
        1
    1daydayde  
       238 天前
    限流的话断点续传就好了
    774157009
        2
    774157009  
       238 天前
    modelscope.cn +断点续传
    wencan
        3
    wencan  
       238 天前
    hf-mirror cli 断点续传
    4BVL25L90W260T9U
        4
    4BVL25L90W260T9U  
       238 天前
    你都能上 v 站了, 翻墙还不利索?
    Kite6
        5
    Kite6  
       238 天前 via Android
    代理+直接 wget
    nagisaushio
        6
    nagisaushio  
       238 天前 via Android
    MagmaBlock
        7
    MagmaBlock  
       238 天前
    可以用 cloudflare workers 跑一个反向代理,github 有现成的脚本
    前提是你的网络和 cloudflare 的链接质量得靠谱,有些宽带不行
    hertzry
        8
    hertzry  
       238 天前 via iPhone
    If you are running on a machine with high bandwidth, you can increase your download speed with hf_transfer, a Rust-based library developed to speed up file transfers with the Hub.

    pip install "huggingface_hub[hf_transfer]"
    HF_HUB_ENABLE_HF_TRANSFER=1 huggingface-cli download ...
    kzfile
        9
    kzfile  
       238 天前
    有时候下载断流,我刷新一下 hf 的页面,速度就突然有了
    omega3
        10
    omega3  
       238 天前
    上个优质科学网络 tg:wavevwe
    iorilu
        11
    iorilu  
    OP
       238 天前
    @ospider 这种大文件下一会儿就限流的, 除非不停换节点
    kokutou
        12
    kokutou  
       238 天前 via Android
    代理呢。。。。
    国外 vpn 都随便 1t 流量,敞开下啊
    evan9527
        13
    evan9527  
       238 天前
    梯子问题,换一家。
    4BVL25L90W260T9U
        14
    4BVL25L90W260T9U  
       238 天前
    @iorilu #11 我用的 jms 从来不限流
    xujiang
        15
    xujiang  
       238 天前
    国内有阿里的魔塔
    https://modelscope.cn/
    基本的 model 都有,支持全速下载
    asly
        16
    asly  
       238 天前 via iPhone
    好像可以复制下载链接用迅雷下载
    vmebeh
        17
    vmebeh  
       238 天前 via iPhone
    好像就 huggingface 的主域名被墙,反正用 lm studio 下模型直接跑超 ISP 给的带宽,梯子肯定没这速度
    pckillers
        18
    pckillers  
       238 天前
    直接去 modelscope 下载。 一般都有人分流。
    milkpuff
        19
    milkpuff  
       237 天前
    我浏览器下载比较慢,链接粘到 aria2 下载千兆满速,不知道为啥
    chapiom
        20
    chapiom  
       237 天前 via iPhone
    可以开类似联通 9929 这样的,国外下载很快
    frandy
        21
    frandy  
       237 天前
    之前因为这个问题写了个脚本,集成 aria2 还有点问题,没问题
    https://github.com/readmagic/hx
    希望能帮到你
    frandy
        22
    frandy  
       237 天前
    @frandy #21 迅雷没问题
    ethusdt
        23
    ethusdt  
       237 天前 via iPhone
    hf 被墙了吗,年前我下载模型四个 wget 一起,拉满千兆带宽的,没挂代理。
    bushnerd
        24
    bushnerd  
       192 天前
    我稍微改进了一下 https://hf-mirror.com/的 hfd.sh 脚本,就是调用迅雷来下载,基本可以达到满速,且支持断点续传,比 aria2 使用起来稳定的多。
    https://gist.github.com/bushnerd/b8ec8c5576a4221696b283b90d1eacb3
    bushnerd
        25
    bushnerd  
       192 天前
    @bushnerd 忘了说了,thunder.exe 只有 Win 版本的, 因此这个脚本得在 wsl 中使用,调用 Windows 中的迅雷。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2677 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 24ms UTC 02:26 PVG 10:26 LAX 19:26 JFK 22:26
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86