这是一个创建于 131 天前的主题，其中的信息可能已经有所发展或是发生改变。
想高性价比的配一个主机进行大模型的学习，预算不超过 2 万，能够进行大模型的训练和推理，自己研究了一下，有两套方案，请大家帮拿拿注意。
方案一：一张 5070Ti ，显存 16G ，估计只能训练一些 3B 、4B 的小参数模型
方案二：两张 5060Ti 的显卡，显存可以达到 32G ，可以训练一些 7B 、8B 的模型，但是单张计算性能只有 5070Ti 的一半。
之前在公司用 A800 和 3090 做过训练，感觉性能还行，5070Ti 能更接近 3090 ，不知道到有没有用 5060Ti 做过训练的朋友，5060Ti 的性能是不是太低了，如果性能太低，光显存大是不是也没多少用。或者大家没有更好的方案。
方案一：一张 5070Ti ，显存 16G ，估计只能训练一些 3B 、4B 的小参数模型
方案二：两张 5060Ti 的显卡，显存可以达到 32G ，可以训练一些 7B 、8B 的模型，但是单张计算性能只有 5070Ti 的一半。
之前在公司用 A800 和 3090 做过训练，感觉性能还行，5070Ti 能更接近 3090 ，不知道到有没有用 5060Ti 做过训练的朋友，5060Ti 的性能是不是太低了，如果性能太低，光显存大是不是也没多少用。或者大家没有更好的方案。
 | 1 cpstar 131 天前 就 16G 显存还训练？？一张 3090 的 24G 完全秒杀，省 xing 省 xing 吧。 就 5060 还双卡？？没有 nvlink ，就靠 pcie 那点带宽，省 xing 省 xing 吧。 |
 | 3 nomagick 131 天前 16G 3B 4B 你也训不了，不过学习嘛，0.5B 还是可以的； 话说回来，LLM 这种应用，主要吃带宽，还不如买 mac 了，内存即显存 |
 | 4 crackidz 131 天前 租卡可好？ |
 | 5 lovestudykid 131 天前 @nomagick "主要吃带宽"，"还不如买 mac"，你是怎么把这两句话连在一起的 |
 | 6 testcgd 131 天前 via Android 训练直接租 autodl 吧，本地优先考虑推理和 debug ，5060x2 会好一点 |
 | 7 cuteshell OP @nomagick 之前用 24G 的训练过 Qwen 7B ，不过输入的 token 不能太多，16B 训练 4B 模型，按比例算可能是可以的，不过确实没有试过。 |
 | 10 2ruowqe9r 131 天前 模型训练，我感觉数据整理好麻烦，OP 是怎么解决的？ |
 | 11 coefu 131 天前 4*2080ti 22g. |
| 13 nomagick 131 天前 @lovestudykid 嗯？ 20s PCIE3.0 x16 ~32GB/s 30s 40s PCIE4.0 x16 ~64GB/s 50s PCIE5.0 x16 ~128GB/s Mac Mini M4 120GB/s Mac Mini M4 Pro 273GB/s Mac Studio M4 Max 410GB/s Mac Studio M3 Ultra 819GB/s |
 | 15 mumbler 131 天前 2080ti 22G 最好，支持 nvlink ，5000 元实现 44G 显存，英伟达坑比较少 建议研究 agent ，别在大模型微调上浪费一分钱 |
| 16 lovestudykid 131 天前 @nomagick #13 你主要看带宽，难道不应该看单卡，要容量才看多卡。RTX 5090 1792 GB/s |
 | 18 Rendex 131 天前 或者 V10016G 闲鱼现在有双卡或者 4 卡的 nvlink 底板卖，这玩意因为配置麻烦，是现有显卡唯一在降价的 |
 | 20 davidqw 131 天前 via iPhone 再加点钱把 4090 魔改 48G 版本拿下 |
 | 21 murmur 131 天前  1 本地大模型也就玩玩 stable diffusion 了，学习角度一定是租用 API 最好，量化模型跟玩具一样，现在都在搞提示词工程师，你的模型就是阉割版，给再好的提示词出东西也没别人好 就别说本地 deepseek 了，claude3.5 到 3.7 到 4 ，这几个版本写码能力肉眼可见的进步 |
 | 22 joynvda 130 天前 我只做推理，AMD MI50 32G ，二手 1k 搞下来； AMD MI100 32G ， 二手 6-7k 左右（限于贫穷还不敢赌这个方案） rocm6.3+, Pytorch 2.7 或者考虑 AMD MI50 、MI100 二手训练的可行性。 |
 | 25 charslee013 130 天前 2080ti 反而不好，不支持 bfloat16,目前大语言模型都是 bfloat16 权重，建议 30 系尤其是 40 系往上 消费级别最好的推理和训练的显卡是 4090 48GB ，不过显然超预支就是了... |
 | 26 lyt001 130 天前 云平台租卡，当然你要想买来打游戏当我没说 |
Select Language