这是一个创建于 525 天前的主题，其中的信息可能已经有所发展或是发生改变。
作为一个深度学习的小白，最近在搞 llm 微调。
用过 colab ，gpu 云服务部署过模型，但感觉都不是很方便
想拥有一台自己的深度学习工作站。但对硬件配置不是很懂
例如是选择专业卡还是消费卡。是 v100 ，还是 4090 ，还是 3090
如果要微调 70b 往上的模型，单卡显存不够的，具体怎么配置还请有经验的大佬指教一下
预算： 2w-3w+ （个人学习预算） 上限: 8w （公司预算）
要求： 1.能微调 7b~100b+ 2.尽可能便宜
 | 1 osilinka 2024-05-07 11:01:38 +08:00 目前性价比最高的是 3090 ，就看你能买多少 |
 | 2 hrn961110 OP 具体的配置可以推荐一下么 |
 | 4 cloud2000 2024-05-07 11:31:05 +08:00 消费级最多微调 7-13B, 100B 是不现实的，只能云端。 |
| 5 osilinka 2024-05-07 11:51:08 +08:00 |
 | 6 vincent7245 2024-05-07 14:55:25 +08:00 个人学习，我是一个旧电脑上的 8 代 i3 ，买了两块 Tesla P40 花了大概一千，从学习机器学习到现在调大模型，一直用的挺好的，慢点就慢点，又不是不能用。 |
| 7 hrn961110 OP |
Select Language