请教各位，开源的 AI 模型需要什么样配置的机器？比如图像类啊大语言模型啊语音类啊都想玩玩
fushall 2024-05-15 11:02:23 +08:00 2949 次点击这是一个创建于 515 天前的主题，其中的信息可能已经有所发展或是发生改变。
自己对 AI 机器配置这块没有任何研究。。。纯小白。。。
刚好过段时间要休几天年假，打算玩一玩
楼主的电脑是 thinkpad T14 32G 内存款，无 GPU ，貌似跑不了那些开源的 AI 模型
 | 1 goxxoo 2024-05-15 11:20:10 +08:00  2 4060 16g 以上的吧, 我这个 1050ti 一张图 30-50 分钟 sd |
 | 2 luchenwei9266 2024-05-15 11:23:41 +08:00 1 有用 CPU 的推理的，可以下一个 LM Studio 试试。不过建议还是得搞个大显存 GPU ，有钱上 4090 ，没钱买 2080ti 22G |
 | 3 mmdsun 2024-05-15 11:24:12 +08:00 2 看你跑什么模型，一般 github 安装说明上都会写的。 我的配置是 Windows 平台+Nvidia 4090 ,主要用 WSL 2 最近跑了 Qwen 和 stable diffusion webui 画图都没什么问题的。 |
 | 4 jimrok 2024-05-15 12:43:17 +08:00 1 主要是依赖 N 卡，显存是关键，一个 7B 的模型，大概能塞进 24G 的显存里，再大就装不进去了。 |
 | 5 smalltong02 2024-05-15 13:30:04 +08:00 1 如果你想自己研究的话，还是建议要搞一块 4090 。这样 34B-4bit(GPTQ)，13B-8bit(GPTQ)和 7B-16bit ，都可以无压力的使用 GPU 加载并推理。如果想玩更大的模型，比如 70B 的模型，那么建议把内存也升到至少 64G 。这样可以使用 CPU 和内存加载 70B-4bit 量化的 GGUF 格式。 此外给你推荐一下我的开源项目，比较符合你的需求，这一个项目支持很多的本地和在线模型，少量图像模型和语音模型： 图像模型支持：OpenDalleV1.1 ，ProteusV0.2 ，SDXL-Lightning ，GhostXL 等 音乐模型支持：facebook musicgen 系列 语音输入输出支持：whisper ，OpenAI 和 Azure 在线语音 https://github.com/smalltong02/keras-llm-robot 如果你想使用知名的开源项目，那么我推荐 LM Studio - 安装简单，可以只使用 CPU+内存做推理。缺点是只支持 GGUF 格式。 Ollama - 同上，缺点在多一个没有漂亮的 GUI 。 text-generation-webui - 这是最知名的项目，几乎所有格式都支持。 |
 | 6 YYSn5k19667xsfSA 2024-05-15 14:29:05 +0:00 1 不怕矿渣子的话，3090 也不错的，显存跟 4090 一样是 24G |
 | 7 Giftina 2024-05-15 15:11:16 +08:00 2 mac 的优点是对于绝大多数玩一玩图一乐的人来说不需要折腾（或很少折腾），而且预算要求很低。 闲鱼上花 4K 收一台 mac m2 ，切记要 ≥16GB 内存的，能高效跑 7B 的模型，玩完了还能原价出。 大语言模型的话装一个 Ollama 就可以玩了，需要 GUI 的话起一个 open-webui 就可以用了。用零一家的 7B yi 的实测速度和效果都很平衡。 文生图的话可以用 Mochi Diffusion ，10 秒钟左右出一张图。都是即点即用的。 |
| 8 Giftina 2024-05-15 15:14:03 +08:00 @Giftina #7 以及 mac 很关键的一点是省电，峰值功率不到 20w ，好一些的屏幕都比它耗电，拿显卡跑 ai 老心疼电费了 |
 | 9 squarefong17 2024-05-15 15:26:10 +08:00 1 应该有挺多教程的，例如： https://www.freedidi.com/12310.html 又或者已经有一些跑本地模型的一键工具的。。。 比如随手搜到一个 LM Studio： https://lmstudio.ai/ |
| 10 squarefong17 2024-05-15 15:29:31 +08:00 并且稍微新一点的核显应该都能加速，并且即使是 CPU 也能跑一些，只是慢一点，pytorch 这方面适配海挺好，之前尝试清华那个 chatglm ，用 CPU 还是 NV 独显就是改一行代码的事儿。。。 |
 | 11 cPO3Im7cn3lD39cU 2024-05-15 21:16:06 +08:00 没有 GPU 一般速度都会满很多的 如果不在乎 就没事 |
 | 12 cgcs 2024-05-16 04:27:44 +08:00 我也想弄个配置高点的苹果，毕竟，笔记本就可以折腾折腾了 |
 | 13 cccccent 2024-05-16 09:30:44 +08:00 可以 看一下 ollama 这个东西，一键部署，自动量化 ``` Note: You should have at least 8 GB of RAM available to run the 7B models, 16 GB to run the 13B models, and 32 GB to run the 33B models. ``` |
 | 14 AlexHsu 2024-05-16 14:28:29 +08:00 玩一玩的话买大内存的 64g 内存 用 ollama lm studio 之类的跑跑玩玩 本地生产力买大内存的 mac m2ultra 192g 至于 4090 区区 24g 也跑不起来什么大模型 其实性价比的话买个 32g 同意内存的 mac 写代码 丢到 colab 跑就挺好 |
Select Language