这是一个创建于 994 天前的主题，其中的信息可能已经有所发展或是发生改变。
感觉能够理解一点儿东西了
4bit 模型内存占用也很香.
本来双卡不一定行,
现在单卡有富裕.
4bit 模型内存占用也很香.
本来双卡不一定行,
现在单卡有富裕.
 | 1 tool2d 2023-03-12 18:16:30 +08:00 via Android 我也试了一下 4bit 量化模型，效果很差。 |
 | 2 ltkun 2023-03-12 20:33:37 +08:00 via Android 24g 的是什么卡 |
 | 4 kernelpanic 2023-03-12 23:05:43 +08:00 咋跑起来的，我用的 llama.cpp 好像不支持中文。。。 |
 | 5 OLDPAN 2023-03-13 18:39:53 +08:00 测试了下 llama 能不能写代码： https://mp.weixin.qq.com/s/HGxEhDMQoVa1pkz76Qp6Yw |
Select Language