12g 显存跑 chatglm2 和 stable diffusion 不够
Ericxiaoshuang 2023-08-04 10:26:09 +08:00 1594 次点击这是一个创建于 860 天前的主题，其中的信息可能已经有所发展或是发生改变。
nvida 的 12g 显卡
本来跑 stable diffusion webui 和 chatglm2 正常
换成 stable diffusion api 模式后
chatgm2 就跑不起来了
顺便说下
用 wx 模块接入了微信机器人
本来跑 stable diffusion webui 和 chatglm2 正常
换成 stable diffusion api 模式后
chatgm2 就跑不起来了
顺便说下
用 wx 模块接入了微信机器人
 | 1 l0wkey 2023-08-04 10:35:20 +08:00 俩都是吃显存的。。 你放一起跑估计得至少 16 甚至 24G 的卡 |
 | 2 Ericxiaoshuang OP @l0wkey 确实，我感觉至少 24g 起步 |
 | 3 nomagick 2023-08-04 11:09:12 +08:00 那你用 int4 量化的版本 |
 | 4 litchinn 2023-08-04 11:09:59 +08:00 我以为你说的单独跑跑不起来，结果是两个同时运行吗。。。。 |
 | 5 israinbow 2023-08-04 11:14:15 +08:00 |
| 6 Ericxiaoshuang OP @israinbow 跑的就是 int4 |
| 7 Ericxiaoshuang OP @litchinn 想实现的就是 aigc 应用在微信机器人，智能对话，及/img ，文字生成图片 chatgpt 又要收费，又要科学的，成本挺高 |
 | 8 mmdsun 2023-08-04 12:59:08 +08:00 via iPhone 上 4090 24GB 吧 |
Select Language