
腾 300i DUO 服务器部署的,显存占用快 160G ,回答问题还挺快的,占用率在 70%+,但是不太会写代码,跟网页版差别巨大。
1 shelken 280 天前 via iPhone 量化的版本了吧 |
3 AndrewHenry 279 天前 量化版本吗?调调温度什么的 |
4 8675bc86 OP @AndrewHenry @shelken @YsHaNg modelscope download --model Qwen/QwQ-32B 用的是这个,温度和其他设置好像没多大的作用。 又试了一下这个:modelscope download --model deepseek-ai/DeepSeek-R1-Distill-Qwen-32B 比上面的那个好一点,也是里八嗦,很蠢。 |