求推荐开源 AI 模型

GLM-130B , 国内清华大学的， 之前部署过。

推理 12g 显存就够了。

训练要 24g + 显存 才勉强跑的动。

ollama 的 mistral 可以试试

最近在用 01 万物和 moonshot ，感觉能力都不错的。

这种需求自己训练极其不划算。而且效果不好。

最近用了一下 xverse 的，感觉还可以

给用户用就必须要 gpu 服务器了，然后看看用户量计算一下能承受多少成本，算完你就会发现你会破产。

可以手机推理的端侧大模型（ 2B ）： https://github.com/OpenBMB/MiniCPM

套路一般是买 GPT-4 的 API 先顶着，凑了几百条数据之后就可以微调一个便宜的本地模型了

Privategpt+Mistral 7B 用 1080ti 推理速度就很好了，或者 Privategpt+Mixtral 8x7B ，合法可商用性能很好的开源模型，但对 GPU 要求高

Grok 刚刚开源

https://fastgpt.run/ 这种之类的知识库解决方案 + GPT-3.5/4 基本上差不多了。自己微调和部署的成本短期来看会是更高的。