这是一个创建于 265 天前的主题，其中的信息可能已经有所发展或是发生改变。
公司有个类似维修智能助手的小程序,用来给服务工程师提供设备维修指南的.
之前是固定问题+回答,体验不太好,这次想用 AI 知识库来做.
知识库已经梳理结构并用 md 格式保存.
尝试了 ollama 本地部署 DeepseekR1 的 7B 版本+AnythingLLM.
不知道是 7B 版本不行还是 AnythingLLM 的嵌入模型垃圾.回答完全不是知识库的内容.
于是找了个叫 Cherry Studio 的软件,用硅基流动 api 使用在线满血版 DeepseekR1,嵌入模型用的 BAAI/bge-m3(不知道是个什么模型),效果强了不少,回答基本符合知识库了.
新的问题: R1 思考太慢了,基本上耗时 1 分钟-5 分钟.不太能接受. 换 V3 的话,回答又没那么准确了,常常会遗漏知识库中的部分内容.
我想换其他模型试试,但是考虑到 deepseek 是目前唯一可以本地部署的模型,换其他的可能不方便企业做私有化部署.
有没有大佬在这方面比较有经验的,求指点.
20 条回复 2025-09-12 15:04:18 +08:00
 | 1 poorLi 265 天前 先用 Coze 试试效果 |
 | 2 tigerstudent 265 天前 腾讯出了个 IMA 知识库，把文档丢进去就可以随便提问了，还支持共享知识库 |
 | 3 zhangH258 265 天前 至少需要 32B ，7 不行 |
 | 4 waityan 265 天前 企业知识库的话，可以试下 fastgpt 、dify ，用社区版就行了 |
 | 5 isSamle 265 天前 qwen2.5 不行吗? |
 | 6 Unmurphy 265 天前 同遇到这样的诉求 |
 | 8 isSamle 265 天前 Ollama 部署，几个切换着试一下，DS 个人感觉有点嗦 |
 | 9 zgzhang 265 天前 dify+ds:32B ，基本可用，而且 dify 的知识库基本开箱即用 |
 | 10 shiny PRO dify 多找几个 API 接入测效果，不一定要在 deepseek 一棵树上吊死 |
 | 11 lxqxqxq 265 天前 https://help.aliyun.com/zh/model-studio/getting-started/ 百炼 我们刚落地 需求跟你差不多 |
 | 13 SwordSong 265 天前 最少 32B 的 LLM 才能有脑子调用知识库 |
 | 15 mumbler 265 天前 用 flashai.com.cn 提供的整合包，一键部署本地大模型+知识库，无需任何配置，也不需要懂技术，要什么模型有什么模型 |
 | 17 litchinn 265 天前 可以试试调整下 RAG chunking |
 | 18 coefu 265 天前 qwq 32B int 4 + bge-m3 ，并发不大的话 32G vram 够够的。不过得分卡跑。 |
 | 19 akira 253 天前 本地化部署是需要 小钱钱的。。。 安全 - 性能 - 费用 3 者不可兼得 |
 | 20 GavinY 80 天前 我现在用 Cherry Studio + Qwen3-embedding-8B + Qwen3-reranker-8B 做本地的知识库。 |
Select Language