这是一个创建于 454 天前的主题，其中的信息可能已经有所发展或是发生改变。
需求：
- 构建英文 pdf 知识库，一次对话讨论可以涉及多个文件
- 向量数据库最好本地化
- 不需要本地部署模型，所有 embed, rerank, chat models 都用 api
- 不需要用户管理等冗余功能
看好多方案，ragflow fastgpt langchain-chatchat ，不知道实际用起来如何？或者有其他推荐的方案？
ChatGPT-Next-Web-langchain 感觉在上游的简单前端框架下加 rag 的逻辑，还是有点勉强了。
第 1 条附言 2024-07-14 16:07:19 +08:00
langchain-chatchat 0.3.1 ，尝试部署了下，这个确实挺轻量，但呈现出来的是一个相当 prototype 的产品，不知道为什么 star 这么多，最新的 docker 0.3.0 基本是不可用的。
第 2 条附言 2024-07-15 15:52:41 +08:00
好多人提到 dify ，如果有团队使用需求，可以尝试下 dify ragflow danswer 。这几个看了下 docker-compose ，感觉都比较重了。
第 3 条附言 2024-09-20 22:58:11 +08:00
update: 现在ragflow等已经支持graphrag了（dify不支持）。更好的rag策略还包括，anthropic的contextual-retrieval 等等。
对比使用来看，传统直接做分割的确实存在很多问题痛点。
 | 1 mumbler 2024-07-14 13:53:32 +08:00 个人用吗，可以试试 flashai.com.cn 的云端版，开箱即用，支持 mac 和 win ，本地知识库+本地向量化，另外还有带本地大模型版本 |
 | 2 GrayXu OP @mumbler #1 谢谢，这个方案看上去限制蛮多的，付费了也只有 8b 的模型。我们已经有 embedding, rerank, chat 的完整 api 服务了。 |
 | 3 lixen9 2024-07-14 14:52:56 +08:00  1 fastgpt 试用过感觉还行，蛮符合你的需求来着，开源版本即可 |
| 4 GrayXu OP @lixen9 #3 谢谢 试了一圈 fastgpt 确实是最好上手的。看了下小规模使用下，开源版本没啥问题，就是配置系统比较麻烦 XD |
 | 6 echoless 2024-07-14 17:17:54 +08:00 embed, rerank 这些 api 你是用的开源的么? 我倒是想整合 RAG 这些到 https://github.com/swuecho/chat (只有 chat 功能) 然后可以(optional) 配置 embed, rerank API. |
| 8 GrayXu OP 1 @echoless #6 你可以关注下 siliconflow ，最近上了 embedding ，后面会上 rerank 。 |
 | 9 pieerepeng 2024-07-14 20:09:12 +08:00 1 |
 | 10 SoloKing 2024-07-14 20:34:13 +08:00 via Android 1 dify+1 |
 | 11 wm5d8b 2024-07-15 08:43:01 +08:00 via Android 模型不在本地部署，全用 api ，钱包它同意嘛 本地用 ollama 部署挺简单的，就是大概 12G 显存得 24 小时处于 standby 状态 |
 | 13 zqqian 2024-07-19 10:54:53 +08:00 所以楼主最后调研的结果是什么，能说一下吗？ |
| 14 GrayXu OP @zqqian #13 FastGPT ，感觉是满足功能需求的最轻的选择了。问题的话，还是存在一些小 bug ，然后看上去他们社区版维护的比较随意。 |
 | 17 skykk1op 303 天前 楼主有调研结果吗？我需要一个部署在本地的知识库 |
 | 18 yibo2018 158 天前 需要+1 |
Select Language