这是一个创建于 359 天前的主题，其中的信息可能已经有所发展或是发生改变。
我的场景是: 让 LLM 输出某个城市的几个推荐的景点的位置，同时需要保证这些地点是真实存在的，纯粹通过 Prompt 约束，明显是不行的。
现在我通过 Gpt-4o 的 Structured Output ，对其生成结果逐个进行真实性查询，倒是能达到效果，但是缺点是：Structured Output 没法实现 Stream 的方式输出，导致结果要超过 10s 才出现
求助：如何既能保持真实性又能满足 stream 输出呢？
 | 1 Solix 359 天前 接入地图 API 来判断真实度，大模型谈真实本来就是相悖的 |
 | 2 HeyCaptainJack OP @gaobh 嗯，目前确实是通过地图 API 来判断的，就是这样速度就慢了很多 |
 | 3 vevlins 359 天前 为什么不前置给个景点的知识库，或者对输出结果做缓存，你对于某个城市的输出结果不总是一致的是吗 |
 | 4 forgottencoast 359 天前 @HeyCaptainJack 全国的景点一共没多少个，全收集起来，用不着地图 API 吧。 |
| 5 HeyCaptainJack OP @vevlins RAG 这块代码，我没具体实操过，请问配置好知识库之后，能 100%按知识库的推荐来输出吗 |
| 6 HeyCaptainJack OP @forgottencoast 对于 5A, 4A 景点啥的，这些数据能找到，但是比如小县城，就没有这些，不知道数据源要从哪获取？ |
| 7 forgottencoast 359 天前 |
| 8 HeyCaptainJack OP @forgottencoast 嗯，是的，这里面数据很多，不过只能爬过来自己维护了 |
| 9 forgottencoast 359 天前 @HeyCaptainJack 他们可能会有付费的 api 。 |
| 10 vevlins 359 天前 @HeyCaptainJack 你说的我不确定，你可以用 fastgpt 或者 302.ai 之类封装过的工具先快速试验下，他们支持上传 pdf 作为知识库，每次提问后会先搜索知识库，然后再进行回答。 |
| 11 HeyCaptainJack OP @forgottencoast 一般这种，都不提供 api 的 |
 | 12 bigtear 359 天前 配置好知识库，让 AI 直接给出知识库里保存的位置 ID ，然后对比 |
 | 13 KHHj7U2DNR 359 天前 你是圆周笔记 app 的开发者吗？圆周笔记可以根据小红书帖子生成地图景点。 |
| 14 HeyCaptainJack OP @KHHj7U2DNR 嗯，圆周那个，是基于笔记内容，抽出来对应的位置，真实度可信，我这个需求不一样 |
| 15 HeyCaptainJack OP @bigtear 嗯，就是不清楚能否完全按照知识库内容输出 |
 | 16 mumbler 359 天前 via Android 解决幻觉最好办法就是知识库，现在的大模型已经足够听话了，我们还会让大模型回答问题同时还要把资料出处给出来，用户自己也能再核查一遍真实性。说实话，旅游景点比法律法规容错性高多了 |
| 17 HeyCaptainJack OP @mumbler 哈哈，现在想起来，AI 法律可是真难啊 |
Select Language