这是一个创建于 62 天前的主题,其中的信息可能已经有所发展或是发生改变。
如果用户要总结一个超大文本,这种任务需要 RAG 单独设计一个逻辑,目前业界似乎没有一个好的解决方案。
参考了腾讯的 IMA ,它的总结是直接拿固定长度的文本放到上下文的;
NotebookLLM 总结的效果不错,推测是直接利用了 Gemini 的长上下文做的;
目前用的本地 AI 上下文长度比较短,限制了 AI 的发挥,所以只能在建索引库的时候做优化了。
有没有大佬指导有什么方案可以达成速度和准确性均衡的方案?
目前是想每 n 段文本 Chunk 生成一个总结内容,但是这样还是会速度很慢。
 | | 1 bigtear 61 天前 看外网讨论,似乎聚类算法能取得不错的效果 |