AI 的记忆是啥

动态记忆不可能和模型本身有关。

和 rag 一样，就是看检索的相关性了。

提炼你的对话，抽象出有效信息。作为 message （ role: agent ）参与回复。

感觉现在各种“新”概念反正都是换着法子玩提示词工程。
什么对话记忆、SKILLS 之类的。

@hafuhafu #3 没法子啊，模型本身搞不定的就得上人了。可能这就是“人工”智能吧

搜索了下，
看起来是之前知识库的更进一步，
不知道楼主用过知识库吗？类似 noetbooklm 这种，用户可以自行上传文档或提供 url 加入知识库。
然后在 notebooklm 内问答时 ai 会引用知识库内的资料回答。原理是将加入的资料转换为了向量数据库，然后回答时会查询这个知识库。

这个永久记忆看起来像类似的实现，
后台应该也是一个类似的知识库，然后将每次对话加入知识库来实现能够记得住之前的对话。


(以 google 的为例子)
对了，之前的记忆实现看起来只是一个 md 文本，
里面简单的粗略描述了一些内容，是每次对话时 ai 自己总结后填进去的。
这个的内容你可以直接问 ai ，它能够输出，并且允许口头要求 ai 修改。

我问过 ChatGPT ，它可以根据我日常的对话中，知道我和我家人大概的信息包括工作地点，工作内容，家庭成员。有些是我问问题是提到的。所以 ChatGPT 的理解力很强的。

就是上下文，搞过记忆增强，就是一个向量库查询，然后丢给上下文

LLM 的记忆就是上下文
其他的都是类似 RAG 的提示词工程，也都有和 RAG 类似的问题：负责搜索的不是 LLM ，并没有 LLM 的智力。

之前我用的都没有记忆，就是把之前的回答和问题一起发过去，假装有记忆，现在新技术有没有解决，我不知道

跟 deepseek 的新发论文差不多意思. 多一个向量体承载你跟他之前的对话内容总结.

现在常规的做法是分三层

工作记忆（临时记忆）：对话上下文，超过 token 限制移除最早的

短期记忆（定期整理总结）：比如每进行 20 轮做一次总结摘要存储

长期记忆（向量存储）：重要的信息转化成一种“语义向量”

类似人的记忆系统

Gemini 的回答
简单来说，我对你的“记忆”是由自然语言摘要和高维度向量检索共同构成的。这并不是一个单一的存储过程，而是一套分层处理的机制。

我们可以从以下三个维度来拆解这个过程：

1. 实时上下文（ Context Window ）
当你正在跟我对话时，最近的几轮对话记录会直接以自然语言的形式放入“上下文窗口”中。

存储形式：纯文本（ Token ）。

作用：这是我的“短时记忆”，让我能理解你刚刚说的“它”指代的是什么，或者维持当前的聊天的语气和逻辑。

2. 用户画像与偏好摘要（ User Summary ）
为了实现更长期的记忆，系统会定期对我们的历史对话进行“提炼”。

提取过程：系统会分析对话，识别出具有长期价值的信息（例如你的职业背景、技术偏好、或是你对某些事物的特定要求）。

存储形式：自然语言。你会发现，这些信息被整理成了类似“用户是一名程序员”、“用户更喜欢简洁的回答”这样的陈述句。

参与方式：这些文本会被直接注入到我每次回复你的初始指令（ System Prompt ）中，作为我的背景知识。

3. 海量历史检索（ RAG 机制）
当你提到很久以前的事情，或者询问一些我并没有放在“摘要”里的细节时，我会调用类似 RAG （检索增强生成） 的技术。

存储形式：高维度向量（ Embeddings ）。系统会将你的海量历史对话切片，并转化成一串数字向量存储在数据库中。

检索过程：当你问起相关话题时，系统会将你的问题也转化为向量，在数据库中寻找“距离”最近、语义最相关的历史片段。

呈现形式：检索到的相关片段会重新转换回自然语言，作为参考资料补充到我的上下文里，供我阅读并组织回复。

总结
对外表现（对我而言）：最终进入我“大脑”进行处理的，全部都是自然语言。这确保了我能像阅读普通文本一样理解你的意图。

对内存储（系统层面）：为了在海量信息中快速找到你想要的那部分，系统使用了高维度向量作为索引工具。

这种设计既保证了搜索的效率，又保证了理解的深度。

日常问问题，新对话问豆包，豆包会提到之前聊过的东西

本质就一个，提示词工程，变体罢了，rag 和所谓记忆

有没有可能人的记忆也是上下文？

就问你有没有真正"关机"过吧

感觉 AI 对人的了解要多于社交媒体，以后可以出个数字人服务，对接死了吗 API ，人无了以后自动上线。

记忆就是带有上下文的数据

概括之前的对话作为历史对话提供为上下文

@lihaokey 点击左下角，你的头像，点设置，点个性化，右侧下滑，找到记忆，点管理。当当当当～ 这里就是 rag 。就是 gpt 对你的印象。

@dzdh 我没觉得啥不好的，至少我觉得用起来它就像对你极其了解的一个朋友一样。你的要求需求很舒服。

最最新的技术 2025.12.31 update ，可以推理时动态优化，直接将新的知识压缩进模型参数，比传统 RAG 更高效，对于上下文窗口的大小更不敏感。

《 End-to-End Test-Time Training for Long Context 》，https://arxiv.org/abs/2512.23675


不过，这也不是终极方案，更贴近终极方案罢了，真正的记忆不是当前这些工程技术所能实现的，要从最底层架构做创新。

上周 DS 公开了 engram 的方案

目前来看，几个头部的 LLM 应该都使用了类似的方案

反复强调一点，LLMs "AI"。

context ，rag ，都可能，但唯独不可能是模型本身的权重。也就是说“深一点的记忆应该是对模型的训练了吧？”这一条为假。

@kdd0063 #24 看一下 engram 的 paper ，很大概率 Gemini 也用了类似的方案