这是一个创建于 265 天前的主题，其中的信息可能已经有所发展或是发生改变。
大模型能记住它训练过的数据吗？
如果你让 GPT 背诵红楼梦全文，它会回答它无法逐字逐句背诵，因为超过它的生成容量限制，但是如果你需要某一部分的内容（比如某一回的片段、某个经典场景或对话），它可以根据你的需求生成相应的段落或章节。
所以它的数据库里面是真的录进去全文了吗？红楼梦全文 80 万字，当我们说到某个模型要多少 Billion 参数时，这 80 万字能否理解为其中的一部分参数？
我问了 GPT ，它回答它通过学习这些文本的规律和模式，能够在需要时生成相应的内容。总之无法理解...
 | 1 faceair 265 天前 只能记个大概，跟你看书一样 |
 | 2 mumbler 265 天前 它记住的是下一个字出现的概率，不是下一个字本身，全文背诵长了很可能会出错，而且后期训练指令打压过，不允许直接背诵原文 |
 | 3 TimePPT PRO 你可以简单理解为，模型的训练阶段，通过学习极大量语料，获得了词元（ token ）间的前后脚出现的概率。 等推理阶段，通过获取上文所有词元组成的 context ，输出最有可能的下一个词。 所以，理论上，如果红楼梦作为了语料进入训练。在 context 足够明确的情况下，让补全红楼梦，是可以做到的。但因为预测的是下一个 token ，那么下一句是否正确，也取决于其他训练语料。甚至还有其他影响，就不多展开了。 如果感兴趣，还是建议找点机器学习、深度学习的科普资料读一下。 |
 | 4 txx 265 天前 学一下注意力机制咯： https://www.bilibili.com/video/BV1TZ421j7Ke/ |
 | 5 jr55475f112iz2tu 265 天前 via Android 这取决于你如何定义 “记住” 如果你指的“记住”是像数据库那样，你输入“红楼梦”，它输出全书内容，100%匹配，那大语言模型不能记住训练数据。这是传统搜索逻辑 如果你指的“记住”是人类的记住，那大语言模型很接近 |
 | 6 julyclyde 264 天前 炼丹 那个丹还能看出来是用啥原材料炼的吗？ 如果能看出来，那个丹还能那么小吗？ |
Select Language