这是一个创建于 620 天前的主题，其中的信息可能已经有所发展或是发生改变。
这些参数都设为 0 了，但是同样的请求依旧可能得到不同的输出，不知道大家有没有遇到这种 case
temperature = 0d
topP = 0
frequencyPenalty = 0
presencePenalty = 0
这个是正常情况还是有什么方式可以限制同样的输入同样的输出
如果是正常情况，我想了一下好像也合理，就像让他讲个笑话，他不一定讲的都是同一个笑话一样。
temperature = 0d
topP = 0
frequencyPenalty = 0
presencePenalty = 0
这个是正常情况还是有什么方式可以限制同样的输入同样的输出
如果是正常情况，我想了一下好像也合理，就像让他讲个笑话，他不一定讲的都是同一个笑话一样。
 | 1 ex1gtnim7d OP 尽管将温度参数设置为 0 、top_p 参数设置为 0 ，也不能完全保证在相同的输入提示下生成的文本完全一致，主要原因是因为在 GPU 计算过程中存在固有的非确定性。 这是因为浮点数计算中的微小差异可能会导致最终选择的 token 有微小变化，特别是当前两个最有可能的 token 之间的差异很小时，会偶尔选择不同的 token ，从而产生不同的结果。 同时，为了提高模型端点的速度，通常使用 GPU 进行计算，而 GPU 计算是并行的（非确定性的）。 在现代的 GPU 神经网络计算中，这种非确定性是无法避免的。 而且，如果模型被部署在不同的区域以实现负载均衡，不同区域的硬件和环境也可能会对模型的计算产生微小的影响，进一步增加了非确定性。 作者：月明 链接： https://www.zhihu.com/question/595912240/answer/3160446512 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 |
 | 2 dbg 2024-03-20 20:30:18 +08:00 via Android 亲，你应该了解下大语言模型的原理，它们的输从原理上就是随机的。 |
| 3 dbg 2024-03-20 20:30:36 +08:00 via Android 输出 |
 | 4 cmos 2024-03-20 20:42:28 +08:00 via Android LLM 本质上是预测下一个 token 是什么，也就是“全靠猜”（只不过猜对的概率很大），更不存在“逻辑”这个概念。每次输出都是一场新的“猜测”，要保持前后，只能人为缓存。 |
 | 5 oliwans 2024-03-20 20:51:02 +08:00 via iPhone 聊聊你对这个社会的看法，滔滔不绝说完了，我在问你同样的问题，你完整能给我背一遍刚刚的回答吗？你想要的是大模型还是固定模型？ |
 | 6 106npo 2024-03-20 20:56:49 +08:00 |
 | 7 kaidong21 2024-03-21 08:59:40 +08:00 设置种子 seed |
| 8 ex1gtnim7d OP |
Select Language