请不要在回答技术问题时复制粘贴 AI 生成的内容 #Wrapper { background-color: #e2e2e2; background-image: url("/static/img/shadow_light.png"), url("//cdn.v2ex.com/assets/bgs/circuit.png"); background-repeat: repeat-x, repeat-x; } #Wrapper.Night { background-color: #1f2e3d; background-image: url("/static/img/shadow.png"), url("//cdn.v2ex.com/assets/bgs/circuit_night.png"); background-repeat: repeat-x, repeat-x; background-size: 20px 20px, 162.5px 162.5px; }
想和各位大神请教一下，RAG 系统都怎么做 evaluation 呢? 如果创建 golden dataset 呢？ 尤其是海量文档的情况下。
可以付费请教!
可以付费请教!
6 条回复 2025-10-01 15:49:27 +08:00
 | 1 Latin 11 天前 |
 | 2 Asimov01 11 天前 也是我困惑的问题，关注一下，等大佬 |
 | 3 wuyazuofeiji 10 天前 ragas |
 | 4 Zhuzhuchenyan 10 天前 我司很粗犷的，有新的变化之后直接灰度给所有使用者然后对比使用者在多个版本之间的满意度的差异 专门分了一个人做生产环境的数据采集+分析 |
| 5 Asimov01 10 天前 @Zhuzhuchenyan 粗暴但合理，直接让用户做 A/B Test 。但是在正式上线之前怎么做一个合格的效果评估，还是挺重要的，否则就没有用来做 A/B Test 了 |
| 6 Zhuzhuchenyan 10 天前 @Asimov01 我们是给公司内部员工使用的，所以不担心用户问题，不过免不了一些批评的声音了。 |
Select Language