错误发现
1 篇文章
- 《Advanced evals》讲义：先找出「值得测的失败」——error discovery 三步法Hamel Husain 和 Shreya Shankar 的进阶续篇：做 evals 最该先做、大多数团队却跳过的第一步是 error discovery。为什么「太早写指标」会测错东西；为什么 agent 抓不到判断型失败（criteria drift）；100 条真实 trace 的对照结论；以及用 coding agent 走完三步——从 traces 开始、审阅与标注、把失败模式变成产品优先级。含 7 张双语配图。原文为 Substack 付费文章，本讲义覆盖免费可见部分的全文，付费墙之后的部分已据实标注。