评估方法（Evaluation Methods）

用测试集、基准、人工审核、自动指标或实战任务来判断 AI 系统表现的方法。

---

一、是什么

• 用测试集、基准、人工审核、自动指标或实战任务来判断 AI 系统表现的方法。
• 类比：像产品上线前的质检表和试运行。
• 关键澄清：

它不是什么	它是什么
不是只看一次演示效果	持续衡量质量、可靠性和风险的机制

二、为什么重要

• 没有评估，就无法知道改动让系统变好还是变坏。
• 不懂它会怎样：只凭主观感觉，会被少数惊艳样例误导。

三、日常怎么理解

• 用一句话讲给非技术朋友听：评估方法就是给 AI 交付打分的办法。
• 常见场景：问答准确率、幻觉率、工具调用成功率、人工满意度。
• 验证工具（Verification Tools）：用来检查 AI 输出是否正确、完整、可执行或符合约束的工具和流程。类比：像施工后的验收工具，而不是只听施工队说完成了。关键澄清：验证工具不是模型自我夸赞，而是独立于生成过程的检查层。AI 输出越像真的，越需要外部验证；没有验证，错误会以高质量表达混入交付物。常见场景：代码测试、引用检查、事实核验、格式校验、截图验收。自检有帮助，但高风险任务要用独立证据和工具。

四、常见误解

误解	真相
有 benchmark 分数就够了	公开基准和真实业务任务都要看。

五、延伸阅读

• 本知识库相关：验证工具、幻觉
• OpenAI Evals guide