对 LLM 配置变更使用同一批样本做配对评估，并依据配对差异的不确定区间设门槛，能避免把评测噪声误当成真实改进。原文指出，样本抽样、裁判判断和任务运行都会带来噪声，多数评测套件难以发现团队实际发布的变化。在其示例中，15% 的样本结果不一致、共 200 个配对样本时，最小可检测效应约为 7 个百分点；在相同假设下，检测 5 个百分点变化约需 400 个样本，检测 3 个百分点约需 1,100 个。样本规模有限时，原文建议采用“不超过 X 的回归”门槛，而非要求平均分必须提高。