返回日报条目

资料节译

Meta称 JiTTests 已部署生产基础设施,协助发现隐私漏洞

阅读原文

每次代码变更都会改进我们的平台,但也会带来新的复杂性。Meta 有数亿行代码持续演进,传统测试已无法跟上步伐。在代码合入之前主动发现风险,能让我们更早识别风险、更有效地应对,并大规模交付可靠的体验。

过去一年里,我们分享了应用大型语言模型(LLM)生成软件测试的研究。更具体地说,我们介绍了即时测试(JiTTests):这是一种新颖的测试方法,我们利用 LLM 即时捕获错误,包括传统测试可能发现不了的错误。

自我们首次公布这项工作以来的五个月里,我们已部署即时捕获测试方法,以评估其可扩展性及其对更广泛行业的适用性。如今,即时捕获测试已不再是研究原型,而是 Meta 基础设施的一部分,帮助工程师以更少的负担捕获更多错误,同时降低误报的可能性。

大多数基于 AI 的代码错误预防方法会使用 LLM 和/或智能体 AI,根据以往经验审查代码并检测缺陷。它们采用与人工审查者相同的审查流程,只是速度更快。即时捕获测试采用了根本不同的方法(表 1):它会生成可执行测试,以展示代码变更引入的具体行为差异。虽然这需要更多计算步骤,但它能捕获一些 LLM 或智能体代码审查可能发现不了的错误类型。

即时测试会自动生成,并被设计为在代码变更(diff)合入生产环境之前失败,从而揭示其中的错误。当它们应用于 Meta 这样规模庞大的代码库时,一个挑战是区分强捕获(即揭示真实错误的真阳性失败)和弱捕获(即可能属于误报的测试)。

归根结底,问题很明确:对于每个拟议的 diff,我们如何自动生成测试,在严重问题发生之前找出最严重的错误,同时保持较高的真阳性率,且不妨碍工程师的开发速度?

为了解决这个问题,我们开发了两个协同工作流程:

为过滤误报,我们采用了传统的基于规则的方法,并结合一种集成方法,称为“LLM 评审器”。该方法汇总多个最先进(SOTA)LLM 的判断,这些模型均负责将弱捕获分类为可能的真阳性或假阳性。

我们还保留了人工审查,同时力求减轻审查负担。我们的目标是在保持人工标注一致性的同时,降低要求工程师审查弱捕获的可能性。

整个系统工作流程分为五个阶段:

系统在夜间利用闲置算力运行,针对前一天提交、通过类似Diff 风险评分(DRS)的机制判定为“高风险”的 diff;该机制基于以往的代码变更训练。这有助于确保测试生成集中在最可能包含严重回归问题的 diff 上。

可疑 diff 工作流程将每个 diff 视为一个变异体,并使用变异引导的基于 LLM 的测试生成,生成能够区分该 diff 与其父版本行为的测试。其目标是尽可能扩大弱捕获的范围,从而提高在其中找到强捕获的机会。

与此同时,意图感知工作流程使用 LLM 根据代码变更、diff 标题和摘要推断 diff 的意图。随后,LLM 会描述**“风险”——即在尝试实现该意图时可能产生错误的方式。然后,它会利用这些风险描述来构造变异体**,每个变异体都代表实现推断意图时可能引入的一种错误。

系统会生成测试来杀死每个变异体(即区分变异体与父版本的行为)。

随后,这些测试会在实际 diff 上运行。任何失败的测试都会被收集为弱捕获。

生成弱捕获后,系统必须判断每个捕获是误报,还是实际的强捕获(真阳性)。

LLM 评审器集成由多个 LLM 组成,它们会审查:

我们以一种更传统的规则方法作为 LLM 评审器的补充,称为基于规则的假阳性清除环境(RubFake)。

LLM 评审器具有丰富的语义理解能力,但其判断具有非确定性,难以验证。相比之下,RubFake 提供经过验证且确定的判断。RubFake 与 LLM 评审器协同工作,对弱捕获候选项进行总体排序;排名足够靠前的候选项值得进一步考虑。

系统随后依据 LLM 评审器和 RubFake 的排序,决定是否联系人工工程师。

我们采用人工监督流程来减少阻力,而不是让人工参与每个环节、由工程师审查每项输出。在这种方式下,工程师设定标准,并在汇总层面审查结果,而非监督每项输出。

测试系统就绪后,我们的目标是让工程师关注其结果。

截至本文撰写时,Meta 有 589 名工程师(占我们联系对象的 64%)使用过即时捕获测试。这些工程师报告称,即时捕获测试能发现真正可采取行动的问题,真阳性率为 60%。

2026 年上半年,即时捕获测试在 diff 阶段发挥了关键作用,捕获了 74 个严重(SEV)隐私错误,在这些错误进入生产环境之前发现它们,并在此期间将隐私 SEV 的总体发生率降低了 20%。

智能体软件开发正帮助全行业的工程师和开发人员以前所未有的速度编写、审查和发布代码。但部署速度加快,也意味着需要更快的测试。每个在进入生产环境之前被捕获的错误,最终用户都不必再面对。我们已表明,LLM 可以提供额外的安全保障,捕获传统测试可能遗漏的问题;这也展示了 AI 生成的测试能够扩展到足以降低组织风险的程度。

即时捕获测试是一种在技术和组织层面都可扩展的解决方案。将这些测试与人工监督相结合,有助于确保工程师很少需要阅读测试代码,只需确认观察到的行为变化是否符合预期。

这种方法具有普适性:工程师及早定义成功标准,让 AI 执行测试,在汇总层面监控结果,并在策略层面而非逐项进行干预。

我们的论文《Meta 的即时捕获测试生成》曾在 FSE 2026 上发表,并入选Product@Scale专题,详细介绍了我们在 Meta 基础设施中对即时捕获测试的初步部署和测试。

文章《在代码合入前捕获错误:JiTTesting 在全面规模下的人工监督方法》最初发表于Meta 工程。