返回日报条目

资料节译

METR评审Anthropic研发风险报告:低风险判断获认同,加速阈值仍存不确定性

阅读原文

**删节摘要:**作为本次评估的一部分,Anthropic有权删去本文中的任何非公开信息。按照我们的透明原则,如果Anthropic行使了删节权,我们有权披露这一点,并说明我们的任何发现是否在很大程度上依赖被删节的信息。所有对我们的结论有重要影响的删节内容,均在下文报告中说明。

我们同意Anthropic的看法:7月15日的模型造成灾难性风险的可能性较低;但我们认为,它们当时可能已经越过了早期预警阈值。

METR审阅了Anthropic公开的2026年8月风险报告中“自动化研发带来的风险”一节。<sup>1</sup>我们是在一项关于AI加速研发的高访问权限评估中开展此次审阅的;在该评估中,Anthropic向我们分享了风险报告的私密版本,以及大量其他非公开数据。与本次审阅同时发布的,还有我们对Anthropic的AI加速研发情况所作的整体评估。该评估与本次风险报告审阅由同一批METR员工完成。

总体而言,我们同意Anthropic的看法:截至7月15日,内部部署的模型直接自动化关键领域研发或因能力进展加速而引发急性灾难性风险的可能性较低。不过,报告声称模型尚未越过早期预警阈值,这一判断依赖存在争议的判断取舍,而公开报告没有清楚说明这些取舍。尽管本项目的METR研究人员和Anthropic相关员工都倾向于认为阈值尚未越过,我们认为越过阈值也并非不可能;我们还认为,公开报告总体上低估了当时正在发生的加速程度。

本次审阅首先概述我们对Anthropic风险报告的理解,包括其威胁模型、早期预警阈值和关键主张。接着,我们介绍对这些关键主张和结论的评估。最后,我们分享本次风险报告审阅流程的详情(关于流程和访问权限的更多详情,见我们的整体审阅)。

Anthropic的RSP为“关键领域的研发自动化”设定了两个能力阈值。

根据Anthropic的RSP v3.4,满足以下两个条件中的任意一个,即达到研发自动化阈值:

  1. *完全替代阈值:*如果他们开发出一种模型,能够“以有竞争力的成本(即在5倍以内)完全替代我们的全部研究科学家和研究工程师”。
  2. *加速2倍阈值:*如果“AI进展速度大幅加快”,且原因可能与AI研发自动化有关。<sup>2</sup>RSP对这一点有更详细的定义,但这些细节与我们的批评无关紧要。

(请注意,为便于在本报告后文中指称这些阈值,我们给它们取了名称,但RSP中并没有这些名称。)

风险报告认为,尚未越过完全替代阈值,因为模型目前还没有替代人类。

风险报告认为,模型目前并未替代Anthropic的全部员工:尽管Anthropic有很强的动机尽可能用模型替代研究人员,但研究人员仍在Anthropic完成工作。

“我们相信,如果模型即使在成本很高的情况下也有能力替代我们全体研究人员的技术工作,我们显然会察觉到;而即便我们有强烈动机这么做,却没有进行这种替代,这就是反证,说明我们的模型尚不具备这一水平的能力。”

简而言之,Anthropic努力用模型替代研究人员,但仍然需要研究人员。他们也提供了基准测试证据,不过我们认为,与这一直接观察相比,该证据的重要性较低,也更不确定。

风险报告认为,尚未越过加速2倍阈值,因为能力指标和先行指标显示加速幅度不到2倍,而且推动加速的因素并非AI。

风险报告列出了三条主要证据,说明尚未越过加速2倍阈值:

风险报告将加速2倍阈值描述为一种早期预警,而非高风险的直接证据。

8月风险报告对加速2倍阈值的描述如下:

“RSP中设定的风险阈值——相对于AI加速前的进展速度翻倍,且可归因于AI研发自动化——是一种潜在的早期预警,而不是威胁已经成为现实的证据。”

他们没有给出表明风险已经很高的精确阈值,但其威胁模型描述了一些示例性情景:

“威胁:我们认为,未来几年内,AI模型可能具备广泛且超越人类能力的本领。尤其是,推进关键领域研发所需的大部分或全部工作——从机器人、能源到网络战和AI研发本身——都可能实现自动化。

如果这一判断正确,可能会带来巨大的益处,但这些益处也伴随着若干彼此不同但相关的担忧:

某些技术领域进展过快,可能改变国家内部以及国家之间的权力结构。例如,如果某个威权政权在AI领域对世界其他地区建立起自我强化的领先优势,这一领先优势可能不断累积,转化为科学和技术领域的重大优势;进而可能导致突然且颠覆性的进展,使其长期拥有发动战争、监视公民和/或运用极其强大技术的能力。 如果AI模型在大力自动化关键领域研发的同时形成危险目标,就可能利用新技术及其获取这些技术的能力造成无边界的伤害,甚至使人类彻底失去对文明的控制。 如果AI能够用于自动化AI研发本身,结果可能是AI进展极度加速,从而引发广泛的风险,其中包括但不限于本报告讨论的风险。”

根据这些描述以及我们与Anthropic员工的交流,我们理解,“低/中/高”总体风险等级指的是当时的模型直接促成上述类型灾难性问题的风险,而不是越过其RSP阈值的风险(不过我们认为,报告本可以把这一点说得更清楚)。

Anthropic的结论是,7月15日这一威胁模型带来的风险为“低”。

因此,Anthropic总体上认为风险“低”,因为他们认为:

  1. 他们的阈值不太可能被越过,而且
  2. 即使越过阈值,也未必足以造成其威胁模型所述的灾难性风险。

报告总结如下:

“低。我们认为,我们的模型尚未满足这一威胁模型的任何一项RSP标准。不过,与以往的风险报告相比,我们对这一评估的信心较低,因为我们最具体、基于任务的评估已经‘饱和’——也就是说,它们不再能反映模型能力的提升——而且我们看到了可能加速的早期迹象。”

我们认为,风险报告关于尚未越过完全替代阈值的论证总体上令人信服。

Anthropic所描述的完全替代阈值要求很高;我们同意,如果截至7月15日的模型具备这种能力,他们很可能会注意到其自动化研究方面取得了更大进展。

与Anthropic类似,由于缺少高可信度且未饱和的基准测试来证明模型存在限制,而这些限制似乎对自动化AI研发至关重要,我们对这一主张的信心远低于过去。缺少此类基准测试证据,让我们更担心:即使模型已具备或非常接近具备所需能力,对齐、工具、监督或能力引出方面的问题仍在阻碍自动化。

我们认为,公开风险报告关于尚未越过加速2倍阈值的论证夸大了确定性;我们认为截至7月15日越过这一阈值并非不可能。

METR和Anthropic的大多数相关研究人员倾向于认为,截至7月15日尚未越过该阈值,但我们认为越过阈值也并非不可能。我们认为,公开风险报告关于加速2倍阈值的结论似乎过于自信,而且依赖公开报告没有清楚说明的判断取舍。

具体而言,我们认为,公开风险报告低估了AECI和先行指标所显示的加速证据,也低估了私密未删节报告中对反事实加速所表达的不确定性。

主张1:先行指标显示加速有限。

公开风险报告私密风险报告
“我们的先行指标呈现出这样的情况:从2025年年初至年中开始出现显著加速,不过加速幅度不到2倍。”“根据我们对当前[已删节]进展速度(每年[已删节]倍)的中心估计,即使把所有观察到的提速都归因于AI辅助,[已删节]的进展速度也不到原来的两倍。” METR对这段引文的注释:每年[已删节]倍所隐含的加速率为1.97。私密报告中没有出现1.97这个数字;这是我们将报告上述对当前进展速度的估计与私密报告其他部分对历史进展速度的估计结合后得出的计算结果。

我们认为,读者会把公开报告中的“不到2倍”理解为估计值明显低于2,因此,私密风险报告中的数字实际意味着1.97,令人意外。更恰当的说法似乎是“约为2倍”。

METR对这些先行指标进行的分析(本报告中已删节)得出的合理估计范围为1.3至2.8。对于衡量这些数值的正确方法,我们存在相当大的方法学不确定性,并已在整体报告的完整未删节版本中讨论。正如该报告所述,Anthropic删节了这段讨论。

METR建议在2026年8月风险报告中采用的表述:

“先行指标显示加速显著,具体幅度为1.3至2.8倍,取决于所采用的定义和时间段。我们不确定这些先行指标与下游能力之间有何关系。”

主张2:这次加速归因于AI的程度有限。

公开风险报告私密风险报告
“我们认为,借助AI辅助,我们的内部AI研发工作显著快于没有AI辅助时的情况,但还没有快到2倍(尽管我们对此并不确定,测量也很困难)。” “我们相当有把握地认为,2025年的加速应归因于使用AI模型以外的因素,不过我们也认为,截至报告覆盖日期,我们的AI模型一直是趋势加快的一个关键因素。”“总体而言,我们预计,端到端的[已删节]增长速度略低于没有AI辅助时的两倍。” “我们的中心估计认为,相对于没有AI辅助的反事实情况,AI研发进展提速幅度略低于2倍(针对[已删节])。……我们猜测这一估计更可能偏高而非偏低;尽管如此,我们仍有足够的不确定性,认为总体提速超过2倍也并非不可能。”

虽然第一段确实表达了对总体加速程度的不确定性,但公开风险报告似乎暗示,我们相当有把握地认为,归因于AI的只是其中较小一部分,即使截至7月15日的报告覆盖日期也是如此。与此同时,私密风险报告称,截至7月15日,归因于AI的总体反事实加速超过2倍是“可能的”。

根据我们在整体报告中审阅的证据,我们总体上同意私密风险报告对当时证据的评估,不过直接估算反事实加速非常困难。

“我们相当有把握地认为,2025年出现的部分加速应归因于使用AI模型以外的因素,不过我们也认为,截至报告覆盖日期,我们的AI模型一直是趋势加快的一个日益重要的因素。

根据对研究负责人的访谈和非正式调查,我们猜测,AI能力整体进展速度仍略低于没有AI辅助时的两倍。我们有足够的不确定性,因此认为总体进展超过2倍也并非不可能。”

主张3:反对AECI持续加速的证据较弱。

公开风险报告私密风险报告
“Claude Mythos 5高于历史得分趋势线的幅度,与Mythos Preview高出趋势线的幅度相近;这为模型整体能力随时间大幅提升提供了较弱的反证。 根据有限的数据,Model 2(图中未显示)的AECI得分似乎比Claude Mythos 5高约1.5分,且误差范围很大(增幅小于Claude Mythos Preview到Claude Mythos 5之间的增幅)。”“鉴于我们的模型并非全部都经过端到端训练、以实现每FLOP算力所获智能的最大化(事实上,没有一个模型只以此为优化目标),我们需要考虑的问题是:这张[ AECI ]图应当算有多少个‘有效点’,以及看起来很强的线性趋势是否真的如表面所见那样可靠。” “这四次训练中最新、能力最强的一次……参与了Model 2的训练流程,但我们认为该模型的表现并不能代表我们对这个基础模型后续衍生模型的预期;我们预计后续模型相较Mythos 5会有更显著的改进。”

公开风险报告称Model 2的得分误差范围很大,却没有提到私密风险报告中的限定说明:Anthropic预计同一基础模型的后续快照会取得更高分。事实上,Model 2的后续快照在AECI上的表现确有提升,幅度大致与Mythos 5相较Mythos Preview的提升相同。

公开风险报告还称,他们发现了一些较弱证据,支持Mythos Preview时期AECI曾一次性跃升;但我们不同意他们对此的强调:

“根据目前的AECI数据,我们无法有把握地区分能力的一次性跃升与持续加速。不过,考虑到上文提到的先行指标加速,持续加速似乎是更简约的解释。

还有两个因素使当前的AECI趋势难以解读:

构成这一AECI趋势的部分模型并非只针对能力进行优化,因此更难判断这一趋势有多少个‘有效点’。 Model 2尚未完成训练,因此我们预计后续快照的表现会有所提升。 未来的AECI测量很可能会澄清这究竟是一次性跃升,还是持续加速。”

尽管如此,我们总体上同意,7月15日的模型因自动化研发而直接造成灾难性风险的可能性较低。

虽然根据上述证据,我们认为截至7月15日可用的模型可能使AI研发进展速度达到反事实基准的2倍,但要促成Anthropic上述担忧情景中描述的灾难性风险,可能还需要显著更大的加速。我们也不认为当时的模型能够完全自动化AI研发或其他关键领域的研发。因此,我们同意当时可用的模型带来的这些风险“低”。

不过,正如我们在整体评估中所述,我们预计AI对研发的增强作用将继续扩大,而且无法排除未来6个月内能力进展速度进一步大幅加快的可能性。这可能迅速导致这些领域的风险升至“高”。

关键术语。

在METR与Anthropic开始合作撰写AI加速研发评估后不久,Anthropic要求METR另外审阅其8月风险报告,METR同意了。审阅的确切范围从未正式确定,而是在合作过程中双方协商敲定的。

利益冲突披露。

合同详情。

时间线。

  1. 8月12日:Anthropic开始向METR分享机密信息。
  2. 8月14日:Anthropic向METR分享未删节的8月AI研发风险报告。
  3. 9月18日:METR向Anthropic提交风险报告审阅初稿征求意见。
  4. 9月22日至10月28日:METR对风险报告审阅稿进行多轮修改。
  5. 10月28日:Anthropic为风险报告提供最终删节指导。
  6. 10月29日:Anthropic批准删节后的报告。

其他披露。

AEF-1清单。

  1. 作者:Tom Cunningham、Nate Rush、Parker Whitfill和Hjalmar Wijk。↩
  2. 引用RSP v3.4的内容,其操作化定义如下:“在以下情况下,我们会认为情景(2)已经发生:(a) 我们观察到或预计AI总体能力的进展速度[脚注1],相较于以下两个基准均达到两倍:我们预期的进展速度,以及在AI未对AI研发作出显著贡献的情况下我们观察到的最快持续进展速度[脚注2];并且(b) 这种翻倍有可能在很大程度上归因于研究和/或工程自动化(而不是增加员工人数、算力或一般生产力等其他因素),以至于AI进展趋势若延续,很可能导致更大的加速。”[脚注1]“进展速度翻倍”指“一年内取得的进展相当于基准情况下两年内的进展”。例如,如果基准进展包括算力规模扩大3倍,算法效率提升3倍(相当于“有效规模扩大”9倍),“进展速度翻倍”就意味着有效规模扩大约81倍。这与“研究人员生产力翻倍”并非同一概念,因为投入翻倍未必会使进展速度也翻倍。[脚注2]至少跨越三代模型。↩
  3. 我们只依据少数几个最直接针对能力最大化而优化的模型,做了简单的外推,并假设加速会持续。与基于所有数据点的外推相比,这一外推使我们对未来AECI得分的预测更准确。↩