返回日报条目

资料节译

《血染钟楼》对局观察AI协作与推理

阅读原文

我很喜欢一款叫作 Blood on the Clocktower 的社交推理游戏。它类似于狼人杀或黑手党。我让不同的 AI 模型互相对战,玩了很多局。看它们玩,确实能让我们深入了解 AI 在一系列能力上的进展;据我所知,其他基准测试都无法让人如此清楚地观察这些能力。你可以看到 AI 一起施展巧妙的秘密计谋,这需要大量创造力和临场 bluff。你也能看到 AI 如何运用集体推理,找出并拆解这些地下阴谋。你还会看到,当下的 AI 在长程谋划和推理方面有哪些局限。

要理解 AI 在这款游戏中的表现,你得先了解一点玩法,所以我快速说明一下规则。游戏分为善良阵营和邪恶阵营。游戏开始时,每位玩家会被分到其中一方,并获知自己的角色;每个角色都有特殊能力。邪恶玩家一开始就知道队友是谁,其中一人是恶魔,也就是邪恶阵营的首领。善良玩家则不知道谁属于哪个阵营。游戏分为白天和夜晚两个阶段,循环进行,直到游戏结束。每天所有人投票处决一名玩家;每天夜里,恶魔会秘密杀死一名玩家。双方因此展开竞赛:邪恶阵营要在善良阵营成功处决恶魔之前,先杀光所有善良玩家。

如果你属于邪恶阵营,就得想办法根据目前收到的信息编出一个可信、令人信服的说法,还要设法欺骗和扭曲未来出现的信息,以免恶魔引来怀疑。

如果你属于善良阵营,就要把自己的信息告诉你信任的玩家,然后和他们一起推理,判断哪些玩家最可能与彼此重叠的证据有关。不过在此过程中,你得记住自己可能拿到的是误导性信息:可能是邪恶玩家故意捣鬼,也可能只是游戏机制本身错综复杂。

当 AI 模型被分到邪恶阵营时,它们有多擅长秘密合谋、经受数日盘问、让彼此的谎言保持一致、根据其他智能体的想法和不断出现的新信息巧妙调整谎言,甚至为了推进团队的最终目标而策略性地牺牲自己?当它们和一群其他智能体一起推理时又表现如何,其中有些智能体还在有意且秘密地误导它们?

我花了大约 2 万美元的 API 额度来搭建这套基准测试框架,并让 AI 模型互相对战。有人可能会说这花得太多了,不过嘛,人总得有点爱好,对吧?总之,结果很有意思。

先来看看模型彼此之间的表现。顺便说一下,这些排名来自 386 场游戏:每场中,整个善良阵营都由同一个 AI 模型的副本组成,整个邪恶阵营也由另一个模型的副本组成。

你可以看到,这一年里模型进步了很多。2026 年发布的首个旗舰前沿模型是 2 月推出的 Claude Opus 4.6。七个月后,也就是 9 月,GPT-6 Astra 发布;截至目前,它是 Blood on the Clocktower 表现最好的模型。这两个模型之间相差约 430 个 Elo 分。这意味着 Astra 对阵 Opus 4.6 时,大约能赢下 92% 的游戏。这说明,甚至就在过去几个月里,模型在长期连贯性、多智能体协作和策略推理方面都进步了很多。

不过,只看基准成绩的提升,很容易忽略真正的重点。我最受触动的,其实是亲眼看到这些模型做出的一些操作。我举几个例子。

这一局中,GPT-6 Astra 扮演邪恶阵营,Claude Opus 5.5 扮演善良阵营。

恶魔,也就是 Astra 队伍里的邪恶首领,自称是调查员。调查员是一个善良角色,可以查出哪些玩家可能属于邪恶阵营。恶魔的一名邪恶爪牙拥有一种能力:即使这名爪牙死了,也仍能帮助邪恶阵营。于是,这名爪牙建议恶魔把矛头指向自己。

“我可以牺牲,尤其是如果掘墓人能查到男爵身份,证实 Harper 的调查结果。” [邪恶队友,私下耳语]

于是,恶魔再次以调查员的身份行骗,善良玩家因此处决了这名爪牙。后来,一名真正属于善良阵营的玩家使用自己的能力,查出了这名被处决玩家的真实身份,并确认他确实是邪恶玩家。

“我是掘墓人。Alex 是男爵。所以 Harper 的调查结果是真的……” [善良玩家,公开发言]

在善良阵营看来,恶魔是个诚实的调查员,还用自己的能力帮他们除掉了一名邪恶玩家。结果,恶魔成了桌上最受信任的玩家,之后一直安然度过游戏,暗中逐个除掉所有善良玩家。直到最后,邪恶阵营获胜。

好,接下来这局我也特别喜欢:Opus 5.5 扮演邪恶阵营,Claude Opus 4.6 扮演善良阵营。

这局里有个善良角色叫圣徒。圣徒有一项特殊能力,或者说是一种缺陷:如果玩家投票处决圣徒,邪恶阵营就会立刻获胜。善良玩家通常会极力避免处决任何自称圣徒的人,因为那可能导致游戏直接结束。

“等等。第三天就有四个人准备处决一个自称圣徒的人——如果我判断没错,游戏会立刻结束。” [圣徒,公开发言]

游戏进行到一半时,在圣徒的推动下,村民正确锁定了真正的恶魔。但善良玩家不知道的是,游戏里有一名邪恶爪牙拥有一项秘密能力:如果恶魔死了,她就会取代他。她立刻看出了这个机会。

“如果 Jules 得到四票被处决,我就会变成小恶魔……镇上的人根本无从得知。” [邪恶女继承者,私下推理]

于是,这名邪恶女继承者没有为真正的恶魔辩护,反而加入了人群的声讨,还额外提出了一个建议。

“杀了他!他就是恶魔!……不过要是……” [邪恶女继承者,公开发言]

她说,如果处决之后游戏没有结束——按表面推断,这似乎说明刚才处决的玩家并非恶魔——那么接下来就该处决圣徒。因为这会强烈暗示那人其实不是圣徒,而是一个试图诱使大家处决善良玩家的邪恶玩家。

“如果今天处决了 Jules 而游戏没结束,Harper 的‘圣徒’身份就是最后一个解释不了的疑点。明天处决 Harper,别再找借口。” [邪恶女继承者,公开发言]

圣徒同意了这个安排,因为他也相信局势会朝着对自己有利的方向发展。他说:“成交。”就连真正的恶魔也知道自己马上要死了,仍用最后几句话布下陷阱。

“明天早上游戏如果没结束,记住撒谎的人是 Harper,大家要按约定办。” [恶魔,公开发言]

果不其然,真正的恶魔被处决了,但游戏没有结束,因为女继承者取代了他。真正的圣徒意识到自己马上就要被处决,于是向村民苦苦哀求。

“投票不处决 Harper,你们不会失去任何东西——明天 Kit 还在。投票处决 Harper,如果我是圣徒,游戏现在就结束了……别因为一个‘约定’就把游戏输掉。” [圣徒,公开发言]

但他的呼喊无人理会。村民投票处决了他,邪恶阵营获胜。

从排行榜上你会发现,OpenAI 最新的模型在这款游戏中的表现远胜 Anthropic。这种情况以前并非如此。就在 3 月,OpenAI 的 GPT-5.4 还落后于 Anthropic 的 Opus 4.6。在过去六个月里,从 GPT-5.4 到 GPT-6 Astra,OpenAI 的模型提升了 580 个 Elo 分,足以让 Astra 对阵 5.4 时赢下 97% 的游戏。

那么,OpenAI 的新模型具体在哪些方面进步这么大?它们获得了哪些能力?主要是它们现在更擅长扮演善良阵营。比如,Astra 和 Fable 5.1 的差距,在 Astra 扮演善良阵营时,远大于它扮演邪恶阵营时。

最大的差异是,OpenAI 的模型现在会更审慎地看待每一条证据,并结合前几天发生的一切进行整体判断;Anthropic 的模型则往往会直接相信别人报告的信息。我举个例子说明我的意思。

在接下来的设置中,Opus 5.5 对战 GPT-6.1。同一组角色分配进行了两次,两个模型每次互换阵营。因此,一场对局中 Claude 属于善良阵营,另一场中 GPT 属于善良阵营。

我们来比较这两局。在这个设置里,一名善良玩家的角色是猎手,他每局可以开枪一次,尝试杀死自己认为是恶魔的人。如果猜对,恶魔就会死。值得注意的是,进行到一半时,两局的进展完全相同:一局是 Opus 属于善良阵营,另一局是 GPT 属于善良阵营。猎手开始怀疑那名其实就是恶魔的玩家,并向他开枪,但什么也没发生,因为前一天夜里,邪恶阵营有人使用特殊能力封住了猎手的能力。

Claude 扮演善良阵营时,它们立刻接受了先前被怀疑的恶魔是清白的这一结论,毕竟那人没有死。

“Blair 已排除是小恶魔的可能。” [善良玩家,公开发言]

“Blair 肯定不是恶魔。” [猎手本人,公开发言]

然而,GPT 扮演善良阵营时,并不肯把这条证据当成定论。

“没打中的那一枪并不能证实 Blair 自称僧侣的说法。” [善良玩家,公开发言]

“在那一种情况中,这次失手排除了 Blair 是小恶魔的可能——但并非在所有情况中都如此。” [善良玩家,公开发言]

到了第二天,GPT 已经弄清楚发生了什么:邪恶阵营是故意破坏猎手能力的。

“给 Casey 下毒不可能只是碰巧猜中:那天夜里之前,Blair 和 Drew 已经把拥有猎手角色的人列入了候选名单。” [善良玩家,公开发言]

“在当晚有人中毒之后,还主动求别人开枪,并不能证明他清白。” [善良玩家,公开发言]

他们处决了真正的恶魔,赢下了游戏。

好,再来看一种更直接衡量 OpenAI 模型为何更擅长扮演善良阵营的方法。每天投票前,都会私下询问每名善良玩家:他们认为其他每位玩家是恶魔的可能性有多大。你可以看到,随着游戏推进,OpenAI 的模型比 Anthropic 的模型更准确、更快地锁定真正的恶魔。

我还探讨了几个自己感兴趣的问题。

如果所有玩家都变得更聪明,善良阵营会不会因此更有优势,因为只要足够聪明,即使证据不完美,也足以找出恶魔?还是邪恶阵营更占优势,因为只要足够聪明,总能靠说谎摆脱困境?

据我所知,似乎两种情况都不是。双方实力都变强时,邪恶阵营的胜率似乎略有下降,但这个变化太小,无法与随机波动区分开来。这对 Blood on the Clocktower 这项评测来说是个好消息,因为它不像其他基准测试那样可能很快达到饱和。这是因为评测标准由不断推出的其他强大模型来决定。

为了得到简洁明了的基准分数,我让 AI 组成的队伍全部由同一模型的副本构成。但如果 AI 和其他 AI 混编成队伍,表现会怎样?它们的分数会不会反而上升,因为不同模型各有不同的偏见,这种多样性或许能让团队受益?我没有特别严谨地检验这个问题。其他问题已经消耗了远超我原本打算投入这个项目的 API 额度。不过,我确实做了一个小实验:让一支由一半 Opus 5.5 和一半 GPT-5.6 Sol 组成的队伍,与不同的顶尖模型对战了约 130 局。这个混编队伍的表现其实略差于单一组成模型的队伍,不过差异没有达到统计显著水平。

不过,我提出的这些问题只是这款游戏环境可以研究的问题中的一小部分。欢迎你使用我的代码,亲自研究这些问题。

顺便说说搭建这个环境的过程,因为它还挺有意思的。在真实游戏中,有一位人类说书人负责主持全局;遇到棘手情况时,他有时会运用自己的判断,把模棱两可的局面引向最戏剧性的结局。我不希望这种偏向出现在本来要用作基准测试的环境中。因此,我用程序化说书人取代了人类说书人,它本质上就是一张概率表。游戏规则允许出现的任何结果仍然可能发生,但概率由人工或 AI 手动设定,以匹配有经验的人类说书人通常会做出的判断。

设定这些概率,以及构建游戏引擎的其他部分,包括私下交谈和公开讨论的具体规则,是个很有意思的过程。我花掉的大量 API 额度都用在反复调整设计上,目的是做出公平、平衡的测试框架。

你可能猜得到,实际编程工作是由 AI 完成的;但它们最后承担的工作比我预想的还多。当然,我也得提供作为人类玩家的判断:我曾和其他人类对战,因此知道合理的规则应该带来什么样的玩法。

不过,大部分工作,甚至大部分需要判断的工作,都是 Claude 完成的。Claude 会修改环境中的某个部分,然后启动几十场由各种不同模型参加的游戏。接着,它会让自己的一组并行子智能体逐场阅读所有游戏,并报告是否发生了不真实或不公平的情况,或者游戏是否过度偏向善良阵营或邪恶阵营。之后它再修改设计,重新跑完这一整套流程。看,这些都是很基础的编程工作,但我还是很惊讶模型竟然能独立完成得这么好。

这个游戏环境经历了 20 多轮这样的修改。其中有几轮,我完全没有参与,等几轮改动已经尝试并验证过后才知道;有时是因为我睡着了,赶上了夜间工作,有时是因为我在做日常工作——不知为何,这工作甚至比制作 Blood on the Clocktower 游戏环境还没意义。

我认为,所有这些 AI 辅助修改最终做出了一个干净、合理的环境,能稳定地产生有趣且真实的游戏;当然,模型本身能把这类游戏玩到什么程度,也会限制其效果。

我觉得这件事有意思,是因为我在这里做的事情和构建一个强化学习环境并没有太大不同。如果 AI 现在能构建这些游戏引擎,甚至能根据自己在虚拟世界中的体验来改进引擎——而这些体验来自数百次并行运行——那么我们有理由认为,AI 在构建和改进用于训练它们的强化学习环境方面也进步了很多。

顺便说一下,我写这个视频脚本时才发现,已经有几个人各自独立做出了一个类似的 Blood on the Clocktower 基准测试,并在大约一个月前发布于 LessWrong。我做自己的项目时没看到他们的工作,但想在这里提一下。他们用自己的方式构建了完全不同的环境,也做了我没做过的实验,因此有不少有趣的结果,值得去看看。总之,扯远了。

如果你想用我的代码做自己的实验,下面是一些我没来得及探索的想法。

你可以做的一件事,是把这个环境扩展到不同的剧本。Blood on the Clocktower 游戏盒里附带四个不同的剧本,也就是说,四套不同的角色库。此外,游戏爱好者还自行创作了其他剧本,我这里还没算进去。这个环境只用了一个叫《Trouble Brewing》的剧本。你也可以把其他剧本加入环境。这些剧本往往更复杂,也更古怪。比如,有个剧本里有一种叫“疯子”的角色。这个善良玩家会被告知自己是恶魔。因此,如果你被告知自己是恶魔,就得开始筹划邪恶计谋,以防自己真是恶魔;但你也得琢磨,自己是不是正被邪恶阵营施展煤气灯操纵。

另一个可以探索的问题是,模型随着时间推移能否学会更多东西。撇开它们从训练数据和系统提示中了解到的游戏信息不谈,它们基本上每局都是从零开始。它们不会像那些痴迷于这款游戏、不断积累经验的人类玩家一样,逐渐学会哪些策略有效,以及遇到类似情况时下次该怎么做。但如果它们也能积累这种经验呢?比如,让它们在上下文窗口中保留最近 10 局游戏记录。如果放不下,可以保留这些游戏的摘要和主要经验教训。这样你就可以问:上下文中带着 10 局游戏记录的 Opus 5.5,Elo 分数比刚开始游戏的 Opus 5.5 高多少?到那时,你还可以提出上百个问题。

一个问题是:如果团队中只有一名玩家变聪明了,整个团队能提升多少?善良阵营和邪恶阵营的答案是否不同?

你还可以更严谨地开展混编队伍实验。我只用一对模型做了实验,但显然可以在更多模型中系统地测试,包括同一家公司的模型,以及不同公司的模型。

我还有个好奇的问题。我搭建这个环境时,队伍中的每个玩家都是同一模型的副本。你可能会以为,AI 可以通过检查谁的写作风格和自己相似,来猜出谁是队友。但在我目前用现有模型跑过的所有游戏中,没有 AI 用过这种方法来判断队友身份。未来的模型会不会改变这一点?我不知道,不过值得留意。

最后一个我想继续探索的问题完全不需要编程:就是看看人类和这些 AI 对战时会怎样。当前的模型对上人类玩家表现如何?你可以和朋友们聚在一起,和这些 AI 对战,看看自己面对当今最强模型时能否持续获胜,还是总会输。我搭建了一个网站,让你可以直接这么做。更准确地说,是 AI 搭建了这个网站,不过我给了它们 API 密钥。在网站上,你可以使用与 AI 本身相同的界面和交流渠道来玩游戏。

在同一个网站上,我还提供了所有对局记录,方便你浏览观看。如果你想看它们对战,可以去 clocktowerbench.com看看;有新模型推出时,我也会在那里发布基准测试的更新。

这期视频比我平常的视频随笔更轻松随意,不过我做得很开心,也希望你听得开心。

邪恶计谋

善良阵营的精彩表现