返回日报条目

资料节译

Meta用AI代理扩展广告排序模型的机器学习创新

阅读原文

Meta 的广告推荐系统由大量不同的广告排序模型提供支持,每个模型服务于不同的产品界面和广告主目标,并各自拥有不同的架构、训练数据和在线服务约束。

在整个模型组合中,机器学习研究人员和工程师持续通过创新推动技术前沿,我们将这些创新称为“技术”。技术是任何能够改进排序模型的东西,例如架构改进,如Wukong因子分解层、Interformer交互网络、更丰富的数据表示、训练优化,或训练和推理效率改进。

然而,由于每个模型都有自己的架构、数据以及训练和在线服务约束,在一个模型上验证有效的技术几乎从来不能直接复制到下一个模型上。与此同时,速度至关重要,因为机器学习技术有其有效期。今天带来收益的创新,可能在几个模型开发周期内就被取代。经过验证的技术越快覆盖整个模型群,就能在下一代技术出现前创造越多价值。

那么,我们如何才能尽可能快速地将一项技术推广到多样化的模型群,同时尽量减少工程人力和计算资源?

要将不断增加的已验证技术推广到规模庞大且多样化的模型群,就需要探索呈组合式增长的技术与模型组合空间,而工程人力和计算资源都会成为重要制约。

适配技术的标准做法是由具备领域专长的工程师手动执行。工程师会研究某项技术如何与特定模型的架构交互,将其推广适用,并针对该模型的约束进行调优。这种做法效果最好,目前仍用于我们收入最高的模型,但无法扩展到组合空间中的所有模型。每次适配都耗费大量精力,而且要求工程师深入熟悉技术和目标模型。因此,处理速度受工程人力限制,而适配机会的增长速度则快得多。

推广面临的第二个制约是计算资源。每次适配尝试都需要进行一次训练;在计算预算有限的情况下,问题不只是尝试哪些技术,还包括如何在配置组合空间中进行探索,同时避免把预算花在大多数只能带来次优收益的尝试上。

这两个制约指向同一项要求:要快速将技术推广到大量多样化模型,推广流程必须标准化、自动化,并能够作出判断。

我们从标准化模型设计和自动化推广入手:采用模板驱动的方法,将模型组织成少量可复用、可组合的构建模块。这样,一项技术只要在模板层面验证一次,就能自动推广到所有基于该模板构建的模型。在过去两年中,通过标准化和自动化,我们已在庞大且多样化的模型群中落地 5,000 多个技术与模型组合,同时将每个模型的工程耗时减少了 92%。更多信息请参阅我们关于标准模型模板(SMT)的文章。

标准化和自动化处理确定性步骤,但要成功且高效地推广,仍需作出判断,例如哪些技术值得推广到哪些模型、超参数搜索范围应设多大、模型为何没有收益,以及如何检测和解决故障。这些决策仍需要大量人力,限制了进一步扩展,也使我们无法做到在技术验证后的几周内将所有技术推广到所有适用模型。

这正是 AI 智能体发挥作用的地方。

我们的技术推广系统围绕三项能力构建:

如今,AI 智能体通过承担依赖判断且非确定性的决策工作,为上述所有能力注入强大动力,并为系统带来深入的智能。它们将基于大语言模型的推理与专用机器学习工具结合起来,处理诸如决定尝试哪些适配、诊断失败原因并自动缓解问题、高效探索超参数空间,以及管理数百个并发任务的资源容量等工作。智能体共享一个通用知识库,其中积累了以往训练任务、模型架构和技术效果的记录,因此它们能基于已有经验继续推进,而不是从头开始。

发现要回答两个问题:有哪些已验证的技术?它们对模型群中的每个模型有多大适用性?直到不久前,这两个问题都由领域专家逐个模型评估。他们跟踪组织内的研究和结果,找出值得推广的技术,并凭借领域知识判断其适用性。

智能体不受领域专家面临的相同知识和工程人力限制。它们不依赖某一位专家掌握的知识,而是利用共享知识库;它们一次评估整个模型群,而不是逐个模型评估。它们系统地找出已验证的技术,估计这些技术在模型群中的可迁移性,并生成按预期影响排序的优先技术清单。工程师现在只需审核智能体的评估并据此作出决定。

泛化是指重新实现一项在某个模型上验证过的技术,使其适用于架构、特征表示、训练数据和在线服务约束各不相同的模型。核心思路通常可以迁移,但具体实现几乎从来不能直接照搬。所需的定制工作取决于技术和目标模型,可能包括重新调整超参数、将特征适配为目标模型已有的输入,或调整架构规模以符合其推理预算,也可能需要彻底重新设计该技术。判断特定模型需要什么以及改动到什么程度,都需要作出判断。

根据模型是基于标准化模板构建,还是单独定制,泛化有两种形式,智能体都能提供协助:

智能体利用数百万次以往训练任务的经验和每个目标模型自身的特性,从最可能奏效的配置入手,利用每轮训练结果缩小下一轮的超参数搜索空间,并决定哪些实验值得继续、哪些应提前停止。因此,在选定的技术与模型组合中,我们观察到训练计算量中位数减少了 4 倍。

在采用阶段,智能体逐个模型上线泛化后的技术。它们启动实验、管理异步且持续数日的训练任务、微调每个模型、监控收敛情况、恢复故障,并整理经过验证的方案。

微调方式取决于技术的应用方式。对于逐个模型单独应用的技术,智能体协助为该模型找到最佳的技术组合配置。对于基于共享模板构建的模型,自动研究循环会在模板基础上进行搜索,为每个模型调优,弥补共享配置本身无法带来的收益。

发生故障时,无论原因是基础设施问题、训练发散还是数据流水线错误,集成的调试和恢复机制都会诊断根本原因,并实施有针对性的修复或重试。

同时运行数百个这样的工作流,就会带来哪些任务应优先处理、哪些训练值得继续或应提前停止的问题。如何充分利用固定的计算预算是一个全局优化问题,也是我们目前投入精力的方向。智能体监控并发训练任务,根据收入重要性、技术潜力和截止期限临近程度对其排序,并从停滞或价值较低的任务中回收资源,使 GPU 持续用于价值最高的工作,而不是闲置或排在优先级较低的实验之后。

过去,工程师必须盯着每次训练、手动分流每项故障并重启任务,因此每人最多只能负责少数几个模型。现在,他们可以在决策节点进行监督、审批计划并设定优先级,生产力提高了3 倍(每位工程师如今能处理的技术与模型适配数量是原来的 3 倍),从而缩短技术验证到模型上线之间的时间。

由智能体推广的技术与由工程师推广的技术采用相同的评估方式。技术必须在预测性能等离线指标上有所改善,例如归一化熵(NE),同时不能导致训练或推理成本等关键护栏指标退化。之后还必须在在线 A/B 测试中取得具有统计显著性的提升,才能上线。

但如果只在最后进行一次评估,就无法及时指导跨阶段、持续数日工作的智能体。每个阶段都会产出不同的成果,因此各自都需要相应的指标。以下是我们验证智能体工作效果的方式。

**发现:**我们衡量智能体所选技术与模型候选项的精确率和召回率。对于给定技术,精确率是最终成功上线该技术的已选模型所占比例;召回率是智能体找出的该技术所有可行模型所占比例。这里召回率更重要,因为在此阶段漏掉的模型不会再有第二次机会;精确率则作为护栏,避免把计算资源浪费在不会奏效的技术上。

**泛化:**我们在范围广泛的模型上评估智能体泛化的技术,确保每项技术都能在最初验证它的模型之外带来收益。首先,我们在缩小规模的模型版本上测试每项泛化后的技术,在高效利用计算资源的同时,广泛筛选技术与模型适配方案。随后,在有代表性的全尺寸模型集合上评估通过筛选的技术;这些技术必须改善 NE,并满足所有护栏指标,才能进入采用阶段。

采用:在这一阶段,我们继续使用与之前相同的预测性能和护栏指标评估正确性。但采用阶段的运维工作也最繁重,实验会持续数日,因此我们还会评估智能体的生产力。两个指标最重要:完成一次实验所需的人工干预次数,反映每次实验仍需投入多少工程时间;以及智能体能够自行诊断并缓解的问题所占百分比。

在整个推广过程中,人类仍是关键参与者,负责审核重要决策、确认判断,并最终批准上线内容。

鉴于早期结果,我们正在扩大由智能体驱动的工作流,使其成为在整个模型群中推广技术的主要方式。

如今,让每项已验证技术覆盖所有适用模型可能需要一年多。我们的目标是将这一时间缩短至三个月。要实现这一点,就需要将智能体驱动工作流的端到端吞吐量提高到原来的 5 倍,让技术推广跟上创新步伐,而不是落后于创新。

为实现这一目标,我们将继续提升智能体本身的智能,通过自我演进学习改进泛化质量、资源容量效率和执行能力;在这种学习方式中,智能体会根据累积的结果改进自身策略,而不只是依赖人类提供的启发式规则。

跨模型推广技术只是更宏大愿景的一部分。我们正在为排序 AI 领域端到端模型开发生命周期的每个环节配备智能体,从探索和生成假设,到技术推广、实验和生产上线。这些智能体构成了该系统的扩展层,确保每项已验证的创新都能在整个模型群中充分发挥潜力。

Babak Behsaz、Anuj Bindal、Wenlin Chen、Jae-Woo Choi、Kapil Dontula、Jason Flaks、Ali Gowani、Umut Gunduz、Varun Jalan、Annapurna Kala、Anika Karpurapu、Santanu Kolay、Sundeep Mallela、JP Owed、Rudresh Rajnikant Panchal、Sandeep Pandey、Dhiraj Parashar、Ray Qin、Shah Rahman、Munaf Sahaf、Alex Sandrovskii、Matt Steiner、Vivienne Sung、Ritwik Tewari、Alireza Vahdatpour、Jacky Wang、Hitesh Yalamanchili、Fan Yang、Shuting Zhao、Wenhan Zhao 和 Peng Zhong。

文章Meta 如何利用 AI 智能体扩大广告排序模型中的机器学习创新最初发表于Meta 工程。