- 我们在 lldb-server 中构建了一种与供应商无关的加速器插件架构,用于调试跨 CPU 和 GPU 运行的应用程序。它将通用调试器基础设施与硬件专属的设备控制分离开来。
- 该设计将 CPU 和 GPU 表示为独立的调试器进程,同时在一个调试会话中呈现它们。
现代 AI 应用很少只在一个地方执行。工作负载可能从高级框架开始,然后在原生 CPU 代码与 GPU 上运行的内核之间来回切换。当错误跨越这些边界时,开发者需要同时了解宿主应用程序和设备。
这比连接传统调试器去调试另一个进程更难。CPU 和 GPU 可能使用不同的指令集、寄存器、内存空间和执行模型。GPU 还通过宿主进程内的运行时和驱动程序进行控制,因此调试设备往往需要与 CPU 仔细协调。
过去,GPU 供应商会构建面向特定设备的调试器,包括 AMD 的 ROCgdb 和 NVIDIA 的 CUDA-GDB。这些工具对各自平台提供了深入支持,但常见调试器功能往往必须分别实现和维护。
在 Meta,我们一直在为 LLDB 开发一种不同的方法:在 lldb-server 中构建通用的加速器插件架构。在本文中,“GPU”指具体设备和示例,而“加速器”指 LLDB 更广泛、与供应商无关的插件抽象。该架构在 Meta 工程师及整个加速器生态系统的贡献下不断演进。它使通用调试器独立于任何一种 GPU,同时为硬件供应商提供了专门实现设备特有行为的接口。
传统调试器通常假设一个进程只有一种架构,并且线程、寄存器和内存的视图一致。GPU 程序对这些假设都提出了挑战。
宿主进程可能运行在 x86-64 上,而其内核使用完全不同的指令集。CPU 线程有熟悉的寄存器上下文,而 GPU 可能以锁步方式执行成组的通道。宿主指针和设备指针可能指向不同的地址空间。GPU 可以提供数千个执行通道,而它们难以映射到大多数命令行和图形界面调试器所呈现的线程模型中。
把所有这些状态合并到一个人为构造的进程模型中,会让调试器变得更复杂。每项操作都必须先判断它适用于 CPU 还是 GPU。寄存器处理、内存读取、断点、单步执行和停止事件都会取决于所选硬件。单一进程模型还会迫使 CPU 和 GPU 共用一张统一内存映射,尽管它们的地址空间可以彼此独立:同一个地址(例如 0x1000)在 CPU 进程和 GPU 进程中可能指向不同位置。
LLDB 加速器架构没有掩盖这些差异,而是为它们划定了清晰的边界。
LLDB 使用一个名为 lldb-server 的伴随进程来启动或附加到程序,并执行底层调试操作。LLDB 客户端通过 GDB 远程协议与服务器通信;这是一种用于读取内存、检查寄存器、控制执行和设置断点等操作的命令协议。
由于 lldb-server 已经控制着原生进程,它也是与加速器运行时协调的合适位置。新的插件接口允许特定硬件的后端与常规 CPU 调试器协同工作。后端会将供应商的设备调试 API 转换成 LLDB 已理解的概念,例如进程、线程、寄存器、内存、模块和停止原因。
这种分离使 LLDB 客户端不依赖特定供应商。命令行、远程协议、符号处理和 IDE 集成方面的通用改进,可以惠及所有加速器。同时,每个供应商仍负责其硬件和驱动程序栈特有的细节。
只有在被调试的应用程序使用受支持的 GPU 运行时时,GPU 调试支持才会启用。对于仅使用 CPU 的应用程序,LLDB 和 lldb-server 会继续使用现有的原生调试路径,不会产生运行时计算开销。
该架构将 CPU 和加速器表示为独立的 LLDB 目标。
每个目标都有自己的架构,并关联一个调试器进程,由该进程维护其线程、寄存器、地址空间和执行状态。CPU 继续使用 LLDB 已有的原生调试路径。加速器可用时,插件会提供第二个连接,供 LLDB 用来创建设备目标。
对于调试器而言,这两个目标在技术上彼此独立。对于开发者而言,它们可以在一个 LLDB 或 IDE 会话中呈现。这样既避免将互不兼容的 CPU 和 GPU 概念强行塞进单一进程,也支持统一的工作流。
典型的调试会话包含以下几个步骤:
- LLDB 连接到 lldb-server,并发现有哪些加速器插件可用。
- 插件可以请求 LLDB 在宿主进程中设置内部断点。这些断点用于标记重要的运行时事件,例如 GPU 调试会话可以开始的时刻。
- 宿主进程到达其中一个断点时,lldb-server 会通知插件。插件随后初始化供应商的调试 API,并准备一个加速器调试端点。
- LLDB 为加速器创建第二个目标并连接到它。之后,设备线程、寄存器、内存、模块和断点都可以使用 LLDB 现有的抽象。
结构化操作会协调两端。插件可以请求 CPU 断点、提供连接信息、报告设备模块,并同步宿主与设备的执行。通用协议描述调试器需要执行的操作,同时不会向 LLDB 客户端暴露供应商专属的 API 细节。
我们还构建了一个模拟加速器插件,无需专用硬件即可演练这一流程。它让 LLVM 测试套件能够验证插件发现、断点协调、连接创建和基本设备状态。这对于开发可独立于任何特定 GPU 进行评审和测试的共享基础设施十分重要。
向量点积 HIP 示例生成了以下精简会话记录:
| (lldb) target list Current targets: target #0: gpu_demo (x86_64, stopped) * target #1: amd_memory_kernel[...] (amdgcn, stopped) (lldb) b compute_element Breakpoint 1: no locations (pending). (lldb) c (lldb) target select 0 (lldb) c Launching kernel: 2 blocks x 32 threads 1 location added to breakpoint 1 Target 1 stopped. (lldb) target select 1 (lldb) bt * frame #0: compute_element(..., idx=32) at gpu_demo.hip:26 frame #1: vector_dot_kernel(..., n=64) at gpu_demo.hip:35 |
| GPU 模块加载后,待处理的断点解析成功,回溯信息 来自 GPU 目标。 |
插件边界有意围绕调试器操作来设计,而非基于某个特定 GPU 平台的概念。这样一来,它便可适用于指令集、运行时 API 和执行模型迥异的设备。
该框架既支持事后 GPU 调试,也支持实时会话。GPU 核心转储插件使用一个通用基类集成到 LLDB,而供应商实现则提供设备专属的线程、寄存器、内存和模块状态。
Meta 的 GPU 调试工作已经在使用这一架构。由于我们运营着由多种 GPU 组成的异构机群,这些工作采用相同模型这一点就验证了该设计:通用 LLDB 层可以保持稳定,同时每个后端都能准确表示各自的设备。
截至撰文时,我们已将大部分通用框架上游贡献给 LLVM。其中包括 lldb-server 插件接口;用于插件发现、初始化、运行时事件协调和创建 GPU 连接的 GDB 远程数据包;在保持 CPU 和 GPU 调试器进程架构相互独立的同时将二者关联起来的支持;对多个地址空间的支持;以及与硬件无关的模拟测试。我们预计很快会将其余部分也贡献上游。
接下来,我们计划完成其余通用基础设施的上游贡献,并扩展基于它构建的供应商集成。我们的目标是,让新硬件集成到 LLDB 时只需一个供应商专属插件,无需另行构建和维护独立的调试器。
我们感谢 Meta 开发者基础设施领导团队,尤其是 Shane Nay、Todd Fiala 和 Ale Contenti;他们的直接支持使这项工作成为可能。
我们也感谢调试与工具团队的同事 Jacob Lalonde、David Young、Alexandre Perez、Zhiyuan Li、Piyush Jaiswal 和 Philip DePetro,感谢他们的协作与支持。
最后,我们感谢开源社区,尤其是 Jonas Devlieghere、Jim Ingham、David Spickett 和 Jason Molenda,感谢他们评审 RFC 和上游拉取请求。