返回日报条目

资料节译

EKS 集群扩缩容:Cluster Autoscaler 与 Karpenter 的适用场景及 agent 工作负载变化

阅读原文

问五位平台工程师该用 Cluster Autoscaler 还是 Karpenter,你会得到同一个简短答案:“当然是 Karpenter。”他们给出的理由通常真假参半,有些只对了一半,还有些已经过时。

我运行的 EKS 集群最初使用节点组和 Cluster Autoscaler,现在正把它们迁移到 Karpenter,因此我不得不区分哪些说法站得住脚,哪些不成立。本文将逐一讨论我最常听到的七种说法,并给出判断,最后再看看工作负载变成 AI 智能体后会有哪些变化。

**Cluster Autoscaler 扩缩节点组。**在 AWS 上,这些节点组是 Auto Scaling 组。当 Pod 处于 Pending 状态时,它会挑选一个能够容纳它们的组,并提高该组的期望数量。它能做的一切,都受限于你预先定义的节点组。

**Karpenter 扩缩节点。**它会读取待调度 Pod 的需求(requests、亲和性、拓扑分布、卷),并直接向 EC2 请求符合条件的节点,中间不经过 Auto Scaling 组。NodePool 规定允许使用哪些节点以及它们可能如何被中断。EC2NodeClass 规定这些节点如何构建。

**EKS Auto Mode 就是由 AWS 代你运行的 Karpenter。**AWS 在集群外运行控制器,并使用相同的 NodePool API。第五种说法会用到这一点。

Karpenter 直接调用 EC2。Cluster Autoscaler 则提高 Auto Scaling 组的期望数量,并等待该组交付节点。省去这一步确实有帮助,大多数报告都称节点出现得更快。

但待调度的 Pod 要等的不只是启动调用:节点启动、附加组件启动和镜像拉取都要耗时,而这两种工具都无法控制这些环节。在承诺具体数字之前,先在自己的集群上做基准测试。

Karpenter 通过三种方式省钱:根据待调度的 Pod 选择节点规格、持续重新装箱,并通过分散到多种实例类型让 Spot 实例变得实用。如果你的 Pod 规格一致,节点组也已经调优得很好,可节省的空间就比较小。

它还会根据 Pod 的 requests 选择节点规格,因此无法修复 Pod 请求资源多于实际使用量的问题。requests 虚高,节点规格也会虚高。在 Auto Mode 中,你还要在 EC2 费用之外,为它管理的节点支付管理费。

AWS 宣称 Spot 价格最多可比按需价格低 90%;这是上限,不是预期值。按购买选项分组,对比使用前后的 Cost Explorer 数据,不要轻信任何人给出的百分比,包括我的。

它由 Kubernetes SIG Autoscaling 维护,自 2016 年以来一直是默认方案,至今仍运行在大多数从未迁移的生产集群中。它适用于不同云和不同类型的节点组。对于 Pod 相似、Spot 使用很少的小型稳定集群,它仍是可靠的选择。

它的局限确实存在,但具体而明确。AWS 自己的指南指出,混合实例策略中的实例应具有相同的 CPU、内存和 GPU 规格;此外,模拟调度时会使用列表中的第一种实例类型,因此它不太适合多样化的 Spot 实例。默认情况下,它的缩容操作只会移除节点:节点利用率低于 50% 并持续十分钟后才会缩容。如果这两点都不会给你带来问题,你可能不需要迁移。

与供应商无关的核心代码现在由 Kubernetes SIG Autoscaling 维护,AWS 专用代码则位于一个单独的 provider 中。还有其他 provider,包括 Azure 在 AKS 上的 Node Auto Provisioning。截至 2026 年年中,GKE 仍没有官方 provider。

所以,“Karpenter 无处不在”还不属实。如果你需要在多个云上使用同一个自动扩缩器,规划之前先确认每个云都有对应的 provider。

Auto Mode 无需你再运行控制器,但 NodePool 仍由你定义。需要权衡的是:

如果你需要控制 AMI、访问节点或采用不同的成本模式,自行管理 Karpenter 仍是合适的选择。如果不需要这些,Auto Mode 是新集群省事的默认方案。

Karpenter 通过 SQS 队列和 EventBridge 规则处理 Spot 中断,在实例被回收前对节点进行封锁和排空。这只是个起点,还不是全部工作:

整合会迁移 Pod。在小规模环境中,这种操作不易察觉。规模较大时,不受约束的整合可能引发多轮重新调度,损害 Pod 启动延迟。Karpenter 提供了控制选项(consolidateAfter、中断预算和时间表),但默认值并未针对你的工作负载调优。生产环境应调高 consolidateAfter,并在高峰时段禁止中断。

公布的数据差异很大,而这种差异本身就说明了问题。这些数据都来自不同起点的自我报告,所以应把它们看作一个范围,而非预测。

Salesforce 将 1,000 多个 EKS 集群从 Cluster Autoscaler 迁移到了 Karpenter。据报告,扩缩延迟从几分钟降至几秒,首个财年节省约 5% 的成本,次年预计再节省 5–10%。

Slack 在其内部 EKS 平台上采用了 Karpenter,据报告节省了约 12% 的成本,同时改善了装箱效率并加快了节点配置速度。

Audi 据 AWS 案例研究报告,采用 Karpenter 后,其汽车配置器后端的计算成本节省了 60% 以上。

据报道,Anthropic 工程师在 re:Invent 上表示,Karpenter 帮助他们将 AWS 账单降低了约 40%。同一报道还引用了一个团队的说法:Spot 容量耗尽时,Cluster Autoscaler 会卡住,因为它无法回退到按需实例。

**速度:**供应商基准测试通常显示,Karpenter 从启动到节点就绪约需 45 至 90 秒,而 Cluster Autoscaler 需要 3 至 5 分钟;同一家供应商也指出,AMI 缓存、区域和实例类型都会影响结果。

**性能也可能变差。**一家供应商警告,在约有 500 个节点的集群上,不受约束的整合可能引发多轮重新调度,从而拖慢 Pod 启动。

我的看法是:集群原本已经调优得相当不错的团队,节省了个位数到低双位数百分比的成本;空闲容量很多或未使用 Spot 的团队,节省幅度则大得多。几乎所有团队的扩容速度都有提升,稳定性则取决于中断配置得有多谨慎。你自己迁移前后的数据,比这些数据都更有参考价值。

对于普通 Web 服务,自动扩缩器慢或笨拙只是个麻烦。对智能体平台来说,这会变成产品问题。

**突发流量时有人在等待。**一个请求可能同时触发许多工具调用和沙箱 Pod,因此节点配置时间会直接影响用户的等待时间。

**Pod 规格差异极大。**小型工具服务器、代码沙箱和 GPU 推理 Pod 各不相同。在 Cluster Autoscaler 下,这会变成不断增加的节点组列表;在 Karpenter 下,则可以用少数几个带有相应要求的 NodePool 来处理。

**GPU 容量是采购问题。**EKS 文档列出,Auto Mode 和 Karpenter 支持按需实例、Spot 实例、按需容量预留和面向 ML 的容量块,并优先使用预留容量。对于加速型节点,问题往往在于你持有哪些类型的容量,而非扩容有多快。

**空闲时间成本高,中断也一样。**智能体会话大部分时间都在等待模型响应,因此整合很有吸引力。但 Pod 被驱逐可能意味着会话丢失。把长时间运行的会话 Pod 放进单独的 NodePool,采用保守的中断策略;用 do-not-disrupt 标记不得迁移的运行任务;让脆弱的智能体使用按需实例;并将会话状态存储在 Pod 之外。

**不可信代码需要运行在自己的节点上。**如果智能体运行生成的代码,该 Pod 就不应与平台服务共用节点。专用 NodePool 配合污点、较短的节点生命周期和 CPU 限额,能提供隔离边界,也便于清理:

apiVersion: karpenter.sh/v1
kind: NodePool
metadata:
  name: agent-sandbox
spec:
  template:
    metadata:
      labels:
        workload: agent-sandbox
    spec:
      nodeClassRef:
        group: karpenter.k8s.aws
        kind: EC2NodeClass
        name: default
      taints:
        - key: workload
          value: agent-sandbox
          effect: NoSchedule
      expireAfter: 24h
      requirements:
        - key: karpenter.sh/capacity-type
          operator: In
          values: ["spot", "on-demand"]
  limits:
    cpu: "100"
  disruption:
    consolidationPolicy: WhenEmpty
    consolidateAfter: 2m

沙箱 Pod 随后带有匹配的容忍和节点选择器。WhenEmpty 只有在没有 Pod 留存时才会移除节点,因此运行中的沙箱不会被重新装箱。在 Auto Mode 上,nodeClassRef 则指向其 NodeClass。

仅有污点和独立资源池,并不能单独保证不可信代码的安全。它们可以防止错误影响平台节点,但你仍需要更强的隔离措施,例如沙箱运行时。

**小型稳定集群,Pod 规格一致且很少使用 Spot:**继续使用 Cluster Autoscaler,并把精力放在 Pod requests 上。

**Pod 类型多样、Spot 使用量可观或需求有突发性:**迁移到 Karpenter。如果可以接受 Bottlerocket 且不需要访问节点,就从 Auto Mode 开始;需要控制 AMI 或节点时,则自行管理。

**智能体平台:**使用 Karpenter,为沙箱、会话 Pod 和 GPU 工作分别设置 NodePool,并将中断配置视为设计的一部分。

如果要迁移,两种工具可以并行运行。将 Karpenter 添加到现有节点组旁边,在排空任何节点之前移除 Cluster Autoscaler,因为同一集群中的两个自动扩缩器会互相争抢;为 Karpenter 和核心附加组件保留一个小型托管节点组;通过 PodDisruptionBudget 逐步缩小旧节点组;并为每个 NodePool 设置 CPU 限额。

2026 年,Karpenter 是新建 AWS 集群更好的默认选择,但“更好的默认选择”不等于“必须使用”。