返回日报条目

资料节译

API 耗时 900 毫秒:先解释时间花在哪里

阅读原文

有人说 API 很慢,房间里立刻就冒出六种解决方案:加 Redis、加索引、加服务器、重写端点、把所有事情并行化,或者怪网络,祈祷没人追问。

与此同时,我们仍然没有解释时间都花到哪里去了。

我喜欢从一个小得多的起点开始。给我一个慢请求、我们计时的边界,以及足够解释其耗时的证据。然后我们就能有效地讨论该改什么。

针对这个原创的后端面试练习,设想有一个商品详情 API,从请求到达网关到响应完成共耗时 900 毫秒。它的 SQL 查询耗时 40 毫秒。这些数字是合成的示例数据,并非生产事故,也不代表对任何特定公司的描述。

我们的任务是在改善体验的同时,避免无意中降低答案的正确性。更快地返回错误价格,可不是我们想要的小胜利。

A large 900 ms API stopwatch contrasts with a 40 ms database query, asking where the remaining time went.

首先,明确测量从哪里开始、到哪里结束。从浏览器点击到屏幕可用、从请求到达网关到响应完成,以及数据库查询执行,是不同的时间区间。

在我们的例子中,计时范围是服务器处理路径:从网关收到请求开始,到响应在网关处完成为止。目前我们还没有测量 DNS、请求到达前的连接建立、返回浏览器的网络传输,或客户端的渲染时间。

这个边界很重要,因为一条再漂亮的服务器跟踪记录,也解释不了它从未测量过的时间。

接下来,把笼统的抱怨具体化。这是某一条路由、某个区域、某个租户的问题,还是每个请求都如此?变慢是在部署之后开始的、只在繁忙时段出现,还是只影响响应特别大的请求?把成功请求和失败请求分开比较,避免快速失败让服务看起来快得令人安心。

Google 的 SRE 指南关于分布式系统监控的内容强调,除了延迟,还要关注流量、错误和饱和度。这些信号能帮助我们在选择补救措施前描述清楚症状。

在这个练习中,先从一个成功但缓慢的请求入手。把它当作调查线索,而不是所有用户都遇到相同问题的证明。

设想我们的监测数据提供了以下互不重叠的阶段。在这个特意简化的示例中,各阶段依次发生。

这些阶段加起来共 900 ms。我们假设测量包含排队时间,并且没有遗漏相关区间。

Five sequential stages account for the synthetic 900 ms request, with the dependency call consuming 600 ms.

如果你的真实跟踪记录加起来对不上,别急着把缺失的时间归为网络开销,然后就此打住。它可能来自未监测到的工作、跨度之间的空档,或你对测量边界的误解。

OpenTelemetry 对跟踪和跨度的说明在这里很有用。一条跟踪记录会把一次请求中的多个操作关联起来,而跨度则记录单个操作的耗时和上下文。这种结构能帮你追问请求经过了哪些地方,但无法揭示从未监测到的工作。

还要确认这 600 ms 实际测量的是什么。一个 HTTP 客户端跨度可能包含获取连接、建立连接、等待远程服务以及接收其响应所花的时间。这能证明该区间耗时很高,却不能证明远程应用花了 600 ms 在计算。

说实话,调查到这里才开始变得有意思。我们已经缩小了排查范围,同时没有假装自己已经知道答案。

假设第一个建议是缓存 SQL 查询结果。即使缓存能以零额外开销消除整个 40 ms 查询,在这条固定的跟踪时间线上,总耗时仍会是 860 ms。

在这个例子中,其他阶段都保持不变时,最多只能节省约 4.4%。这不是对真实缓存性能的预测,也还没有涉及缓存未命中、失效或数据新鲜度问题。

相比之下,如果把依赖调用的时间从 600 ms 降到 200 ms,同一条简化时间线的总耗时就会变成 500 ms。这个假设值得调查,因为潜在影响大得多。

Two calculations contrast the 40 ms maximum SQL saving with a hypothetical 400 ms dependency improvement, holding other stages constant.

这并不意味着缓存总是错误的答案。在负载下,减少数据库工作可能会降低争用,也缩短其他等待时间。我们对单个请求的计算刻意将这些影响保持不变,因此负载测试可能会得出不同结果。

这项计算能帮我们提出一个严谨的问题:是什么机制让这项改动减少了我们实际观察到的延迟?如果该机制确实起作用,改进幅度可能有多大?

我更愿意先回答这个问题,再引入另一个我们需要运维的服务。

把这 600 ms 的依赖调用拆开,逐一调查几种可能性。也许本地客户端在等待连接。也许连接建立很慢。也许远程服务很慢。也许大响应需要较长时间才能传完。

每种解释都需要不同的证据,也指向不同的改动。

例如,如果主要耗时在获取连接,就检查连接池占用率、待处理请求数和连接生命周期。增大连接池只是一个提议;它可能压垮下游服务,也可能只是把队列挪到别处。

如果主要耗时在远程处理,而下游跟踪记录可用,就把出站请求与它关联起来。如果主要耗时在传输响应,就检查响应大小,以及调用方是否需要所有字段。把缺失的证据明确标出来,不要把看似合理的解释当成事实。

对应用工作线程启动前的这 120 ms,也要做同样的调查。CPU 使用率低,并不能排除某种受限资源导致的等待。另一方面,单个排队请求也不能证明服务需要更多工作线程。

下一次测量应能区分彼此竞争的解释。多贴十张都显示“慢”的仪表盘截图,并不等于找到了更明确的原因。

现在修改一下例子。假设两个彼此独立的下游调用同时开始,一个耗时 400 ms,另一个耗时 300 ms。响应需要两者的结果,随后还要进行 100 ms 的响应处理。

忽略其他开销,耗时是 500 ms,因为响应要等较慢的分支完成,然后再完成自身的处理。把 400、300 和 100 相加得出 800 ms,会重复计算重叠的时间。

Parallel 400 ms and 300 ms calls join before 100 ms of response work, producing 500 ms of elapsed time in the illustrative model.

这也会改变哪项优化更重要。只要 400 ms 的分支仍然决定汇合时间,把 300 ms 的分支缩短到 100 ms,就不会缩短这次响应时间。它或许能降低资源使用量,但那是另一种主张。

在并行化真实调用之前,先确认它们互不依赖对方的结果,并确认并发执行不会破坏顺序要求,也不会使共享依赖过载。并行是一种调度决策,并不意味着在所有情况下都会更快。

把请求时间线看作一组依赖关系。找出决定响应何时能完成的那条链,并避免把已包含在子跨度中的父跨度耗时再次相加。

针对我们的合成请求,一条有用的调查记录可以写明:依赖调用区间为 600 ms,连接池等待是一个可能的解释,下一步需要获取连接耗时的证据。这样,其他人就能质疑并复现这项调查计划。

An investigation worksheet separates the observed 600 ms span, a connection-pool hypothesis, the next measurement, and the success check.

有证据支持某项改动后,要在条件相当的情况下比较同类请求。明确路由、负载内容、授权上下文、数据形态和负载特征。若冷启动和热运行表现不同,就分别记录。

检查端到端延迟,同时关注错误、正确性、完成的吞吐量以及你改动的资源。比较时也要纳入慢请求,不能只看平均值,并记录样本量和测量时段。平均表现有所改善,可能掩盖了少数用户体验变差的情况。

如果补丁通过跳过必需工作来提前返回,那是行为变更,不是免费的优化。如果产品接受部分响应或陈旧数据,就明确说明这一约定并进行测试。

再练习一轮时,可以用这个购物车延迟问题。提出改进方案前,先画出现有的请求路径,然后找出哪些工作必须完成,用户才能看到正确的购物车。库存数据的新鲜度也是必须保留的结果之一。

继续之前,给自己留一份简短的调查记录,写明测量边界、观察到的时间线、一个假设、下一步需要的证据,以及怎样的结果才算成功。

这就是我想练习的面试回答。当然可以讨论缓存和索引,但首先要让这份抱怨里的每一毫秒都在纸面上有据可查。

~ Emily