简短回答:将 HTTP cron 任务置于持久化工作队列之后,让消费者执行接收方的速率限制,并在确认成功送达之前持久化幂等性记录。重试由队列负责;防止重复由应用负责。把这两种职责混在一起,就会导致教育科技平台的注册事件被发送两次,而队列仍报告工作正常。
这是一个投递问题。
对于注册系统,有用的单位是一个事件,例如 enrollment.updated,由不可变的 event_id 标识。调度器应将该事件加入队列并迅速返回。工作进程领取事件,等待下一个获准发送的时间,发送负载,并记录接收方的结果。如果工作进程在远程服务器接受请求后、本地确认持久化之前消失,下次尝试必须允许重复进行 HTTP 调用。接收方或共享的幂等性存储必须确保这种重复不会造成影响。
cron 计划是触发器,不是吞吐策略。如果先前运行积累了待处理工作,每分钟运行一次的任务就可能一次释放数百个注册回调。队列会吸收这次突发,但它不会自动知道接收方的学习平台是否允许每秒 10 个请求、10 个并发请求,或按租户设置不同限制。这些是彼此独立的约束。
我最初把速率限制当作工作进程数量的设置。后来我发现,固定的工作进程数量控制的是并发,而不是一段时间内释放的请求数量。基于 HTTP 的 webhook 消费者需要速率限制器、并发限制,以及可以分别检查的重试策略。
我会先看三个量:最大请求速率、最大在途请求数,以及请求被拒后等待重试的时间。令牌桶是理解第一个量的好模型。令牌以固定速率补充,数量不超过限定容量;每次发送消耗一个令牌。信号量则用于模拟第二个量。当接收方分别限制每秒请求数和并发连接数时,工作进程两者都需要。
因此,队列中应包含发送意图,而不是预先计算好的一系列未来 HTTP 调用。简洁的消息可以携带事件标识符、租户标识符、目标键、尝试次数和创建时间戳。目标键用于选择正确的限制器。一个繁忙的租户不应耗尽所有学校的配额。
这就是陷阱。
没有哪种队列能解决这个问题。
这里的死信处理路径很重要。已用尽重试策略的消息需要一个可见的终止状态,而不是陷入无休止的循环,掩盖负载错误。Amazon 的死信队列指南介绍了如何在达到配置的接收次数阈值后转移消息,以便隔离失败的工作进行检查。该机制不会判定回调能否安全地重复;它只为运维人员划定反复失败的边界。
这是因为投递涉及两次确认:远程 HTTP 响应,以及表示该响应已处理的本地记录。两者之间存在一个故障窗口。工作进程可能收到 2xx 响应后进程丢失,未能删除或确认消息。消息重新投递时,若将事件视为新事件,就会产生重复。若将每次重新投递都视为已完成,那么第一次请求从未到达时,通知就会丢失。
这就是通常所说的至少一次投递取舍。队列可以让工作持久化且可重试,但无法让网络调用和数据库写入成为一个原子事务。实用的设计会接受可能重复,并确保副作用具备幂等性。事件 ID 是稳定键;尝试 ID 不是。
接收端点应在执行不可重复的副作用之前存储事件 ID;如果其存储模型支持,也可以在一个事务中完成这两项操作。如果该 ID 已存在,端点可以返回先前记录的结果,或返回明确表示重复的响应。具体响应约定由两个系统协商,但不变原则很简单:同一事件的重试不得创建第二条注册记录、第二张发票或第二项访问授权。
下面是我采用的工作进程边界结构。它有意保持通用。限制器、队列客户端和投递存储都作为接口,因为它们的持久性和作用范围属于架构决策,不应被当作 HTTP cron 服务的固有属性。
from dataclasses import dataclass
from datetime import datetime, timezone
@dataclass
class Callback:
event_id: str
tenant_id: str
destination_key: str
payload: dict
attempt: int
def deliver(callback, limiter, delivery_store, http_client, queue):
limiter.wait(callback.destination_key)
if delivery_store.is_terminal(callback.event_id):
queue.ack(callback.event_id)
return
delivery_store.mark_attempt(
event_id=callback.event_id,
attempt=callback.attempt,
started_at=datetime.now(timezone.utc),
)
response = http_client.post(
callback.destination_key,
json=callback.payload,
headers={"Idempotency-Key": callback.event_id},
)
if 200 <= response.status_code < 300:
delivery_store.mark_terminal(callback.event_id, response.status_code)
queue.ack(callback.event_id)
return
if response.status_code == 429 or response.status_code >= 500:
queue.retry(callback, retry_after=response.retry_after)
return
delivery_store.mark_terminal(callback.event_id, response.status_code)
queue.ack(callback.event_id)
顺序安排是有意的。先检查终止记录,再记录尝试,然后进行网络调用;只有在结果持久化后才确认消息。代码仍无法证明 2xx 响应与 mark_terminal 是在同一事务中发生的。因此,远端必须遵守相同的事件标识,或者系统必须把副作用放在事务性收件箱之后。
限制器控制正常情况下是否允许接入。重试策略则控制请求已经失败后如何处理。如果工作进程在队列租约期间休眠,直到较长的退避时间结束,队列可能会在第一个工作进程仍持有消息时重新投递,或者让工作进程槽位空耗。最好安排未来的重试消息,仅在队列约定要求时延长可见性,并确保延迟可观测。
对于 HTTP 响应,要区分接收方要求降低流量和接收方永久拒绝请求。429 响应是速率信号;如果存在 Retry-After 值,可以据此确定下一个符合条件的时间。5xx 响应通常需要有界的指数退避并加入抖动。由无效负载导致的 4xx 响应通常应转为终止失败,而不是继续消耗相同的重试额度。这些规则需要明确的策略表,因为对于注册数据而言,单一的“出错就重试”分支过于粗略。
队列的可见性超时或租约超时应长于正常处理时间,但不应将其用作退避计时器。我会测量处理时长的第 95 和第 99 百分位数,为 HTTP 超时留出余量,然后设置有界租约。具体数值取决于工作负载;照搬其他系统的数字不算工程决策。
实用的重试信息包含四个字段:event_id、attempt、next_attempt_at 和 last_error_class。这样仪表板可以区分速率压力和数据错误,也能让部署恢复工作,而无需从日志中重建状态。还要保留原始事件创建时间。一个已经等待 45 分钟的事件,不应仅仅因为它的第五次尝试刚刚安排,就看起来像是新事件。
仅看队列深度是很薄弱的依据。队列增长可能意味着消费者处理缓慢、目标端正在限流、某个租户垄断了令牌,或某个负载反复失败。我至少需要以下相关指标:最早消息的等待时间、每个事件的尝试次数、终止成功和失败的数量、按目标统计的 429 和 5xx 数量、限制器等待时间,以及死信路径中的事件数。
基数问题确实存在。记录完整负载或无界的目标 URL 会增加可观测性成本,还可能暴露学生数据。应记录事件 ID、不会泄露租户身份的标识符、目标键、状态类别、尝试次数和计时字段。按照系统的数据保留规则存储负载,并为其设置与日常工作进程日志分开的访问控制。
告警应基于用户影响。例如,最早消息的等待时间不断增长,同时限制器等待时间也在增加,这表明容量不足或外部速率限制。队列稳定,但 4xx 终止响应反复出现,则表明验证或接口约定发生了偏移。这两类问题需要由不同负责人处理。
测试应覆盖故障窗口,而不只是顺利路径。在远程模拟端记录请求后、队列确认前,注入进程停止。再次投递同一事件,并断言接收方侧只产生一次副作用。然后测试超时情况:模拟端无法告知工作进程是否已接受请求。最后,测试带有 Retry-After 的 429、永久性 400,以及达到死信阈值的消息。重要的断言应针对状态转换,而不只是响应代码。
首先,在创建时为每个出站事件分配稳定 ID,并使接收方的副作用具备幂等性。没有这份约定,添加队列只会改变时序,并不能解决重复投递。
接下来,让 cron 任务将有界批次加入队列,并记录入队结果。部分入队必须可以重试而不创建第二个事件,因此入队操作需要自己的幂等键或发件箱记录。只有在新工作进程有明确的责任边界后,才停用旧的直接发送器;两个发送器同时运行很容易导致流量翻倍。
然后,以保守的上限引入限制器,测量接收方的实际响应,只有在证据支持时才提高容量。按目标或租户分区通常比使用一个全局令牌桶更实用,但会增加配置和监控工作。只有当隔离属于需求时,才选择这种复杂度。
最后,演练死信恢复。重放工具应要求明确选择事件,并保留原始事件 ID。使用新 ID 重放会破坏重复保护。应根据应用的保留策略,保留重试和终止记录足够长的时间,以便调查投递争议。
决策规则很直接:用队列保存发送意图,用限制器准入工作,用重试状态说明延迟,并用幂等键确保重复操作安全。cron 触发器可以启动流程,但不应承载可靠性策略。