返回日报条目

资料节译

餐厅菜单助手:混合检索与可审计引用

阅读原文

简而言之:餐厅菜单助手应采用混合检索,并为每个候选项、分数和引文写入仅追加的审计记录。对于小型且稳定的菜单,纯向量搜索也可以;但菜品准确名称、过敏原、价格和日期范围都太重要,不能只依赖语义相似度。

数据流很简单:将每个菜单项规范化为带版本的文档,同时为其文本和精确字段建立索引,检索一批较广的结果,对其重新排序,再让答案生成器只引用返回的版本。审计日志位于这条流程旁边。它记录客人问了什么、搜索了哪个菜单快照、哪些分数胜出,以及展示了哪些引文。这样,错误答案就能查明原因,而不是令人费解。

将答案视为带有证据包的事件,而不是一个字符串。一个有用的事件包含请求 ID、租户和餐厅 ID、规范化查询、菜单快照 ID、检索器版本、候选项 ID、排序分数、策略决策、模型 ID、延迟以及最终引文 ID。若隐私政策要求脱敏,应单独存储客人原始文本;审计记录可以保留哈希和简短的规范化形式。

快照是锚点。每次导入菜单都会获得一个单调递增的版本和一个内容哈希。结果指向menu_version=184,而不只是指向“玛格丽特披萨”。如果店主在 09:42 修改了过敏原说明,审核人员仍能还原助手在 09:41 看到的内容。这个字段也让事件响应更具体:支持工单、检索轨迹、生成的引文和导出的审核包都指向同一份不可变输入。没有它,重新建索引任务可能悄悄改写历史,而所有仪表板看起来仍是一片绿。我会把版本放进缓存键、响应元数据和审计行里,尽管这样感觉有些重复。这种重复能让之后的比较成为可能。

保持仅追加。

以下是 TypeScript 中的核心边界。搜索服务返回证据;答案服务不得事后编造引文。

type MenuDoc = {
  id: string;
  version: number;
  text: string;
  fields: { name: string; priceCents?: number; allergens: string[] };
};
type Hit = MenuDoc & { lexicalScore: number; vectorScore: number };
type AuditEvent = {
  requestId: string;
  queryHash: string;
  menuVersion: number;
  retriever: { lexical: string; vector: string; reranker: string };
  candidates: Array<{ id: string; lexicalScore: number; vectorScore: number }>;
  citations: string[];
  createdAt: string;
};
async function retrieve(query: string, menuVersion: number): Promise<Hit[]> {
  const [lexical, vector] = await Promise.all([
    lexicalSearch(query, { menuVersion, limit: 20 }),
    vectorSearch(query, { menuVersion, limit: 20 }),
  ]);
  const merged = reciprocalRankFuse(lexical, vector).slice(0, 12);
  return rerankByGrounding(query, merged);
}
async function answer(query: string, menuVersion: number, requestId: string) {
  const hits = await retrieve(query, menuVersion);
  const citations = hits.slice(0, 5).map((hit) => `${hit.id}@${hit.version}`);
  await appendAudit({
    requestId,
    queryHash: sha256(query),
    menuVersion,
    retriever: { lexical: "bm25-v1", vector: "embed-v3", reranker: "cross-v2" },
    candidates: hits.map(({ id, lexicalScore, vectorScore }) => ({ id, lexicalScore, vectorScore })),
    citations,
    createdAt: new Date().toISOString(),
  });
  return generateGroundedAnswer(query, hits, citations);
}

上述名称是接口,不是对特定搜索引擎的规定。将它们放在你自己的边界之后,这样迁移索引就不会改变审计架构。检索失败时仍应生成一个候选列表为空、并说明原因(例如no_evidence)的事件;这是诚实的答案状态,不是让模型猜测的提示。

菜单中包含脆弱的标记。“GF”、“不含花生”、$14.50 的价格以及“周二至周四供应”都有精确含义。嵌入有助于理解“来点不含乳制品的辣味食物”,但它们可能会把描述相似的菜品排在前面,而该菜品的过敏原字段其实并不匹配。混合检索可以先用词法约束和结构化筛选器进行安全关键的缩小范围,再进行语义重排。

这样做有成本。两个索引意味着两条数据新鲜度路径、两套指标和更多调优工作。菜单项少于几百个且内容稳定的小餐厅,可以合理地从纯向量检索开始,前提是增加针对过敏原、地点和服务日期的精确后置筛选。当查询语言范围狭窄且每次菜单更新都由人工审核时,可以继续采用这种更简单的设计。

我曾以为引文 ID 就够了。事实并非如此。一次夜间导入重复使用了菜单项 ID,因此审计界面链接到今天的文本,而日志中的答案其实来自昨天的菜单。支持工程师可以重现问题,却无法还原证据:菜单项仍然存在,ID 仍能解析,显示的价格也看起来合理。我们对比了导入载荷,发现一条替换行继承了旧标识符,随后针对之前的索引构建版本重放了请求。修复办法很简单:使用不可变版本和内容哈希,并贯穿缓存键和导出内容。这里简单就是好。我不确定每个团队都需要完整的事件溯源系统,但每个团队都需要足够多的不可变上下文,才能解释一条引文。

HTTP 访问日志能回答“谁在什么时候调用了接口?”,却无法回答“为什么这道菜排在那道菜前面?”。保留仅追加的决策记录,并设置保留策略、访问控制和脱敏任务。OpenTelemetry 跟踪 ID 可以关联请求、检索跨度和生成跨度,而即使跟踪采样丢弃了跨度,持久化事件仍可供查询。

记录确定性输入:规范化查询、筛选条件集合、菜单版本、索引构建 ID 和重排器配置。分别记录输出:候选项顺序、阈值决策、选定的证据和呈现的引文。绝不要在事件中存储秘密或未经脱敏的支付详情。如果餐厅需要监管用途的导出内容,应从这些记录生成,而不是从模型聊天记录生成。

一个精简的架构可能如下所示:

const audit = {
  event: "retrieval.answer",
  requestId: "req_01J...",
  traceId: "4bf92f3577b34da6a3ce929d0e0e4736",
  menuVersion: 184,
  evidence: [{ id: "item_42", version: 184, rank: 1, score: 0.87 }],
  decision: "answered_with_citations",
  policy: { allergenFilter: "peanut-free", serviceDate: "2026-09-02" },
};

从真实菜单更改中构建一个小型对抗性测试集:菜品改名、名称重复、价格变更、菜品删除、过敏原同义词以及限日期的特供菜。对于每个查询,断言每个被引用的 ID 都存在于所选快照中、每个硬性筛选条件都得到遵守,并且空证据集会产生拒答或要求澄清。分别测量必需菜品的召回率、引文准确率、版本过期率和 p95 延迟;一个混合总分会掩盖你需要修复的问题。

在 CI 中重放审计事件。给定相同的快照和配置,候选项顺序应在有文档说明的容差范围内保持稳定。当嵌入模型发生变化时,在提升索引之前比较新旧证据包。不同语言和高度季节性的菜单可能会有不同表现;在仪表板中清楚显示这种不确定性,不要把它变成一个无人能解释的置信度数值。

运维检查清单短到足以记住:在请求开始时固定菜单版本,传递同一个跟踪 ID,在返回答案前写入审计事件,仅在脱敏后抽样载荷,监控版本过期率和无证据率,并演练一次导出与删除请求。当经理质疑某句话时,你能展示生成它的确切来源、排序输入和策略状态,这时架构就发挥了作用。