返回日报条目

资料节译

用 JSON Schema 校验会触发 CRM 操作的分类结果

阅读原文

当大语言模型的分类结果会触发 CRM 操作时,使用 JSON Schema。对于一次性分析、原型和由人工审核的笔记,保留提示词解析。区别不在于让模型“理解 JSON”,而在于在不确定的文本生成与会创建任务、更改字段或触发升级处理的系统之间,放置一个可检查的契约。

对于物流销售电话,我会要求结果满足四项不变量后才予以接受:标签集合封闭、值的类型正确、必填字段齐全,以及明确表示不确定性。然后我会验证响应,拒绝或隔离不合格结果,之后才将其映射为 CRM 命令。围绕提示词格式答案编写的正则表达式,无法可靠地提供这道边界。

输入可能是一段通话转录,其中托运人询问一条运输线路、交付时间窗口和报价。真正有用的输出不是一段话,而是一条可供其他流程检查的小型记录:

classification = {
    "intent": "quote_request",
    "urgency": "normal",
    "follow_up_required": True,
    "confidence": 0.86,
    "evidence": "The shipper asked for a quote on the Chicago-to-Dallas lane."
}

Schema 是决策记录。它规定哪些值合法,以及哪些字段必填。JSON 解析器只回答一个狭义问题:“这些字符能否解码为 JSON?”这很有用,但它无法回答 urgency 是否为允许的值、confidence 是否为数字,或这条记录是否包含 CRM 工作流所需的字段。

提示词解析通常从一条指令开始,例如“返回 intent | urgency | next step。”接着,解析器按分隔符拆分、去除空白,并寄希望于模型遵循格式。多出一句话、翻译过的标签,或证据中的分隔符,都可能让每个值错位。结果对读者来说仍可能看似合理。这正是危险之处。

这四项不变量划分出了不同的失效边界:

不变量规则示例失效时的处理
词汇表intent 属于有限集合隔离以供审核
类型confidence 是 0 到 1 之间的数字拒绝该记录
存在性follow_up_required 为必填项拒绝该记录
不确定性confidence 和证据随标签一并传递将低置信度工作转入不同流程

这些规则并不能让分类变正确。它们能让格式错误和违反契约的分类显现出来。当自动生成的标签变成销售任务时,这一区别很重要。

这就是边界。

考虑这样一通电话:托运人说:“货送晚了,不过我还需要下个月的报价。”单标签分类器需要做出领域决策;解析器只需处理字符串。如果响应先包含 service_issue,再包含 quote_request,基于分隔符的使用方可能会悄悄只保留第一个值。如果契约要求单个意图,Schema 可以拒绝数组;但团队仍需决定是增加多意图支持、选择一个主要意图,还是将通话转交审核。验证失败很有用,因为它会把领域选择摆到负责人面前,而不是把它埋进拆分函数里。

提示词是指令,不是类型系统。它可以提高可能答案的出现概率,但下游服务仍需要确认自己收到了什么。分隔符解析又引入了另一套语法,其边界情况很容易被低估:缺少列、分隔符重复、值为空、分隔符被引号包住,或答案附带了解释性文字。

不要猜。

起初我觉得,对于小型分类器,简短的管道符分隔格式会更简单。后来我发现,真正的成本不在于拆分字符串,而在于决定如何处理拆分出五个字段、标签拼写不同,或看起来像数字的分数其实是 high 的情况。解析器悄然变成了第二套未记录的 Schema。它比明确定义的契约更难审核。

此外还有重试问题。如果解析失败,应用应该重新发送同一段通话转录、要求返回更短的答案,还是将通话视为未分类?这些选择会影响 CRM 任务是否重复以及审计历史。采用 Schema 的流水线可以记录确切的验证错误,并保留原始响应。提示词解析器往往把这些情况全都归入一个笼统的“解析失败”分支。

因此,结构化输出应被视为应用中的一道边界,而不是提示词里的格式偏好。模型仍是概率性的;使用方则会确定性地决定接受什么。

关键路径刻意保持简单:分类、验证、仅在契约允许时进行规范化,然后执行副作用。写入 CRM 之前必须完成验证;原始模型响应也应保留以供诊断,但不能被误当成可信数据。

from json import loads
from jsonschema import ValidationError, validate
CLASSIFICATION_SCHEMA = {
    "type": "object",
    "required": ["intent", "urgency", "follow_up_required", "confidence", "evidence"],
    "additionalProperties": False,
    "properties": {
        "intent": {
            "type": "string",
            "enum": ["quote_request", "status_question", "service_issue", "other"],
        },
        "urgency": {"type": "string", "enum": ["low", "normal", "high"]},
        "follow_up_required": {"type": "boolean"},
        "confidence": {"type": "number", "minimum": 0, "maximum": 1},
        "evidence": {"type": "string", "minLength": 1},
    },
}
def classify_call(transcript: str) -> dict:
    raw_text = call_classifier(transcript)
    try:
        result = loads(raw_text)
        validate(instance=result, schema=CLASSIFICATION_SCHEMA)
    except (ValueError, ValidationError) as error:
        store_for_review(transcript=transcript, raw_response=raw_text, reason=str(error))
        raise UnclassifiedCall from error
    if result["confidence"] < 0.70:
        store_for_review(transcript=transcript, raw_response=raw_text, reason="low confidence")
        return result
    crm_action = to_crm_action(result)
    write_crm_action(crm_action)
    return result

本例中的端点名称有意采用通用名称。重要的是顺序和职责归属。call_classifier 生成不可信字符串。validate 确立契约。to_crm_action 是唯一一个将分类转换为副作用的环节。低置信度结果可以保留下来供查看,但不能据此自动创建后续任务。

在生产环境中,我还会为每段通话转录设置一个幂等键。超时后重试,不应仅仅因为第一次写入结果不确定,就创建两条“致电托运人”任务。这个键属于应用层面的考虑,与 JSON Schema 无关,但结构化输出能让这道边界明确到足以进行测试。

Schema 本身也需要变更管理。新增一个意图,就是一次仪表板和路由规则的数据迁移,即使看起来只是在 JSON 中增加一行。为契约标注版本,为每个接受的标签保留测试样例,并在测试套件中加入格式错误的响应。测试各种反例:缺少证据、未知意图、字符串类型的置信度、额外属性,以及分数较低但记录有效的情况。

审计记录应使失败的尝试能够被还原,同时避免让通话转录广泛可见:保留契约版本、验证错误、存放在访问受控存储中的原始响应、重试决策,以及最终的人工处理结果。如果验证后、CRM 写入前发生超时,幂等键应让写入程序在重试前检查是否已执行过相应操作。如果 Schema 变更后再次调用分类器,应保留两个 Schema 版本,以便分析人员说明为什么同一段通话转录产生了不同的路由结果。这比使用分隔符解析器需要更多存储和运维规范,但标签会控制实际工作时,这些规范是必要的。

对于自动化 CRM 操作,我会拒绝“提示词返回什么就解析什么”的做法。它优化的是快速完成第一个演示,却把复杂性推入隐藏的强制转换中:将 yes 转换为 true,将 urgent 映射为 high,或悄悄丢弃无法识别的字段。这些强制转换会让仪表板看起来整洁,却削弱审计追踪。

被拒绝的方案在两种情况下仍然有效。第一种是由人阅读输出,而且没有任何机器操作依赖其结构。第二种是输出属于探索性材料,分析后就会丢弃。在这两种情况下,应用都可以容忍更大的变化,因为解释工作由人或之后明确执行的步骤负责。

Schema 不能取代领域审核。other 可能在语法上有效,在实际运营中却毫无用处。置信度值可能格式正确,却未经校准。因此,契约应包含证据,并将含糊的记录转入团队已商定服务时限的队列。不要把每个有效对象都升级为自动化决策。

这种权衡确实存在:Schema 会增加设计工作、验证代码和测试样例;标签集合发生变化时,还需要做迁移决策。它也可能拒绝结构出乎意料、但包含有用信息的响应。对于 CRM 写入,这种成本是值得的,因为错误任务或错误标签会成为持久的运营数据。对于供人阅读后丢弃的临时摘要,这属于不必要的额外负担。

如果输出本质上是开放式的,例如提供给分析人员的长篇叙述,这种做法也不合适。在这种情况下,只约束下游系统所需的元数据,让正文保持自由格式。强行把每句话都塞进封闭式 Schema,可能降低接口的实用性,却无法改善决策。

按原因统计被拒记录,而不只是看总体成功率。未知意图激增可能意味着标签集合过时。缺失字段激增可能意味着提示词或运行时发生了变化。低置信度分类激增可能说明通话转录质量有问题、出现了新的通话模式,或需要重新审核决策边界。

对原始通话转录实施访问控制,因为销售通话可能包含个人信息和商业信息。将 Schema 版本、验证结果、运行时提供的模型响应元数据以及最终 CRM 操作一同记录在审计记录中。在常规日志中对通话转录内容进行删减或最小化。交付和保留策略属于系统设计的一部分;不应在异常处理程序中临时决定。

实用的规则很简单:当另一个系统必须信任数据结构时,使用 Schema;只有当人或一次性实验能够承担其中的不确定性时,才使用提示词解析。对于物流通话打标签,这道边界决定了分类究竟有用,还是会变成看似整洁数据的自动化 CRM 错误。