LLM 网关（LLM Gateway）

位于应用和多个模型供应商之间的统一入口，用于管理调用、路由、限流、日志和成本。

---

一、是什么

• 位于应用和多个模型供应商之间的统一入口，用于管理调用、路由、限流、日志和成本。
• 类比：像公司前台和调度中心，所有模型请求先经过它。
• 关键澄清：

它不是什么	它是什么
不是一个新模型	管理模型访问的基础设施层

二、为什么重要

• 它让团队能统一接入不同模型，并保留治理和观测能力。
• 不懂它会怎样：没有网关，多模型调用会分散在各处，成本和风险难追踪。

三、日常怎么理解

• 用一句话讲给非技术朋友听：LLM 网关是所有模型调用的总入口。
• 常见场景：同一个产品同时调用 OpenAI、Claude、Gemini 或本地模型。
• 模型路由（Model Routing）：根据任务、成本、速度、质量或故障状态，动态选择最合适模型的机制。类比：像派单系统，简单单给便宜快的，疑难单给专家。关键澄清：模型路由不是普通负载均衡，而是按任务特征选择模型或供应商的策略。路由规则不清会造成质量波动和排查困难。常见场景：摘要走便宜模型，复杂推理走强模型，故障时切备用模型。永远用最强模型未必最省事，最强模型常常更贵更慢，未必适合所有任务。

四、常见误解

误解	真相
小项目不需要网关思维	哪怕不搭完整网关，也要有统一封装和日志。

五、延伸阅读

• 本知识库相关：模型路由、API密钥即护栏
• [待补信源：Wikipedia 或 Gartner LLM Gateway 定义]