作者根据其测试称,多个托管开源模型端点实际提供的上下文窗口低于模型卡标称值,且静默截断可能让长任务或RAG在不报错时丢失前文。
Your LLM provider is probably serving you 32K context no matter what the model card says
作者未披露完整测试样本、服务商名单或可复现数据,约32K等观察不能推广为所有托管端点的普遍事实。
中文摘编
依据来源材料整理,保留事实、观点与适用范围的区别。
完整上下文请阅读原始来源。
完整上下文请阅读原始来源。