英特尔推出面向大语言模型推理的容器化微服务,可在英特尔至强处理器上自动检测硬件并应用预先验证的配置。首批版本基于 vLLM,支持 BF16,可在 Docker 或 Kubernetes 1.24 及以上环境运行,硬件要求为第四至第六代英特尔至强处理器。英特尔表示,该微服务模式将扩展至其 GPU 平台;后续版本计划增加 Helm Chart、Kubernetes Operator、更多推理引擎和精度支持。
英特尔推出面向至强处理器的推理微服务,自动检测硬件并配置 vLLM
依据原文整理。
六轴双评分均分:73.75 / 100
相关性 9 / 10 · 新信息 6.5 / 10 · 证据 7 / 10 · 推理 7 / 10 · 信息密度 8 / 10 · 行动价值 7 / 10
中文摘编
依据来源材料整理,保留事实、观点与适用范围的区别。
完整上下文请阅读原始来源。
完整上下文请阅读原始来源。