英特尔推出面向大语言模型推理的容器化微服务,可在英特尔至强处理器上自动检测硬件并应用预先验证的配置。首批版本基于 vLLM,支持 BF16,可在 Docker 或 Kubernetes 1.24 及以上环境运行,硬件要求为第四至第六代英特尔至强处理器。英特尔表示,该微服务模式将扩展至其 GPU 平台;后续版本计划增加 Helm Chart、Kubernetes Operator、更多推理引擎和精度支持。