---
title: "Gemma 4 on Amazon SageMaker: QAT Weights Decode 2.05x Faster Than bf16 on One L4"
canonical: "https://siyuanailab.com/curation/entry/abaf0b998970bb5ccae3b017ffa41ab6/"
dateModified: "2026-09-26"
datePublished: "2026-09-26"
---

[← 返回日报](https://siyuanailab.com/curation/#entry/abaf0b998970bb5ccae3b017ffa41ab6)

AI / 中文摘编收录于 2026-09-26

# Gemma 4 on Amazon SageMaker: QAT Weights Decode 2.05x Faster Than bf16 on One L4

原始来源

- [DEV Community · Gemma 4 on Amazon SageMaker: QAT Weights Decode 2.05x Faster Than bf16 on One L4 ↗](https://dev.to/aws-builders/gemma-4-on-amazon-sagemaker-qat-weights-decode-205x-faster-than-bf16-on-one-l4-318m)原文发布：2026/9/26 05:55:07（北京时间）

仅涉及一个账户、区域、L4 实例、vLLM 版本与短提示；准确性样本仅 40 题，长提示表现未测。

## 中文摘编

作者报告在其单张 L4 SageMaker 测试中，Gemma 4 E2B QAT 解码速度约为 bf16 的两倍，16 路吞吐也更高，而两者在 40 道固定题上均答对 37 题。

依据来源材料整理，保留事实、观点与适用范围的区别。  
完整上下文请阅读原始来源。

© 2026 思远 AI Labs