注意力机制（Attention Mechanism）

让模型在处理某个位置时，动态关注输入中更相关部分的机制。

---

一、是什么

• 让模型在处理某个位置时，动态关注输入中更相关部分的机制。
• 类比：像读文章时把目光放在和当前句子最有关的前文。
• 关键澄清：

它不是什么	它是什么
不是人类意识里的注意力	一种计算不同 token 之间关联强度的方法

二、为什么重要

• 它是 Transformer 理解长距离关系的关键。
• 不懂它会怎样：不懂注意力，就容易把模型输出误解成逐字查表。

三、日常怎么理解

• 用一句话讲给非技术朋友听：注意力机制让模型知道当前该参考哪几段话。
• 常见场景：代词指代、代码变量关系、长句理解都依赖注意力。

四、常见误解

误解	真相
注意力图就是模型完整解释	注意力能提供线索，但不等于完整因果解释。

五、延伸阅读

• 本知识库相关：Transformer 架构、上下文窗口
• Attention Is All You Need