模型 · 深度词条

Attention(注意力机制)

模型在处理当前信息时,动态决定输入中哪些部分更值得参考。

专题词条基础释义核对 2026-10-20专题核对 2026-10-203 条来源
本页目录 12 节

四层解释

通俗

模型在处理当前信息时,动态决定输入中哪些部分更值得参考。

专业

Attention 根据 Query 与 Key 的兼容度计算归一化权重,再对 Value 做加权聚合;Self-attention 的三者来自同一序列。

机制

Scaled dot-product attention 常写作 softmax(QKᵀ/√d)V。缩放项控制数值范围,Softmax 把相关性变为权重。

工程

长上下文成本、掩码、位置编码、KV Cache 和注意力实现都会影响速度、显存和可用长度。

全链路位置

INPUTQuery、Key、Value 表示
→
PROCESS相似度、归一化和加权求和
→
OUTPUT融合上下文的新表示

常见用途

  • 序列关系建模
  • 跨模态对齐
  • 生成时读取历史上下文

专业边界

  • 注意力权重不天然等于人类可解释性
  • 更长上下文不保证模型利用所有信息

常见误解

  • 权重最高的 Token 就是唯一原因
  • Attention 与 Transformer 完全同义

Q、K、V 是计算角色,不是人类注意力

Scaled Dot-Product Attention 用 Query 与 Key 计算匹配分数,经缩放与归一化后对 Value 加权。直觉上是“当前位置该从其他位置取多少信息”,但这只是便于理解的类比,不代表模型拥有意识或主动注意。

依据Attention Is All You Need

遮罩与多头各自解决什么

Causal Mask 限制位置不能读取未来 Token,以满足自回归生成;Multi-head Attention 在多个表示子空间计算信息交互。训练时可对已知序列并行计算,不等于生成时可以任意跳过前序 Token。标准密集注意力的序列交互成本也不能直接套用到所有稀疏或混合架构。

依据Attention Is All You NeedHow caching works

Worked Example

理解一句有指代的话

虚构教学示例,不对应真实业务数据或性能承诺。

  1. 准备序列

    输入“公司发布了模型,它支持语音”,将其变为 Token 表示。

  2. 关联上下文

    各层用注意力及其他模块更新表示,使“它”的表示结合前文信息。

  3. 检查结论

    换成多实体或歧义句测试;不能从一张注意力热图直接断言模型的完整推理过程。

Attention 是信息交互机制,Transformer 还包含前馈层、残差等结构。

来源与核对记录

S1
Attention Is All You NeedVaswani et al. · 原始论文 · 查阅 2026-10-22
S2
Machine Learning GlossaryGoogle for Developers · 官方技术文档 · 查阅 2026-10-24
S3
How caching worksHugging Face · 官方开源文档 · 查阅 2026-10-20

基础释义核对:2026-10-20。专题核对:2026-10-20。局部修订不代表旧正文全部复核,尚未完成外部专家审稿。