Attention（注意力机制）

模型在处理当前信息时，动态决定输入中哪些部分更值得参考。

Attention 根据 Query 与 Key 的兼容度计算归一化权重，再对 Value 做加权聚合；Self-attention 的三者来自同一序列。

Scaled dot-product attention 常写作 softmax(QKᵀ/√d)V。缩放项控制数值范围，Softmax 把相关性变为权重。

长上下文成本、掩码、位置编码、KV Cache 和注意力实现都会影响速度、显存和可用长度。