Transformer（注意力模型架构）

让序列中的各个位置直接比较彼此的重要性，因此能并行处理文本并建立远距离联系。

Transformer 是以多头注意力和前馈网络为核心的序列建模架构，原始形式包含编码器与解码器并使用残差连接和归一化。

每个 Token 生成 Query、Key、Value；Query 与 Key 的相似度形成权重，再对 Value 加权汇总，多头机制并行学习不同关系。

实际系统还依赖 Tokenizer、位置表示、缓存、并行训练、推理内核和上下文管理，不能把注意力层等同于完整大模型。