模型 · 深度词条

Transformer(注意力模型架构)

让序列中的各个位置直接比较彼此的重要性,因此能并行处理文本并建立远距离联系。

专题词条基础释义核对 2026-09-07专题核对 2026-10-036 条来源
本页目录 12 节

四层解释

通俗

让序列中的各个位置直接比较彼此的重要性,因此能并行处理文本并建立远距离联系。

专业

Transformer 是以多头注意力和前馈网络为核心的序列建模架构,原始形式包含编码器与解码器并使用残差连接和归一化。

机制

每个 Token 生成 Query、Key、Value;Query 与 Key 的相似度形成权重,再对 Value 加权汇总,多头机制并行学习不同关系。

工程

实际系统还依赖 Tokenizer、位置表示、缓存、并行训练、推理内核和上下文管理,不能把注意力层等同于完整大模型。

全链路位置

INPUTToken 序列及位置表示
→
PROCESSAttention、前馈层与残差堆叠
→
OUTPUT上下文化表示或下一个 Token 分布

常见用途

  • 语言建模与翻译
  • 视觉和多模态模型
  • 语音、代码和生物序列

专业边界

  • 标准注意力计算随序列长度呈平方增长
  • 架构本身不保证事实性或安全

常见误解

  • Transformer 只有 Attention
  • 所有现代模型都使用完全相同的 Transformer

Transformer 怎样处理序列

历史机制

2017 年论文提出基于 Attention 的编码器和解码器结构,用位置表示与多头注意力建模序列关系,减少循环结构对逐步计算的依赖。今天不同模型保留或改变了其中的部分设计。

依据Attention Is All You Need
理解边界

Self-Attention 让一个位置根据其他位置的信息形成表示;权重不是‘读心’或可直接当成可信的因果解释。模型仍可能对数字、长文本和未见任务出错。

依据Attention Is All You NeedAI Index 2026: Technical Performance

为什么架构名称不足以判断产品能力

工程结构

预训练数据、Tokenizer、规模、后训练、检索、工具和推理配置共同影响体验。两个都叫 Transformer 的模型,在可靠性、上下文和成本上也可能差别巨大。

依据On the Opportunities and Risks of Foundation ModelsTraining Compute-Optimal Large Language Models
评测方法

比较模型时应测实际任务,记录准确率、引用、有害失败、延迟和成本,不从架构标签直接推出性能排名。

依据Evaluation Best Practices

Encoder(编码器)

把输入转换成内部表示,BERT 类模型和视觉理解常使用编码器结构。

读 BERT 时,先看一个词如何利用左右文形成表示,再看这些表示怎样用于下游任务。这里不是让模型从左到右续写回答。

结合 BERT 导读阅读 →

来源与核对记录

S1
Attention Is All You NeedVaswani et al. · 原始论文 · 查阅 2026-10-22
S2
Machine Learning GlossaryGoogle for Developers · 官方技术文档 · 查阅 2026-10-24
S3
AI Index 2026: Technical PerformanceStanford HAI · 研究报告 · 查阅 2026-10-03
S4
On the Opportunities and Risks of Foundation ModelsStanford CRFM · 研究报告 · 查阅 2026-09-07
S5
Training Compute-Optimal Large Language ModelsHoffmann et al. · 原始论文 · 查阅 2026-10-22
S6
Evaluation Best PracticesOpenAI · 官方技术文档 · 查阅 2026-09-07

基础释义核对:2026-09-07。专题核对:2026-10-03。局部修订不代表旧正文全部复核,尚未完成外部专家审稿。