模型 · 深度词条

LLM(Large Language Model,大语言模型)

在大量语言数据上学习规律的模型。常见聊天模型按上下文生成后续内容;语言模型也可以用于表示、分类和抽取。

专题词条基础释义核对 2026-09-07专题核对 2026-10-24增补 2026-10-245 条来源
本页目录 11 节

四层解释

通俗

在大量语言数据上学习规律的模型。常见聊天模型按上下文生成后续内容;语言模型也可以用于表示、分类和抽取。

专业

LLM 强调语言模型的大规模训练。语言建模可采用自回归、掩码等目标,后训练是常见适配手段,不是所有语言模型的必经阶段。

机制

自回归模型预测后续 Token 并逐步生成;BERT 一类掩码模型利用左右上下文预测被遮住的内容,还可适配分类、抽取等任务,不能把它们都解释为逐字续写。

工程

生产质量取决于模型之外的 Prompt、上下文、检索、工具、权限、评测、监控和降级策略。

全链路位置

INPUTToken 化的文本与上下文
→
PROCESS编码表示并优化对应语言建模目标
→
OUTPUT上下文表示、任务预测或生成序列

常见用途

  • 文本理解与生成
  • 代码辅助
  • 知识工作与工具编排

专业边界

  • 语言能力不等于可靠世界模型
  • 知识受训练与上下文时间范围限制

常见误解

  • LLM 在数据库里搜索答案
  • 模型口吻自信代表置信度高

语言建模不只有逐字续写

机制比较

Autoregressive(自回归)目标根据已有前文预测下一 Token;生成时把预测接回输入继续计算。Masked Language Modeling(掩码语言建模)则遮住部分位置,用左右上下文预测缺失内容。两者学到的表示和常见使用方式不同,不应把一种生成流程当成所有语言模型的定义。

依据BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingLanguage Models are Few-Shot Learners
论文对照

BERT 的 Encoder(编码器)利用双向上下文构建表示,适配后可输出类别、抽取位置等;GPT-3 的自回归模型基于左侧上下文延续序列。Encoder、Decoder 描述架构角色,训练目标、参数规模与产品形态又是不同维度,不能看到一个名称就推断完整能力。

依据BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingLanguage Models are Few-Shot LearnersAttention Is All You Need

模型能力与聊天产品分开看

自拟教学说明

把‘请分类这封邮件’交给聊天模型,输出可以是一个标签;这不意味着底层变成了专用分类器。反过来,语言表示模型可以支持检索与抽取,也不一定提供聊天接口。先辨认训练目标,再看任务适配,最后看产品如何封装。

适用边界

流畅回答不代表检索到了真实数据库,也不意味着已经执行外部操作。资料、工具、权限与验证属于产品系统;公开的早期论文只能解释相应研究,不应被当作当前厂商全部内部实现。

依据Generative AI Profile, NIST AI 600-1Language Models are Few-Shot Learners

来源与核对记录

S1
Introduction to Large Language ModelsGoogle for Developers · 官方技术课程 · 查阅 2026-09-07
S2
Language Models are Few-Shot LearnersBrown et al. · 原始论文 · 查阅 2026-10-22
S3
BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingJacob Devlin et al. · 原始论文 · 查阅 2026-10-22
S4
Generative AI Profile, NIST AI 600-1NIST · 标准与框架 · 查阅 2026-09-07
S5
Attention Is All You NeedVaswani et al. · 原始论文 · 查阅 2026-10-22

基础释义核对:2026-09-07。专题核对:2026-10-24。局部增补:2026-10-24。局部修订不代表旧正文全部复核,尚未完成外部专家审稿。