模型 · 深度词条
LLM(Large Language Model,大语言模型)
在大量语言数据上学习规律的模型。常见聊天模型按上下文生成后续内容;语言模型也可以用于表示、分类和抽取。
四层解释
在大量语言数据上学习规律的模型。常见聊天模型按上下文生成后续内容;语言模型也可以用于表示、分类和抽取。
LLM 强调语言模型的大规模训练。语言建模可采用自回归、掩码等目标,后训练是常见适配手段,不是所有语言模型的必经阶段。
自回归模型预测后续 Token 并逐步生成;BERT 一类掩码模型利用左右上下文预测被遮住的内容,还可适配分类、抽取等任务,不能把它们都解释为逐字续写。
生产质量取决于模型之外的 Prompt、上下文、检索、工具、权限、评测、监控和降级策略。
全链路位置
常见用途
- 文本理解与生成
- 代码辅助
- 知识工作与工具编排
专业边界
- 语言能力不等于可靠世界模型
- 知识受训练与上下文时间范围限制
常见误解
- LLM 在数据库里搜索答案
- 模型口吻自信代表置信度高
语言建模不只有逐字续写
Autoregressive(自回归)目标根据已有前文预测下一 Token;生成时把预测接回输入继续计算。Masked Language Modeling(掩码语言建模)则遮住部分位置,用左右上下文预测缺失内容。两者学到的表示和常见使用方式不同,不应把一种生成流程当成所有语言模型的定义。
BERT 的 Encoder(编码器)利用双向上下文构建表示,适配后可输出类别、抽取位置等;GPT-3 的自回归模型基于左侧上下文延续序列。Encoder、Decoder 描述架构角色,训练目标、参数规模与产品形态又是不同维度,不能看到一个名称就推断完整能力。
模型能力与聊天产品分开看
把‘请分类这封邮件’交给聊天模型,输出可以是一个标签;这不意味着底层变成了专用分类器。反过来,语言表示模型可以支持检索与抽取,也不一定提供聊天接口。先辨认训练目标,再看任务适配,最后看产品如何封装。
流畅回答不代表检索到了真实数据库,也不意味着已经执行外部操作。资料、工具、权限与验证属于产品系统;公开的早期论文只能解释相应研究,不应被当作当前厂商全部内部实现。
来源与核对记录
S1基础释义核对:2026-09-07。专题核对:2026-10-24。局部增补:2026-10-24。局部修订不代表旧正文全部复核,尚未完成外部专家审稿。