Chapter 02

基础原理与模型

分清 AI、ML、DL 的包含关系,以及基础模型、生成任务与多模态的不同分类维度。

专题长文基础正文核对 2026-10-03增补 2026-11-195 个关联深度词条
本页目录 9 节

本章核心判断

先分清任务、学习方式和模型家族,再讨论参数量或榜单,能避免大多数概念混乱。

下雨那天,面包剩了一架

虚构示例

阿禾用过去四周的账本预测明早该烤多少面包。她把几天的记录单独留出来核对,预测都很接近。可到了周一傍晚,架上还剩一层。她翻回账本才发现:拿来学习和核对的那些天,竟然都是晴天。

自拟教学说明

模型在没见过的晴天也能算准,是一种泛化(Generalization);这还不足以证明它在雨天也准。把后来的雨天单独留下检验,比回头重算那四周更能回答阿禾的问题。一次滞销也不能证明是雨造成的,还要看是否恰逢放假等其他变化。

先画清概念的包含关系

概念结构

AI 是系统和方法的总称;Machine Learning(机器学习)是其中从数据学习规律的一类方法;Deep Learning(深度学习)又是以多层神经网络为主的一支。Foundation Model(基础模型)强调广泛预训练与下游适配,LLM(大语言模型)强调语言建模任务;这些标签的划分维度不同,不能排成单一大小顺序。

依据Machine Learning GlossaryOn the Opportunities and Risks of Foundation Models
分析方法

看一个产品时先问输入、目标与输出:是分类、预测、检索、生成,还是在授权下执行操作?同一个界面可能组合规则、传统模型和基础模型。把聊天框等同于全部 AI,会遮住推荐、风控、视觉和优化等成熟分支。

依据Machine Learning GlossaryNIST AI Risk Management Framework 1.0

不经过 LLM,也可以解决 AI 问题

概念与自拟示例

Search(搜索)从候选状态中寻找满足目标的路径;Planning(规划)还要表达行动的前提、效果及约束。例如配送路线需要满足道路、容量与时间条件,写出一段听起来合理的计划并不等于求出了可执行方案。搜索、规划和学习可以组合,而不是互相取代。

依据Artificial Intelligence: A Modern Approach, Table of Contents
学科概览

Knowledge Representation(知识表示)关心事实、规则及关系怎样表达;逻辑推理在给定前提下推导结论,概率推断处理不确定性。机器学习关心怎样从数据估计规律;机器人则还要把感知、决策和物理控制连接起来。它们与语言模型有交集,但各有独立的问题和方法。

依据Artificial Intelligence: A Modern Approach, Table of Contents

模型究竟从什么反馈中学习

机制解释

Supervised Learning(监督学习)使用带目标值的样本;Unsupervised Learning(无监督学习)寻找未标注数据中的结构,例如聚类;Self-supervised Learning(自监督学习)从数据自身构造目标。Reinforcement Learning(强化学习)利用行动与奖励学习策略,可以在线交互,也可以利用已有交互数据。训练信号不直接决定模型是否生成内容,这些口径也不是完全互斥的分类。

依据Machine Learning GlossaryWhat is clustering?
工程边界

训练集用于更新参数,验证集用于选择模型或阈值,测试集用于估计未见数据表现。若同一用户、文档或答案跨集合泄漏,测试分数就会高估泛化能力;上线后还要检查数据分布变化。

依据Machine Learning GlossaryEvaluation Best Practices

从表示到损失,再到可检验的能力

机制解释

神经网络先进行 Forward Pass(前向计算),再按目标计算 Loss(损失);Backpropagation(反向传播)用链式法则求梯度,Optimizer(优化器)才负责更新参数。Embedding(向量嵌入)是可学习的表示,向量相近不保证事实等价或因果相同。

依据Forward Propagation, Backward Propagation, and Computational GraphsLinear regression: Gradient descentEfficient Estimation of Word Representations in Vector Space
评测方法

报告一个模型‘更好’至少要给出任务、数据集、评分规则和成本。不同基准侧重不同能力;单项成绩不证明跨行业稳健,也不能代替错误代价分析。

依据AI Index 2026: Technical PerformanceNIST AI Risk Management Framework 1.0

判别、生成与多模态不是同一维度

模型比较

判别式建模直接学习输入到目标的关系,例如条件概率 p(y|x) 或决策边界;生成式建模学习数据分布或联合分布,可用于生成,也可服务分类等任务。因此‘分类’不等于‘判别式模型’。自回归语言模型逐 Token 生成,Diffusion Model(扩散模型)通过逐步去噪采样;多模态描述输入输出形式,是另一条分类轴。

依据Machine Learning GlossaryDenoising Diffusion Probabilistic Models
工程判断

选型应从风险倒推:结构化预测先考虑可解释基线;开放内容生成需要评测与人工核验;时效知识需要检索;可执行任务需要工具权限。不要因为模型规模更大就跳过简单且可控的方案。

依据NIST AI Risk Management Framework 1.0On the Opportunities and Risks of Foundation Models

Worked Example

亲手算一次参数更新

自拟一维教学算例,L(w) = (w - 3)²,不是神经网络训练性能数据。

  1. 前向与损失

    从 w = 0 开始,L(0) = 9。损失描述当前参数离这个目标还有多远。

  2. 求导

    dL/dw = 2(w - 3),代入 w = 0 得到梯度 -6。求梯度并没有改变参数。

  3. 更新

    学习率取 0.1:w_new = w - 0.1 × dL/dw = 0.6。这里沿负梯度方向移动。

  4. 再算损失

    L(0.6) = 5.76,比 9 小。复杂模型的优化还受曲率、步长、随机采样等因素影响,不能由这个例子推出每步必降。

前向计算得到输出和损失,反向计算得到梯度,优化器更新参数。梯度与负梯度不要混淆。