Chapter 02
基础原理与模型
分清 AI、ML、DL 的包含关系,以及基础模型、生成任务与多模态的不同分类维度。
本章核心判断
先分清任务、学习方式和模型家族,再讨论参数量或榜单,能避免大多数概念混乱。
下雨那天,面包剩了一架
阿禾用过去四周的账本预测明早该烤多少面包。她把几天的记录单独留出来核对,预测都很接近。可到了周一傍晚,架上还剩一层。她翻回账本才发现:拿来学习和核对的那些天,竟然都是晴天。
模型在没见过的晴天也能算准,是一种泛化(Generalization);这还不足以证明它在雨天也准。把后来的雨天单独留下检验,比回头重算那四周更能回答阿禾的问题。一次滞销也不能证明是雨造成的,还要看是否恰逢放假等其他变化。
先画清概念的包含关系
AI 是系统和方法的总称;Machine Learning(机器学习)是其中从数据学习规律的一类方法;Deep Learning(深度学习)又是以多层神经网络为主的一支。Foundation Model(基础模型)强调广泛预训练与下游适配,LLM(大语言模型)强调语言建模任务;这些标签的划分维度不同,不能排成单一大小顺序。
看一个产品时先问输入、目标与输出:是分类、预测、检索、生成,还是在授权下执行操作?同一个界面可能组合规则、传统模型和基础模型。把聊天框等同于全部 AI,会遮住推荐、风控、视觉和优化等成熟分支。
不经过 LLM,也可以解决 AI 问题
Search(搜索)从候选状态中寻找满足目标的路径;Planning(规划)还要表达行动的前提、效果及约束。例如配送路线需要满足道路、容量与时间条件,写出一段听起来合理的计划并不等于求出了可执行方案。搜索、规划和学习可以组合,而不是互相取代。
Knowledge Representation(知识表示)关心事实、规则及关系怎样表达;逻辑推理在给定前提下推导结论,概率推断处理不确定性。机器学习关心怎样从数据估计规律;机器人则还要把感知、决策和物理控制连接起来。它们与语言模型有交集,但各有独立的问题和方法。
模型究竟从什么反馈中学习
Supervised Learning(监督学习)使用带目标值的样本;Unsupervised Learning(无监督学习)寻找未标注数据中的结构,例如聚类;Self-supervised Learning(自监督学习)从数据自身构造目标。Reinforcement Learning(强化学习)利用行动与奖励学习策略,可以在线交互,也可以利用已有交互数据。训练信号不直接决定模型是否生成内容,这些口径也不是完全互斥的分类。
训练集用于更新参数,验证集用于选择模型或阈值,测试集用于估计未见数据表现。若同一用户、文档或答案跨集合泄漏,测试分数就会高估泛化能力;上线后还要检查数据分布变化。
从表示到损失,再到可检验的能力
神经网络先进行 Forward Pass(前向计算),再按目标计算 Loss(损失);Backpropagation(反向传播)用链式法则求梯度,Optimizer(优化器)才负责更新参数。Embedding(向量嵌入)是可学习的表示,向量相近不保证事实等价或因果相同。
报告一个模型‘更好’至少要给出任务、数据集、评分规则和成本。不同基准侧重不同能力;单项成绩不证明跨行业稳健,也不能代替错误代价分析。
判别、生成与多模态不是同一维度
判别式建模直接学习输入到目标的关系,例如条件概率 p(y|x) 或决策边界;生成式建模学习数据分布或联合分布,可用于生成,也可服务分类等任务。因此‘分类’不等于‘判别式模型’。自回归语言模型逐 Token 生成,Diffusion Model(扩散模型)通过逐步去噪采样;多模态描述输入输出形式,是另一条分类轴。
选型应从风险倒推:结构化预测先考虑可解释基线;开放内容生成需要评测与人工核验;时效知识需要检索;可执行任务需要工具权限。不要因为模型规模更大就跳过简单且可控的方案。
Worked Example
亲手算一次参数更新
自拟一维教学算例,L(w) = (w - 3)²,不是神经网络训练性能数据。
- 前向与损失
从 w = 0 开始,L(0) = 9。损失描述当前参数离这个目标还有多远。
- 求导
dL/dw = 2(w - 3),代入 w = 0 得到梯度 -6。求梯度并没有改变参数。
- 更新
学习率取 0.1:w_new = w - 0.1 × dL/dw = 0.6。这里沿负梯度方向移动。
- 再算损失
L(0.6) = 5.76,比 9 小。复杂模型的优化还受曲率、步长、随机采样等因素影响,不能由这个例子推出每步必降。
前向计算得到输出和损失,反向计算得到梯度,优化器更新参数。梯度与负梯度不要混淆。