Chapter 03
LLM 技术全链路
沿 Data、Training、Post-training、Evaluation 与 Inference 追踪大模型怎样形成能力。

同一个模型,两种工作状态
- Training · 训练
- 用样本计算误差,再更新参数。图中的旋钮代表模型参数。
- Inference · 推理
- 参数保持不变,换一个输入就能得到新的输出。一次普通问答不是一次训练。
本章核心判断
模型能力来自完整系统,权重只是结果之一;数据、目标、反馈、推理预算和工程约束共同决定表现。
一张少盐的点菜单,会改写菜谱吗?
学徒练汤时,师傅每次尝完都让他调整用盐量。开店后,三号桌递来一张纸条:今天这碗少放盐。他照做了。第二天三号桌又来,却没带纸条。师傅问:你昨天是收到了一份订单,还是从此改了全店的配方?
训练(Training)通过样本和优化过程调整模型参数;推理(Inference)用已有参数处理这一次输入。纸条像上下文,能改变这一次的输出,不等于改了参数。系统也可以另存顾客偏好、下次再取出来,那是应用的记忆,不是模型当场学会了。
先定义任务,再选择模型
开发大模型不是先决定参数量。研究团队要先定义目标能力、训练预算、可用数据与评测方法;产品团队还要定义目标用户、错误代价和使用场景。若任务是企业资料问答,训练一个新的基础模型通常不是起点,先验证现有模型加检索能否满足质量、权限和成本要求。
把问题拆成四层:模型本身能否理解和生成,外部资料是否及时且有授权,系统能否执行受控操作,产品上线后能否发现并处理失败。这四层对应不同的工程手段,不能用一次漂亮的模型演示替代端到端评测。
数据如何变成模型能计算的输入
文本通常先由 Tokenizer 切成 Token,再映射为数字 ID 和向量表示。Token 不一定等于一个汉字或一个单词,因此上下文长度与费用要按实际切分结果计算。图像、音频和视频还需要各自的编码与对齐方式,不能简单视为文本的附件。
数据工程包括来源授权、去重、清洗、质量过滤、格式统一和评测集隔离。若测试答案混入训练数据,模型在榜单上可能显得很强,却不能代表真实泛化能力。数据规模是条件之一,数据分布和质量同样决定结果。
Pre-training:形成通用能力
Transformer 的 Attention 允许模型在序列位置之间建立依赖,适合大规模并行训练。自回归语言模型通过预测后续 Token 更新参数;预训练后,模型获得语言和部分可迁移能力,但不天然知道某家企业当天生效的制度,也不天然会按用户意图安全地行动。
基础模型的权重是长期训练得到的能力载体,不是实时数据库。遇到时效性或私有知识,应在运行时接入经过授权的资料;遇到必须真实执行的任务,应接入受控工具。把这三种能力混为一谈,是 AI 产品设计的常见错误。
Post-training:从续写模型到可用助手
指令示范可以让模型学习按任务回答;人类偏好比较可以进一步调整回答风格和行为。InstructGPT 论文描述了监督微调、奖励模型和基于反馈的优化流程。具体厂商今天使用的配方可能不同,公开论文不能被当成现役模型的完整内部说明。
后训练改善可用性,却不能把错误概率降为零。需要把能力评测、安全评测、红队和真实用户反馈组成循环,并区分模型问题、检索问题、工具问题与界面问题。只看一个总分无法定位故障。
Inference:一次回答背后的产品系统
上线时,应用先接收用户请求并检查身份、权限和输入,再构造上下文。需要外部事实时检索资料,需要执行操作时由应用校验模型提出的工具参数并调用业务系统,最后校验输出、记录日志和反馈。模型提出工具调用意图,不代表模型拥有直接操作数据库或账户的权力。
系统质量至少分开看四组指标:回答是否完成任务,结论是否有据,延迟与每任务成本是否可接受,以及异常、越权和敏感信息是否被拦截。迭代应把失败样本加进评测集,避免只凭一次体验更换模型。
规模化不等于只增加参数
训练预算由模型规模、训练 Token、硬件效率和数据质量共同决定。Chinchilla 研究在给定计算预算下比较参数量与训练数据量,说明‘参数越多越好’不是固定规律;论文中的比例是特定实验结论,不能直接当成今天任何架构的采购公式。
产品侧还要看单任务总成本:输入与输出 Token、检索和工具调用、重试率、人工复核以及推理延迟。便宜的单次模型调用,若失败后反复重试,也可能比更稳的方案贵。
发布模型前后分别验证什么
离线基准用于比较受控任务,线上指标用于观察真实用户、数据和工具环境。Stanford AI Index 2026 指出部分基准快速饱和、题目有效性存在争议;评测报告应保留数据版本、样本分布、置信范围和失败样本。
把错误归因到模型、检索、提示、权限、工具或界面后再迭代。涉及自动行动的系统还要测越权、错误操作与恢复路径,不能用回答题目的分数推断 Agent 的可靠执行率。
2026-10-20 增补:Agent 工程的五个不同层次
Model 提供生成与判断能力,Tool 提供具体操作,MCP 描述外部能力的连接协议,Skills 组织可复用工作方法,Harness 管理执行、状态与验收。Memory 为跨会话连续性提供外部记录。它们可以组合,但不是同一东西的不同名字。
一个系统可能只用普通 API 而没有 MCP,也可能按固定 Workflow 完成任务而不需要自主规划。本站建议先画出输入、权限、外部数据、执行工具和验收点,再决定增加哪一层,避免把组件数量当作成熟度。
Worked Example
把链路放进一个具体场景
以下为虚构教学示例,不是某家企业的真实系统或业绩数据。
- 任务
员工询问差旅报销上限,目标是给出当前制度条款及出处,不能替财务审批。
- 数据
制度文件按版本和生效日期入库,检索前按员工身份过滤可见范围。
- 推理
RAG 检索相关条款,模型依据片段作答;找不到有效版本就明确说不知道。
- 评测
用普通问题、过期文件、跨部门权限和相互冲突的制度测试召回、有据性、拒答与延迟。
- 上线
记录命中来源和失败类型,报销审批仍走原有业务权限与人工流程。
先验证资料与权限,再验证模型表达;不能用“回答流畅”代替“制度正确”。