工程 · 深度词条
Inference(推理)
模型训练完成后,接收一个新输入并计算预测或生成结果的运行过程。
四层解释
通俗
模型训练完成后,接收一个新输入并计算预测或生成结果的运行过程。
专业
Inference 使用固定模型参数执行前向计算;生成式模型通常自回归地产生 Token,并受采样、缓存和停止条件控制。
机制
输入先编码,模型计算首个输出;之后重复读取已有上下文和 KV Cache 生成新 Token,直到满足终止条件。
工程
核心指标包括首 Token 延迟、输出速度、吞吐、显存、并发、单位成本和失败率,需要按真实流量压测。
全链路位置
INPUT模型权重、请求与上下文
→PROCESS前向计算、缓存和采样
→OUTPUT预测、向量或生成序列
常见用途
- 在线 API 服务
- 离线批处理
- 端侧模型运行
专业边界
- 推理不等于人类推理过程
- 增加推理计算也不能保证答案正确
常见误解
- 模型每次回答都在重新训练
- 只看每秒 Token 就能判断体验
一次生成可以分成读入和逐步输出
对典型自回归 LLM,Prefill 处理输入上下文,Decode 逐步生成后续 Token。TTFT 衡量等到首次输出的时间,后续 Token 速度和完整任务耗时是另外两个指标。首字快不一定整项任务快,尤其在多次工具调用的 Agent 中。
KV Cache 节省的是重复计算
KV Cache 保存已处理 Token 在注意力层的 Key 与 Value,后续步骤复用它们,减少重复计算。它会占用资源,具体增长与架构及缓存策略有关。这不同于用户长期记忆,也不能理解为模型永久学会了本轮内容。
Worked Example
诊断一个慢问答
虚构教学示例,不对应真实业务数据或性能承诺。
- 先看首次输出
长文档输入后等待很久才出现文字,先检查排队和输入处理环节。
- 再看后续阶段
若文字持续很慢或工具等待很长,将生成与工具耗时分别记录。
- 同口径比较
固定输入长度、输出要求、并发和缓存条件,不能拿单用户短问答替代高峰长任务。
性能优化需要定位阶段,同时守住输出质量。
来源与核对记录
S1Introduction to Large Language ModelsGoogle for Developers · 官方技术课程 · 查阅 2026-09-07
↗S2Attention Is All You NeedVaswani et al. · 原始论文 · 查阅 2026-10-22
↗S3Streamlining AI Inference Performance and Deployment with TensorRT-LLM Chunked PrefillNVIDIA · 官方工程文章 · 查阅 2026-10-20
↗S4How caching worksHugging Face · 官方开源文档 · 查阅 2026-10-20
↗基础释义核对:2026-10-20。专题核对:2026-10-20。局部修订不代表旧正文全部复核,尚未完成外部专家审稿。