Inference（推理）

模型训练完成后，接收一个新输入并计算预测或生成结果的运行过程。

Inference 使用固定模型参数执行前向计算；生成式模型通常自回归地产生 Token，并受采样、缓存和停止条件控制。

输入先编码，模型计算首个输出；之后重复读取已有上下文和 KV Cache 生成新 Token，直到满足终止条件。

核心指标包括首 Token 延迟、输出速度、吞吐、显存、并发、单位成本和失败率，需要按真实流量压测。