工程 · 深度词条
Observability(可观测性)
出了问题时,能看清一次 AI 任务经过了哪些环节、哪里耗时、哪里失败。
四层解释
通俗
出了问题时,能看清一次 AI 任务经过了哪些环节、哪里耗时、哪里失败。
专业
通过 Trace、Span、Metric 和 Log 关联模型、检索及工具操作。GenAI 语义约定统一部分名称,但规范和实现仍需按版本核对。
机制
为请求建立关联标识,记录各步骤时间、状态、资源用量和版本信息,再将它们与最终任务结果关联。
工程
先记录定位问题必需的元数据,再决定是否保存输入输出正文;敏感内容应最小化采集,访问和保留期限可控制。
全链路位置
INPUT运行事件与任务结果
→PROCESS关联、聚合、诊断
→OUTPUT可定位的失败与性能证据
常见用途
- 排查慢请求
- 识别工具循环与超时
- 比较模型升级前后的质量和成本
专业边界
- 有日志不代表答案正确
- 规范字段可能变化,接入时需固定版本
常见误解
- 把全部聊天内容永久存起来就叫可观测
- 只看 Token 用量不看成功任务数量
Trace 解释过程,Evaluation 判断结果
一条 Trace 可以显示检索、模型调用和工具执行的先后与耗时;Evaluation 才回答结果是否正确、是否完成用户任务。过程没有报错的请求仍可能给出错误答案,因此两类证据需要关联。
监控口径要跟着版本走
OpenTelemetry 的 GenAI 语义约定已迁往专门仓库。本站不把某个属性名写成永久标准;上线时记录所用规范、SDK 与模型版本,比较数据前先确认统计口径没有改变。
Worked Example
回答突然变慢
虚构教学示例,不对应真实客户或运行指标。
- 先拆时间
区分排队、检索、首次输出、后续生成和工具调用,不只记录总时长。
- 找到变化
按模型版本与文档量分组,检查慢请求是否集中在某一步。
- 验证修复
在相同任务集上比较结果质量与延迟,避免以漏检换速度。
能够解释一次失败,比只知道平均响应时间更有用。
来源与核对记录
S1GenAI Semantic ConventionsOpenTelemetry · 标准与框架 · 查阅 2026-10-20
↗S2Evaluation Best PracticesOpenAI · 官方技术文档 · 查阅 2026-09-07
↗S3NIST AI Risk Management Framework 1.0NIST · 标准与框架 · 查阅 2026-09-07
↗基础释义核对:2026-10-20。专题核对:2026-10-20。局部修订不代表旧正文全部复核,尚未完成外部专家审稿。