工程 · 深度词条

Observability(可观测性)

出了问题时,能看清一次 AI 任务经过了哪些环节、哪里耗时、哪里失败。

专题词条基础释义核对 2026-10-20专题核对 2026-10-203 条来源
本页目录 11 节

四层解释

通俗

出了问题时,能看清一次 AI 任务经过了哪些环节、哪里耗时、哪里失败。

专业

通过 Trace、Span、Metric 和 Log 关联模型、检索及工具操作。GenAI 语义约定统一部分名称,但规范和实现仍需按版本核对。

机制

为请求建立关联标识,记录各步骤时间、状态、资源用量和版本信息,再将它们与最终任务结果关联。

工程

先记录定位问题必需的元数据,再决定是否保存输入输出正文;敏感内容应最小化采集,访问和保留期限可控制。

全链路位置

INPUT运行事件与任务结果
→
PROCESS关联、聚合、诊断
→
OUTPUT可定位的失败与性能证据

常见用途

  • 排查慢请求
  • 识别工具循环与超时
  • 比较模型升级前后的质量和成本

专业边界

  • 有日志不代表答案正确
  • 规范字段可能变化,接入时需固定版本

常见误解

  • 把全部聊天内容永久存起来就叫可观测
  • 只看 Token 用量不看成功任务数量

Trace 解释过程,Evaluation 判断结果

一条 Trace 可以显示检索、模型调用和工具执行的先后与耗时;Evaluation 才回答结果是否正确、是否完成用户任务。过程没有报错的请求仍可能给出错误答案,因此两类证据需要关联。

依据GenAI Semantic ConventionsEvaluation Best Practices

监控口径要跟着版本走

OpenTelemetry 的 GenAI 语义约定已迁往专门仓库。本站不把某个属性名写成永久标准;上线时记录所用规范、SDK 与模型版本,比较数据前先确认统计口径没有改变。

依据GenAI Semantic Conventions

Worked Example

回答突然变慢

虚构教学示例,不对应真实客户或运行指标。

  1. 先拆时间

    区分排队、检索、首次输出、后续生成和工具调用,不只记录总时长。

  2. 找到变化

    按模型版本与文档量分组,检查慢请求是否集中在某一步。

  3. 验证修复

    在相同任务集上比较结果质量与延迟,避免以漏检换速度。

能够解释一次失败,比只知道平均响应时间更有用。

来源与核对记录

S1
GenAI Semantic ConventionsOpenTelemetry · 标准与框架 · 查阅 2026-10-20
S2
Evaluation Best PracticesOpenAI · 官方技术文档 · 查阅 2026-09-07
S3
NIST AI Risk Management Framework 1.0NIST · 标准与框架 · 查阅 2026-09-07

基础释义核对:2026-10-20。专题核对:2026-10-20。局部修订不代表旧正文全部复核,尚未完成外部专家审稿。