安全 · 深度词条

Hallucination(幻觉)

模型用很流畅、很确定的语气生成错误、虚构、前后矛盾或没有证据支持的内容。

深度词条核对 2026-09-073 条来源

四层解释

通俗

模型用很流畅、很确定的语气生成错误、虚构、前后矛盾或没有证据支持的内容。

专业

NIST 更倾向使用 Confabulation,指生成式系统自信呈现错误内容、偏离输入或与先前输出矛盾;它源于概率生成机制和系统条件。

机制

模型优化的是在上下文下生成可能的 Token,而不是直接查询真值数据库;模糊问题、缺失知识和错误上下文都会诱发编造。

工程

按任务建立事实性与有据性评测,结合检索、引用验证、工具查询、拒答和人工审核;高风险决策不得只依赖模型输出。

全链路位置

INPUT提示、模型参数与可用上下文
PROCESS概率生成受到缺失或错误证据影响
OUTPUT看似合理但错误或无依据的内容

常见用途

  • 知识问答风险控制
  • 自动摘要核验
  • 引用与数据检查

专业边界

  • 创意虚构不一定构成有害幻觉
  • RAG 和低 Temperature 都不能彻底消除问题

常见误解

  • 模型知道答案但故意说错
  • 加一句不要编造就能解决

关联概念

来源与核对记录

S1
Generative AI Profile, NIST AI 600-1NIST · 标准与框架 · 查阅 2026-09-07
S2
Retrieval-Augmented Generation for Knowledge-Intensive NLP TasksLewis et al. · 原始论文 · 查阅 2026-09-07
S3
Evaluation Best PracticesOpenAI · 官方技术文档 · 查阅 2026-09-07

编辑核对:2026-09-07。本状态表示内容与来源已登记,不代表经过外部专家审稿。