安全 · 深度词条

Hallucination(幻觉)

模型用很流畅、很确定的语气生成错误、虚构、前后矛盾或没有证据支持的内容。

专题词条基础释义核对 2026-09-07专题核对 2026-10-036 条来源
本页目录 10 节

四层解释

通俗

模型用很流畅、很确定的语气生成错误、虚构、前后矛盾或没有证据支持的内容。

专业

NIST 更倾向使用 Confabulation,指生成式系统自信呈现错误内容、偏离输入或与先前输出矛盾;它源于概率生成机制和系统条件。

机制

模型优化的是在上下文下生成可能的 Token,而不是直接查询真值数据库;模糊问题、缺失知识和错误上下文都会诱发编造。

工程

按任务建立事实性与有据性评测,结合检索、引用验证、工具查询、拒答和人工审核;高风险决策不得只依赖模型输出。

全链路位置

INPUT提示、模型参数与可用上下文
→
PROCESS概率生成受到缺失或错误证据影响
→
OUTPUT看似合理但错误或无依据的内容

常见用途

  • 知识问答风险控制
  • 自动摘要核验
  • 引用与数据检查

专业边界

  • 创意虚构不一定构成有害幻觉
  • RAG 和低 Temperature 都不能彻底消除问题

常见误解

  • 模型知道答案但故意说错
  • 加一句不要编造就能解决

幻觉不只是编造一个事实

风险定义

生成模型可能编造来源、错误引用真实文档、混淆版本、虚构计算过程,或在信息不足时过度自信。‘回答流畅’和‘回答正确’是两回事。

依据Generative AI Profile, NIST AI 600-1Evaluation Best Practices
工程边界

RAG 能提供可检查证据,但检索漏掉正确资料或把错误资料送入上下文时,仍会出现有引用的错误回答。权限、时间有效性与引用粒度都需要独立检查。

依据Retrieval-Augmented Generation for Knowledge-Intensive NLP TasksReranking

怎样降低实际损失

治理方法

先确定任务中哪些结论必须有来源,再做证据检索、结构化校验、必要的计算工具、置信度或拒答策略,并让人复核高影响输出。不存在单一通用方法可保证零幻觉。

依据Generative AI Profile, NIST AI 600-1NIST AI RMF Playbook
评测方法

评估要记录无答案时拒答率、错误事实率、引用支持率和严重错误,而不是只看总体好评。对医疗等高风险用途,需专门验证与专业人员监督。

依据Evaluation Best PracticesEthics and Governance of Artificial Intelligence for Health: Large Multi-modal Models

来源与核对记录

S1
Generative AI Profile, NIST AI 600-1NIST · 标准与框架 · 查阅 2026-09-07
S2
Retrieval-Augmented Generation for Knowledge-Intensive NLP TasksLewis et al. · 原始论文 · 查阅 2026-10-22
S3
Evaluation Best PracticesOpenAI · 官方技术文档 · 查阅 2026-09-07
S4
RerankingWeaviate · 官方技术文档 · 查阅 2026-10-20
S5
NIST AI RMF PlaybookNIST · 官方治理框架 · 查阅 2026-10-03
S6
Ethics and Governance of Artificial Intelligence for Health: Large Multi-modal ModelsWorld Health Organization · 官方行业指南 · 查阅 2026-10-03

基础释义核对:2026-09-07。专题核对:2026-10-03。局部修订不代表旧正文全部复核,尚未完成外部专家审稿。