安全 · 深度词条
Hallucination(幻觉)
模型用很流畅、很确定的语气生成错误、虚构、前后矛盾或没有证据支持的内容。
四层解释
通俗
模型用很流畅、很确定的语气生成错误、虚构、前后矛盾或没有证据支持的内容。
专业
NIST 更倾向使用 Confabulation,指生成式系统自信呈现错误内容、偏离输入或与先前输出矛盾;它源于概率生成机制和系统条件。
机制
模型优化的是在上下文下生成可能的 Token,而不是直接查询真值数据库;模糊问题、缺失知识和错误上下文都会诱发编造。
工程
按任务建立事实性与有据性评测,结合检索、引用验证、工具查询、拒答和人工审核;高风险决策不得只依赖模型输出。
全链路位置
INPUT提示、模型参数与可用上下文
→PROCESS概率生成受到缺失或错误证据影响
→OUTPUT看似合理但错误或无依据的内容
常见用途
- 知识问答风险控制
- 自动摘要核验
- 引用与数据检查
专业边界
- 创意虚构不一定构成有害幻觉
- RAG 和低 Temperature 都不能彻底消除问题
常见误解
- 模型知道答案但故意说错
- 加一句不要编造就能解决
关联概念
来源与核对记录
S1Generative AI Profile, NIST AI 600-1NIST · 标准与框架 · 查阅 2026-09-07
↗S2Retrieval-Augmented Generation for Knowledge-Intensive NLP TasksLewis et al. · 原始论文 · 查阅 2026-09-07
↗S3Evaluation Best PracticesOpenAI · 官方技术文档 · 查阅 2026-09-07
↗编辑核对:2026-09-07。本状态表示内容与来源已登记,不代表经过外部专家审稿。