【杜兰说AI】“编”出来的AI幻觉 到底要如何应对?
2025年05月22日 18:30
AI越来越聪明,
也越来越会说胡话了。
我最近用大模型帮忙找领域相关论文,
一看标题和出处觉得稳了,
结果一搜好多都是假的,
前段时间#防止DeepSeek乱编文献的方法#上了热搜,
点进去一看,
又是现编法律条文,
又是虚构理论知识,
关键是AI在回答时还特别煞有介事,
答案看上去也特别详细、丰富、充满逻辑,
但一核实,
就是在“一本正经地胡说八道”,
这就是AI幻觉(AI hallucination)。
很多人都有误解啊,
觉得是因为互联网上的假信息太多了,
数据是AI幻觉的根源,
但其实这是两回事。
AI会出现幻觉,
其实是因为现在大部分AI在生成答案时,
本质上就是“根据上文编下文”,
你给一句“阴雨连绵,他却_____”的填空,
AI会关注“阴雨”这个词语确定语境,
然後再根据“却”的转折语义,
最终预测出最有关联性的词语,
可能是“没带伞”,
或者“冒雨出门”。
在这个过程里,
AI不理解每个词的含义,
也不区分信息真假,
只是按统计关联性选择看似“最可能”的组合,
这种“拼凑”或者说“预测”,
当然有可能出现事实性错误。
算法层面的缺陷没法根除,
但却可以减轻,
所以最後再教大家三种方法。
第一,明确约束。
在你的问题後直截了当地加上
“请基於已有事实回答,不要进行推测”。
第二,设定边界。
主动给出你想要AI参考的数据范围,
比如“请在2024年Nature期刊发表的研究范围内进行搜索”。
第三,分批输出。
AI是根据概率来生成的,
一次生成的内容越多,
就越容易出现幻觉,
所以也可以主动限制它的输出数量,
“先写一段200字的开头”,
等这部分满意了,
再继续写下一段。
也越来越会说胡话了。
我最近用大模型帮忙找领域相关论文,
一看标题和出处觉得稳了,
结果一搜好多都是假的,
前段时间#防止DeepSeek乱编文献的方法#上了热搜,
点进去一看,
又是现编法律条文,
又是虚构理论知识,
关键是AI在回答时还特别煞有介事,
答案看上去也特别详细、丰富、充满逻辑,
但一核实,
就是在“一本正经地胡说八道”,
这就是AI幻觉(AI hallucination)。
很多人都有误解啊,
觉得是因为互联网上的假信息太多了,
数据是AI幻觉的根源,
但其实这是两回事。
AI会出现幻觉,
其实是因为现在大部分AI在生成答案时,
本质上就是“根据上文编下文”,
你给一句“阴雨连绵,他却_____”的填空,
AI会关注“阴雨”这个词语确定语境,
然後再根据“却”的转折语义,
最终预测出最有关联性的词语,
可能是“没带伞”,
或者“冒雨出门”。
在这个过程里,
AI不理解每个词的含义,
也不区分信息真假,
只是按统计关联性选择看似“最可能”的组合,
这种“拼凑”或者说“预测”,
当然有可能出现事实性错误。
算法层面的缺陷没法根除,
但却可以减轻,
所以最後再教大家三种方法。
第一,明确约束。
在你的问题後直截了当地加上
“请基於已有事实回答,不要进行推测”。
第二,设定边界。
主动给出你想要AI参考的数据范围,
比如“请在2024年Nature期刊发表的研究范围内进行搜索”。
第三,分批输出。
AI是根据概率来生成的,
一次生成的内容越多,
就越容易出现幻觉,
所以也可以主动限制它的输出数量,
“先写一段200字的开头”,
等这部分满意了,
再继续写下一段。