AI时不时的编瞎话
“AI竟然杜撰了《小石潭记》里没有的段落。”“AI写的文献综述里，有一堆原文里找不到的内容。”
“我让AI推荐几本书，结果一追问作者，它告诉我是瞎编的。”
2025年开年，AI以肉眼可见的速度进步。从医疗、教育到科技、传媒，AI大模型走入各行各业。但大家用多了之后却发现，AI能说会道，却也胡说八道。
这种现象叫作“AI幻觉”，即AI生成的内容表面看上去虽然合理、有逻辑，但实际上却存在错误的、不存在的内容和引用来源，常常与真实信息交织在一起，叫人难以分辨。
随着AI“进军”的领域越来越多，“AI幻觉”问题已经超越了调侃取乐的范畴，需要被严肃看待。
小路曾在某科技公司从事AI技术开发工作，如今是一名AI独立开发者。他一直在关注“AI幻觉”问题。他说，从开发人员的角度看，“AI幻觉”问题现阶段无法被根治，只能通过各种手段尽量减少频次。
“AI会胡说，不是AI的错。”小路解释说，从技术层面来讲，AI输出的内容是技术手段生成的，而“生成”不是“理解”。
也就是说，AI生成内容的过程，就像让一个背诵了大量标准范文却不懂得语法的人写作，尽管看上去行云流水，但实际内容却可能漏洞百出。
https://s3.bmp.ovh/imgs/2025/03/26/65d7539ec7e78d4d.jpg
“投喂”是AI大模型的关键词之一。这个词在小路看来非常精准——它既说明了AI的运作原理，也侧面说明了AI说谎的根源。
“AI回答的质量和训练的数据有着很大的关系。数据是AI的基石，而数据来源的好坏，决定着AI的质量。”小路说，“以医学应用为例，即使含有0.001%的错误信息，也可能导致模型输出不准确的医学答案。”
https://s3.bmp.ovh/imgs/2025/03/26/e7c2f8245ca434de.jpg
而现实是，与国外相比，国内的AI数据“质量并不高”。
此前中国工程院院士高文曾在公开演讲中提到，全球通用的50亿大模型数据训练集里，中文语料占比仅为1.3%。而一些主流的数据集几乎都是英语语料，中文占比最高不超过5%。
即便是中文语料，总体质量也不尽如人意。现在一些AI大模型中文语料的主要来源是知乎、百度等公开网络，而引用官方或是政府的公共数据很少。
“中文网络信息的质量大家都有目共睹。各种自媒体大行其道，夸大、偏颇、误解甚至谣传的信息比比皆是，许多数据的真实性存疑。”小路表示，这种信息 “喂”出来的AI，很难保证提供高质量的回馈。
除此之外，目前国内书籍、纸质文件的电子化进程还比较落后，“许多论文、文献、典籍没有电子化，自然无法成为AI学习的来源。”
相关研究显示，我国文言文、古汉语、电子书籍、主流媒体等较严谨、具有文化价值的内容仍有很大的开发空间。据统计，我国现存古籍约20万种5000多万册（件），但实现数字化的不超过8万种，大多数所谓数字化古籍只是完成了初步的影像扫描，真正实现文本数字化的不足4万种。
“最强烈的感觉是，目前官方的、可靠的、可信的数据源太少了。”小路说，“即使找到官方数据源，也有很大一部分数据质量低，数据过时，甚至是‘断更’，运营服务也不是很稳定。”
根源信息出错，导致AI在训练过程中受到“污染”，从而影响AI的判断与生成。
针对中文信息保存问题，有专家建议，可以通过行业协会、数据基金组织等社会力量对中文网页和互联网信息进行保存。
中国电子信息产业发展研究院的专家王闯、智佳琦在2024年撰文指出，政府层面应当鼓励用于大模型训练的数据“应开尽开”，推动各级政府部门对数据进行开放、共享或者授权运营，建立一套高质量的“官方”数据集。
此前广东省曾探索建立数据资源一网共享平台，包括全省范围内的人口信息、法人信息、社保信息、备案信息、地图信息、证照信息等。可惜的是，这个平台只服务于本省行政区域内行政机关、具有公共事务管理和公共服务职能的组织。
除了开放、共享，权威数据的质量也亟待提升。
王闯、智佳琦提出，目前官方公开的数据不尽如人意：不仅各地开放数据的情况不一，数据更新情况也不同。还有的数据非常简陋，在小路这样的开发者眼中属于“不可用”的类型。
“理想情况应该是，政府和权威机构的数据公开应当制定一套准则。如果官方能够建立数据开放平台，其中囊括各级政府、大学、科研机构的数据，就会事半功倍。”小路说道。
除了数据质量问题，AI还可以通过优化训练过程来规避幻觉。
哈尔滨工业大学（深圳）校长助理张民曾表示，AI在预训练、微调强化学习、推理生成等阶段，都可以运用适当的技术手段，缓解“AI幻觉”乱象。
“比如给AI更多更全面的数据，让它‘涉猎更广’；增加AI训练时长；利用技术手段对数据来源、质量进行一定的限制，‘请求外援’检索外部知识；对某一领域的数据进行人工筛选，确保在这一领域的产出质量等等。”小路说。
小路还提出一种方法——调整AI模型的样本倾向。比如手机短信中99%都是正常信息，1%是诈骗信息，大模型就会倾向判断所有短信都是正常的，虽然准确率是99%，但大模型的结论就会带来风险，这时候就需要通过一些技术手段和算法改进调整。
他特别提到，目前AI训练仍不能脱离人。针对一些特别专业的领域和问题，目前还是需要与领域内专家进行合作，请专业人士判断信息的真伪。
“如果纯粹依赖数据，模型可能无法达到理想的状态，无法快速找到规律。结合专家的知识，可以为模型提供更有价值的引导。比如，医生的经验就可以帮助大模型更准确地判断。”小路说。
AI 产生的幻觉数据也需要进行定期清理，但这项工作需要统一的机制。目前，我国还没有对AI幻觉、信息真伪辨别、虚假信息检测、有害内容识别的一套机制和平台。
在幻觉清理方面，小路认为不能只靠AI的开发者，因为开发者无法掌握全网的所有信息，需要更强有力的部门进行统一整合。
“在人工智能的产业链条中，需要明确开发者、使用者、数据提供者和平台运营等多方参与主体的责任，确定相应的归责原则，建立责任追溯机制，确保AI幻觉引起社会问题时，能够准确找到责任主体，并追究其责任。”北京某律师事务所执业律师张玮玮表示。
张玮玮特别强调，医疗、法律、金融等行业对准确性要求很高，风险也很高。AI进入这些行业，应当设立标准，完善评价体系和监管机制，禁止AI在这些领域的违规应用。
“应当建立专门的AI监管机构，负责对技术开发、应用以及市场进行监管，同时加强对AI的审查。”张玮玮说。
此外，宣传“AI幻觉”的概念、危害及防范方式，也能一定程度上避免其造成的负面影响。
“从使用者的角度看，我们要谨慎对待AI生成的内容，永远对AI的答案保持适度怀疑。它是辅助工具，而不是真理的源头。”小路说道。
https://s3.bmp.ovh/imgs/2025/03/26/f049a43e64993f75.jpg
点评
你们说的都很对，所以民国著名工艺美术大师邓碧珊是怎么去世的？
页:
[1]