政务AI幻觉翻车实录

寂静回声

微信公号熊猫法律星球统计了市面上50多款面对公众服务的政务AI导办、国央企政务及法律咨询AI、单位办事机构的咨询助手AI、智能问答类AI，做了详细的测试调研。
结果发现，50多款常用政务资讯类AI、法律咨询AI中，70%存在法条援引错误，18%在价值判断环节出现原则性失误。政务及法律咨询AI“胡说八道”，是一个非常普遍且严重的现象。本来应该代表着严谨、官方、权威的政府服务类/资讯类应用智能体，在面对公众时却频频出错，却鲜有人发现，如果放任下去的话，究竟还要生产出误导性内容？
当法律遇见人工智能，那些看似严谨的算法结论，究竟藏着多少致命陷阱？

当AI解读法律条文时，它往往表现得像一个“差生”：
记不住、记错、乱记法条，总是引用错误的案例或者司法解读，自己凭空创造“新法律”；
能准确复述法条字句，却无法真正理解背后的法律逻辑。
这种“机械式法律思维”导致AI在实际应用中频频犯错，甚至可能误导法律实务。以下是目前政务类导办AI及法律问答类智能体在法条解读上的几大核心问题。

法律条文常常包含模糊性表述，比如“合理期限”、“重大过失”、“显失公平”，需要结合立法目的、司法解释和判例来理解，但AI往往只会字面解读，导致给出错误的解读。
比如，某AI将《民法典》中的“合理期限”固定理解为30天，而实际上，法院可能根据案情判定3天或3个月都算“合理”。AI缺乏法律解释的上下文意识，无法像律师一样权衡立法本意和实务判例。

法律并非静态文本，而是随着司法解释、指导案例和政策不断演化的体系。但AI的训练数据往往存在滞后性，目前市面上大部分政务导办AI、咨询问答类AI无法实时更新法律知识库，导致其回答可能基于过时法律，错漏百出。
例如《公司法》第11条关于公司章程的规定，某政务AI给出的答复是这样的：
《公司法》第11条规定：设立公司必须依法制定公司章程。公司章程对公司、股东、董事、监事、高级管理人员具有约束力。
但根据国家法律法规数据库的正确答案，是这样的：
法定代表人以公司名义从事的民事活动，其法律后果由公司承受。公司章程或者股东会对法定代表人职权的限制，不得对抗善意相对人......
《公司法》第11条公布日期是2023年12月29日，施行日期是2024年7月1日，所以前面提到的AI由于数据库滞后，引用了错旧的法条。
再比如关于《保守国家秘密法》第三条的规定，许多政务导办AI、咨询问答类AI均引用了过时的、错误的法条，呈现出错误的回答结果。
该法条在2024年2月27日公布，2024年5月1日施行，但明显市面上众多政务导办AI、咨询问答类AI都存在数据库滞后性，没有及时更新，会严重影响法律从业者工作的准确性，也会严重误导普通市民，引发大众错误理解！

法律的核心不仅是规则，更是价值权衡，法律会不断强调“公平”、“公序良俗”、“以人为本”，但AI倾向于用数学逻辑处理法律问题。

以正当防卫为例，我们选取下面这道法律职业资格考试真题题目，向AI提问。
某些AI会直接认定为“防卫过当”，而实际上，法院会综合考量防卫动机、手段比例和社会影响。AI缺乏法律人的“价值敏感性”，容易在伦理问题上犯错。
而有些AI更“不近人性”，会用模板去计算某案件“正当防卫是否过当”，从根本上不具备灵活性，无法处理复杂的法律问题。

法律实务中，许多规则都存在例外，比如“合同无效，但特殊情况下可部分有效”。但AI往往只能给出“非黑即白”的结论。
比如面对“未经书面形式约定的劳动合同有效吗”这个问题，有部分咨询问答类AI直接判定“无效”，而实际上，劳动关系还要依据当事人提交的证据做出判断，只要证据提交充分，事实劳动关系仍可能被法院认可。
深层问题归根于，AI难以识别法律中的“但书条款”和例外情况。
目前的法律AI更像一个“法律检索加速器”，而非真正的“法律分析专家”。它的优势在于快速查找法条，但在解释、推理和价值判断上仍存在明显短板。

最近，Ellis George 和 K&L Gates 这两家律所翻了大车，还被联邦法院直接罚了 31000 美元，因为在这两家律所被法官查出在 Lacey v. State Farm 案里用生成式 AI 写诉状引用了虚假案例。
主审法官过Westlaw在线数据库和法律研究服务核查时，发现了诸多触目惊心的错误：
27个引证中有9个存在问题，占总引证的三分之一；
至少两个引用的权威案例完全不存在；
多个引用的司法意见书中的引文是伪造的，与实际材料不符；
还有多处引用的判决书内容被篡改得面目全非，与实际原文对不上号。
K&L Gates作为美国律所50强之一，拥有庞大资源和专业团队，诉状经过多方审查，竟无人发现问题，最后居然还能顺利递交到主审法官手中。
如果将这些虚假材料纳入司法命令，造成的后果不敢想象有多严重、多恐怖！这是对当事人、整个司法系统乃至当下社会的严重不负责任！

在今年的4月份，广州某政务系统的政务服务大模型智能体和问答智能系统被南方都市报等各大官方媒体“点名”，导致整个政务系统引发信任危机！
具体是怎么回事？
原来有市民想在该行政区域开办创业公司，在该行政区的官网的政务服务大模型提问“应届毕业生开公司有什么优惠政策”时，该大模型虽经过“深度思考”，却将问题导向“劳动就业服务”和“社会保险”，与用户问题毫无关联。
更令人困惑的是，用户后续无法自由输入信息，只能被动选择系统预设选项，或者刷新后重新输入问题，导致咨询流程中断。
而另外一个智能问答系统在面临同一问题时，则在二次确认“请问您想咨询的是？”后，便不再提供进一步的信息和内容，用户咨询陷入“无下文”状态。

熊猫法律星球团队在咨询“科技型中小企业如何申请贷款贴息”时，这个政务智能问答平台没有直接解答，而是关联了6个服务引导，但是其中4个引导与问题毫无联系，比如：“排污许可证核发”、“申请注销驾驶证”等。
更让人困惑的是，点击其中一条指引后，便不再提供进一步的信息和内容，该智能问答政务AI陷入“无下文”状态。
政务咨询类AI、政务服务大模型不同于市面上的娱乐问答类AI，政务信息智能体，代表着国家政务机构的权威形象与公信力根基，其输出的每一项政策解读、每一次服务响应，都承载着政府对公众的责任承诺，容不得丝毫戏谑化、随意化处理。

这类政务咨询AI系统的搭建与应用，不能应付式尝试，必须依托经过严格技术验证、具备高度数据准确性和合规性的靠谱大模型，以确保信息供给的严谨性、服务响应的专业性，从技术底座上筑牢维护国家政务公信力的防线。
能让用户市民感到便捷的、人性化、解决实质性问题的大模型，才是真正有效的AI工具。