以为AI会因果推理 实则是人类的幻觉

寂静回声

图灵奖得主 Judea Pearl 小时候遇到过一件很小的事，他后来一直记着。
老师在课堂上问，一平方公里等于多少 dunam，全班很快有了一个答案，老师也认同，Pearl 算了一遍，觉得他们全错了。
一 dunam 等于 1000 平方米，一平方公里是 100 万平方米，所以答案只能是 1000 dunam。这道题并不难，难的是当时全班都在笑他，老师也坚持另一个答案，Pearl 没改口。第二天，老师回来承认，是 Pearl 算对了。
这件事很像他后来一辈子研究的问题：一个答案到底是你自己推出来的，还是因为大家都这么说，所以你也学会了这么说？
Pearl 从小接受的教育，有一个很特别的地方。他回忆，早年的老师里有一批逃离纳粹迫害的德国学者，他们讲科学时，会带着学生沿着历史重新走一遍发现的过程，让孩子觉得，毕达哥拉斯的证明、爱因斯坦的推导，自己也有机会一步步想出来。
他把这种教育称为一种 “有用的幻觉”。
一个十几岁的孩子当然很难重新发明现代科学，但这种幻觉会训练出一种习惯：先问这个结论怎么来的，再决定要不要相信它。老师说错了，可以反驳。全班都选同一个答案，也可以继续算自己的。
Pearl 很看重这种不服从共识的能力，因为科学发现经常发生在这里，已有答案解释不了现象，有人开始怀疑，然后重新建立模型。
而大语言模型的起点恰好相反，它最基本的训练目标，是根据已有文本判断接下来什么最可能出现，它可以生成非常出人意料的内容，但它的知识底座仍然来自人类留下的大量文本。
于是一个有意思的错觉出现了：人类把自己几百年推导出来的 “为什么” 写进书、论文、报道和病例，大模型再把这些材料学进去。等模型把 “为什么” 重新说给我们听时，我们很容易把对人类推理结果的吸收，当成模型自己重新发现了一遍因果关系。
大模型训练时直接吃下了这个最后的产物，所以它看起来一步跨到了 “为什么”，中间那段最难的路，其实已经有人替它走过。
这也是 Pearl 区分 “会回答” 和 “会发现” 的地方，一个系统能总结人类已经找到的因果关系，和它面对一个从未被解释过的现象、独立找出因果机制，是两种能力。
大模型它把人类散落在海量文本里的知识压进了参数，而且能重新组合、调用这些知识。Pearl 质疑的是另一件事：这种能力能不能自动长成科学发现所需要的因果推理。
要解释这条边界，Pearl 有一个很有名的 “因果阶梯”。
第一层叫关联，也就是 “看见”，公鸡叫了，太阳升起；两件事经常一起发生，系统可以从数据里学到相关性，今天的大部分统计学习都很擅长这一层。
第二层叫干预，也就是 “动手”，如果我把公鸡关起来，不让它叫，太阳还会不会升起？问题一变，单纯观察历史数据就不够了，系统需要知道哪个变量会影响哪个变量。
第三层叫反事实，也就是 “想象另一个没有发生的世界”，如果我当时做了另一个选择，结果会怎样？人会用这种能力讨论责任、后悔、功劳，也会用它提出科学假设。
Pearl 的核心判断在这里：第一层的数据再多，也不会凭空告诉你第二层和第三层的规则。
你可以观察到一万次公鸡打鸣后太阳升起，数据仍然没有直接告诉你，把公鸡按住以后会发生什么，要回答这个问题，系统得知道太阳和公鸡之间的结构关系。
所以 Pearl 一直强调结构模型，相关性擅长告诉你 “什么和什么一起发生”，因果模型还要回答 “我改变其中一个，另一个会怎样”。
这里面最容易被忽略的东西，是方向。
普通代数里的等号是对称的，A=B，反过来 B=A 也成立，现实里的因果关系经常是单向的，天气变化会让气压计指针移动，你拿手把指针拨到另一个位置，天气不会跟着变。
Pearl 用带方向的结构来描述这种关系：天气 → 气压计。
这个箭头看起来简单，却解决了一个非常现实的问题：世界变了以后，模型应该改哪里。
假设汽车厂换了一种发动机零件，在因果模型里，如果你知道这个零件处在什么位置、影响哪些模块，就可以沿着相关的因果链更新，纯粹依赖统计相关性的系统更麻烦，因为旧数据里大量一起出现的关系都可能受到影响，它很难仅凭相关性判断哪些机制真的变了。
这也是 Pearl 所说的插值和外推之间的差别，根据见过的数据补齐中间部分，模型已经做得越来越好，遇到训练分布之外的新世界，还要判断 “如果我主动改变 X，会发生什么”，结构知识就开始变得重要。

大模型今天表现出来的推理能力，已经比 “背答案” 复杂得多，但 Pearl 提醒的是：只要模型主要从人类已经解释过的文本里学习，我们就很难通过一句漂亮回答，判断它到底掌握了多少可以独立干预、验证和修正的因果模型。

Pearl 心里更接近 AGI 的东西，其实像一个 “自动科学家”。它会观察世界，主动做实验，根据结果更新自己的模型，然后再设计下一次实验。整个过程是一个循环：观察 → 干预 → 更新模型。婴儿其实很早就在做类似的事。给他几个玩具，他会反复敲、摔、按。绿色的会响，黄色的不会，他会再试一次。他没有满足于 “绿色和声音经常一起出现”，而是在用自己的动作验证这个关系。