“退化式AI”竟成终局

寂静回声

大模型行业正在掀起一场“scaling law”热潮，科技公司与研究机构纷纷投入巨额资源，试图以“更大”的数据规模实现“更好”的模型性能。
然而，这种暴力的数据扩展能否带来预期中的模型性能提升？不断扩展的模型规模是否正在陷入收益递减甚至负回报的困境？
近日，国外学者 P.V. Coveney 和 S. Succi 在一篇研究论文中发出警告：
scaling law 在改善大语言模型（LLM）预测不确定性方面的能力上存在严重缺陷，试图以合理手段将可靠性提升至科学探究所需标准是难以实现的。
论文链接：https://arxiv.org/abs/2507.19703


他们将通过这种依靠暴力数据扩展追求模型性能提升的可能最终演化路径，称为“退化式 AI”（Degenerative AI），即灾难性地积累错误与不准确性。
他们认为，支撑 LLM 学习能力的核心机制——从高斯输入分布生成非高斯输出分布——恰恰可能是导致其错误积累、信息灾难以及退化式 AI 行为的根本原因。
他们呼吁道，要避免陷入这一困境，根本途径是回归问题本质，利用物理规律、问题导向的小规模网络，以及人类自身的洞察与理解，取代盲目规模扩张与资源投入。



当前，LLM 在自然语言处理方面展现出了令人印象深刻的能力，甚至不时被宣称为「已达到超越人类的水平」。这一发展趋势似乎预示了一种前所未有的、用于处理某些科学问题的方法。
AI——尤其是机器学习（ML）——的成功案例已成为本年代最为广泛讨论的话题，包括：在国际象棋与围棋中的胜利、对蛋白质结构的革命性预测等。甚至，AI 从业者还从其他领域的研究者手中夺走了 2024 年的诺贝尔物理学奖和化学奖。
然而，在研究团队看来，机器学习本质上是一种关于数学的“黑箱”程序，并不能理解底层物理学，尽管在某些情况下，引入基于物理规律的约束条件确实能够改善模型的收敛表现，但这种本质缺陷使得机器学习在科学与社会领域的应用存在一定问题。
如今，只有极少数 AI 科技公司具备训练大型 SOTA LLM 的能力，而他们对电力能源的需求近乎“无底洞”，甚至计划在数据中心旁新建核反应堆。然而，尽管这些公司通过防火墙严密保护其 AI 能力，也不公开其商业产品的技术细节，但已有迹象表明，其性能提升其实是非常有限的。
以 GPT-4.5 为例，据推测其参数量在 5–10 万亿之间，并可能基于混合专家（MoE）架构，其推理过程中约有 6000 亿活跃参数，API 成本是其前代模型 GPT-4o 的 15 到 30 倍，这直接反映了模型体量的增长。
若与更小的蒸馏模型相比，这种成本差异更是极端。GPT-4.5 更依赖于模型规模和预训练，这确实带来了主观维度上的质变提升（如写作能力与表达同理心），但在数学与科学等可验证领域几乎没有实质性进展。



另一个例子是 Llama 4 Behemoth，这是一个参数量达 2 万亿的模型，但其性能似乎没有达到其规模应有的水平。
对此，研究团队一针见血地指出，极低的扩展指数是导致 LLM 性能不佳的根源，也是其在训练更大数据集时能力提升幅度极其有限的原因。


尽管大模型 hype 热度不减，但在从事 AI 研究的计算机科学家们看来，即使是最先进的 AI 聊天机器人也会产生明显的错误，这与绝大多数科学应用所要求的精度标准根本不符。为此，关于可扩展性的未来以及如何克服阻碍 LLM 扩展的“壁垒”（wall），一直争论不休。
研究团队通过“导数”的例子进行了说明。从形式上看，指数的符号变化预示着“壁垒”的出现：此时，即使投入更多计算资源，准确性不仅得不到提升，反而可能显著下降。这听起来虽然矛盾，但却是合理的结果，因为它反映了那些在“壁垒”阈值以下未显现、却在超过阈值后开始起作用的负面效应。


研究团队表示，LLM 以及它们的升级版本——大型推理模型（LRM）和 agentic AI——远比一个简单的导数复杂得多。因此，模型随着规模的增长，可能会面临更多潜在的“壁垒”。值得注意的是，数字系统容易受到舍入误差的影响，且随着其复杂性和完成任务所需的操作数量增加，这种影响会越来越明显。
因此，在他们看来，虽然 LLM 当前的扩展指数仍为正（暂时还未遇到“壁垒”），但这一微小的数值，不足以支撑其人们期盼的持续发展。



业内普遍认为，机器学习应用的准确性高度依赖于训练数据集的同质性；一旦模型被用于来自与训练和验证数据集不同的数据时，其表现可能会明显变差。
然而，研究团队指出，即使在同质的训练场景中，准确性问题也经常出现。虽然具体情况可能会有所变化，但还是可以发现一些阻碍准确性的普遍特征。
在异构情境下，缺乏泛化能力始终是机器学习面临的一大关键问题，因为泛化本质上才是真正意义上的学习能力。“验证”意味着从用于训练的同一保留数据集中预测未见数据，但这种方法的价值是有限的，因为它更像是一个记忆过程，而非真正的学习过程。
在这一点上，尽管许多深度学习应用，特别是 LLM，经常被赞扬为具有超乎预期的“预测未见数据”的能力，或更广义地展现出类似人类的合理响应，但这不能成为掩盖预测结果可靠性问题的借口。

当前所有科技公司的 AI 工具的确持续带给我们惊喜，但这并不能改变一个事实：这些工具依然会犯大量错误，而这种错误的数量远超大多数科学领域和许多专业领域（例如法律和教育）对准确性的要求。


尽管 LLM 在可靠性和能耗方面的局限性显而易见，但在面向公众的讨论中，鲜少有人深入探讨其背后的技术细节。事实上，它们的发展主要依赖高度经验化的路径，在许多方面更像是一种依靠反复试验和摸索推进的过程。
鉴于 LLM 输出结果缺乏普遍可靠性，科技行业正尝试通过使用 LRM 和 Agentic AI 来提高模型输出的可信度，而不仅仅依赖于增加训练数据量。
虽然 LRM 在某些方面带来了改进，但由于其同样高度依赖经验基础，性能的有效量化更为困难；Agentic AI 让 LLM 能够超越单纯聊天工具的功能，产生实际经济价值，尽管这种策略从商业或产品的视角看无疑是有意义的，但就科学评估而言，它缺乏严谨的标准，即使集成了推理、多模态、持续学习、群体智能以及未来可能出现的其他特性。


这样的总体目标无疑具有意义：agent 应能够展现出类似人类的“推理”，其核心思路正是“思维链”（CoT）策略，通过模拟人类的连续逻辑推理来系统性地解决问题。
然而，问题在于：这些策略能否构建出一种可持续、可扩展的路径？从当前的发展来看，这一前景仍显得相当渺茫。
研究团队认为，或许更具建设性的方向是让 LLM 做生成式模型擅长做的事，即“幻觉”（hallucinate）。推理模型和多轮工具使用将是向这一方向迈进的实用步骤：LLM 提出下一步操作，系统其他组件负责评估和奖励优化。在这种设置中，幻觉不是被抑制，而是被引导，将生成的不确定性转化为探索价值。



研究团队表示，他们提出的一系列思考共同暗示了令人警惕的发展路径——“退化式 AI”，即灾难性地积累错误与不准确性，尤其容易发生在使用合成数据训练的 LLM 之中。
“尽管我们完全无意去‘唱衰’任何 AI 发展，但根据文中提出的理论分析，有理由认为退化式 AI 的情景不仅是可能的，甚至在某种意义上是不可避免的。”
他们将退化式 AI 的因果链条表示如下：小扩展指数（SSE）是非高斯波动（NGF）的“确凿证据”；非高斯波动引发了一种异常的不确定性韧性（RoU），从而导致模型无法准确表达数据分布的“尾部”信息，最终引发信息灾难（IC）。


数据常被误认为等同于信息，这显然是不正确的。实际上，有多种机制表明，数据的增加有时反而会导致信息量的减少，例如当数据之间存在冲突，或被恶意注入错误信息（如假新闻、数据投毒）时，就可能导致“信息减少”。
当前的扩展指数已经很小，但依然为正值，这说明行业尚未进入“数据越多信息越少”的退化区间。然而，正如本文多次强调的，这种低指数意味着其正处于“极度收益递减”的阶段。
研究团队认为，如果我们在没有理解和洞察的前提下，仅靠蛮力和不可持续的算力扩张推进 AI 发展，那么 退化式 AI 很可能成为现实。