大模型最缺的不是记忆 而是举一反三的能力

寂静回声

过去大模型研究总在死磕“灾难性遗忘”：学了新知识就丢了旧技能。但行业内幕是，随着模型体量堆上去，“忘性大”这个伪命题早被大力出奇迹给暴力破解了。现在的千亿参数模型，靠着参数量够大和各种微调技巧，已经能挺过各种数据轰炸而不失忆。

AI现在真正的死穴，是缺乏“正向迁移”的本领，也就是人类最擅长的积淀和举一反三。一个数学家学了上百个概念后，学第一百零一个会越来越快；
但AI刷了海量任务，遇到全新领域依然像个空降的笨蛋，无法把过往经验真正转化为前瞻的学习力。

现在的补丁方案（如记笔记、调缓存、做知识蒸馏）都只是在上下文层面的小修小补。
说白了，我们人为在大模型的“即时记忆”和“长期参数”之间划了一道死线。
AI要想像人一样真正活学活用，必须打破这个时间跨度的硬边界，让短期刺激和长期可塑性彻底融为一体。

原文链接：infinitefaculty.substack.com/p/what-are-the-real-problems-of-continual