LeCun：大模型正走进死胡同！

寂静回声

这是来自图灵奖得主、Meta首席AI科学家Yann LeCun的最新观点。


LeCun可不是随便说说，他引用了一篇题为《AI 并不对人类构成生存威胁——新研究发现》的文章（见附文）
根据英国巴斯大学和德国达姆施塔特工业大学的新研究，ChatGPT及其他大型语言模型（LLM）无法自主学习或获取新技能，这意味着它们不会对人类构成生存威胁。这项研究，作为第62届计算语言学协会年会（ACL 2024）论文集的一部分于今天发表，表明虽然大型语言模型在语言能力上表现优异，并具备一定的表面指令执行能力，但它们无法在没有明确指令的情况下掌握新技能。这意味着这些模型在本质上是可控的、可预测的且安全的。
研究团队总结道，虽然大型语言模型的数据集在不断扩大，但它们仍然可以在没有安全顾虑的情况下继续使用，尽管该技术仍可能被滥用。
例如，LLMs可以回答关于社会情境的问题，而无需明确的训练或编程。尽管先前的研究认为这是模型“了解”社会情境的结果，但研究人员表明，这实际上是模型利用其基于少量示例完成任务的能力（称为“上下文学习”或ICL）的结果。
并列举了大语言模型(LLM)的四大局限性：
无法回答训练集中没有的问题
无法解决没训练过的问题
没有大量人工帮助就无法获得新技能或知识
无法发明新东西

所谓的"学习"，其实还是在已有知识的基础上进行推理。这就像是你去一个从未去过的国家，虽然能猜出一些东西的用途，但绝对称不上"学会"了这个国家的文化。LLM至少需要不断训练它们接收到的所有输入，才能像人类一样。我们的大脑在说完一句话后并不会关闭 - 等待新的输入。或者说对话期间或之后它们不会改变。人类的学习是持续性的，而不是像LLM那样"batch learning"。这可能就是LLM和真正的AGI（通用人工智能）之间的鸿沟之一。


LeCun认为未来的路在哪里呢？他指出：
LLM只是AI技术的一个子集。
仅仅扩大LLM的规模不会导致具备这些能力的系统。
毫无疑问，未来的AI系统将具备这些能力。
但在我们有了这样的小型原型，或者至少有一个模糊的蓝图之前，对AI存在风险的夸夸其谈就像在讨论天使的性别。

单纯堆参数可能是条死路，未来的突破可能需要全新的架构。

AI / AGI 的发展仅靠LLM 是不够的。
没有感官器官（眼睛、耳朵等）的人类就像是受限的语言模型。语言模型需要的是一个配备传感器（摄像头、麦克风等）的物理形态，使其能够更全面地探索和与世界互动。
虽然AGI 还没有明确的定义（见AGI究竟是什么？），但可以确定的是，AGI 不应该仅仅是一个会说话的程序，而至少得是一个能感知世界的智能体。


点评
就目前来说，全球大模型连回答电机磁极对数与同步转速的关系计算式都答错了，你还指望大模型能干什么。