大模型未能对世界形成连贯的理解

寂静回声

现如今大模型已经具备各种各样的非凡能力，不仅能吟诗作对，也可生成高效的计算机代码，这些表现让人产生了大模型似乎在“隐约理解”某些现实世界基本规律的错觉。然而，一项最新研究指出，事实可能并非如此。研究人员发现，一种流行的生成式 AI 模型能够在纽约市提供接近完美的逐步导航指引，但却并未形成真正的精确地图。

据《麻省理工科技评论》当地时间 11 月 5 日报道，麻省理工学院信息与决策系统实验室（LIDS）的主要研究者阿什・兰巴昌（Ashesh Rambachan）表示，“我们希望，大模型在语言领域的出色表现或许可以让它们在科学的其他领域大展拳脚。然而，如果想用这些技术去探索新发现，判断它们是否形成了连贯的世界观至关重要。”

研究人员发现，一种流行的生成式 AI 模型能够在纽约市提供接近完美的逐步导航指引，但却并未真正形成该城市的精确地图。

尽管模型表现出卓越的导航能力，但当研究人员封闭了某些街道并设置绕行路线时，模型的表现却大幅下滑。

进一步分析显示，模型隐式生成的纽约地图包含大量不存在的街道，这些街道在网格间扭曲连接，跨越相隔甚远的交叉口。

这对实际应用中的生成式 AI 模型来说可能有着重要影响 —— 一个在特定情境中表现优异的模型，可能会在环境或任务稍有变化时无法应对。（来源：IT之家）