机械荟萃山庄

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
热搜: 活动 交友 discuz
查看: 73|回复: 0

600次实验打假LeCun团队世界模型

[复制链接]

3万

主题

3万

帖子

23万

积分

超级版主

Rank: 8Rank: 8

积分
237978
发表于 前天 19:24 | 显示全部楼层 |阅读模式
有个独立研究者干了件狠事,几个月跑了 600 次实验,把 LeCun 参与署名的 JEPA 世界模型 LeWM 从头审了一遍,发在 HN 上,拿了 200 多个赞。
按论文原始的用法跑,长程任务的成功率只有 22%,他做了四种调整,一个参数都没改,成功率直接到了 85%。
他把预测器换成一个完美的物理模拟器,78% 对 77%,几乎打平,模型的想象力够用了,差距还是出在怎么用。
标准测试里 84% 的目标,模型训练的时候都见过原题,官方成绩 68%,换一批同分布的新题只剩 44%,换个随机种子重跑,跑到 38 个回合,结果就翻过来了。

这跟企业里做 AI 验收是一个毛病,供应商演示永远使用最完美的那个场景,结果一实干就拉。
他总结的办法就三条,测试集和演示集不能重叠,测试要求要比演示时更严苛。官方基准上的数字,就是是个数字。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|小黑屋|手机版|Archiver|机械荟萃山庄 ( 辽ICP备16011317号-1 )

GMT+8, 2026-11-20 01:12 , Processed in 0.068135 second(s), 20 queries , Gzip On.

Powered by Discuz! X3.4 Licensed

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表