寂静回声 发表于 2024-11-18 15:07:22

用合成数据训练大模型就相当于「近亲繁殖」

7月,登上Nature封面一篇论文证实,用合成数据训练模型就相当于「近亲繁殖」,9次迭代后就会让模型原地崩溃。


论文地址:https://www.nature.com/articles/s41586-024-07566-y
然而,许多大佬都不同意这篇文章的方法和结论。
比如,Scale AI的CEO Alexandr Wang就很看好合成数据的前景,英伟达发布的开源模型Nemotron-4 340B甚至使用了98%的合成数据。

最近,Meta、纽约大学、UCLA机构发表的最新论文,再一次动摇了这些大佬们的结论。


论文地址:https://arxiv.org/abs/2410.04840
他们发现,即使合成数据仅仅占到总数据集的最小部分,甚至是1%的比例,仍然可能导致模型崩溃。
甚至,ChatGPT和Llama这种较大的模型,还可能放大这种「崩溃」现象。



随着越来越多的合成数据出现在训练集中,一种新的现象应运而生:「模型崩溃」。
所谓「模型崩溃」,是指随着时间的推移,LLM或大型图像生成器在其前几代生成的数据上进行递归训练,导致性能下降,直至模型完全丧失能力的情况。
围绕着这个问题,AI学界和业界的大佬依旧莫衷一是,尚未达成一致的结论。
而合成数据究竟会在多大比例、多大程度上导致「模型崩溃」,直接影响着我们在未来如何应用这项技术。
从直觉上理解,合成数据导致「模型崩溃」的底层逻辑,是由于模型开始对合成数据中的模式进行过拟合,而这些模式可能无法代表现实世界数据的丰富性或可变性。


如果进行连续的迭代训练,这种反馈循环会导致模型强化合成数据中存在的错误、偏差或过度简化,因而损害了对现实世界的准确表示能力和泛化能力。

总体而言,这篇文章旨在回答以下两个重要问题:
Q1:模型崩溃是不可避免的,还是可以通过策略性地混合真实数据和合成数据来解决?
Q2:较大的模型比较小的模型更容易崩溃吗?
针对这两个问题,论文以经典线性设置中的回归问题为例进行了理论分析,之后在「玩具设置」(MINIST数据集+迷你模型)和更接近真实场景的GPT-2模型上运行了实验。



页: [1]
查看完整版本: 用合成数据训练大模型就相当于「近亲繁殖」