大模型在人类的“鬼点子”面前黯然失色

寂静回声

在 arXiv 上看到一种现象让人不得不提高警惕，部分文献在摘要里夹带了白字，极小字号或不可见字符，内容感觉是是直接写给大模型看的，比如要求模型只给正面评价或者明确提示这篇论文没有缺点。正常阅读几乎不可能发现，但只要文本被爬取解析，那这些内容就会被完整读到。问题的关键在于这种做法已经偏离了学术写作的基本用途，摘要本来是给研究者快速了解内容用的，现在却被当成了控制指令的载体。隐藏提示放进摘要就等同于提前干预未来的自动总结，自动综述和自动评价流程，不是直接影响评价机制的运行方式嘛。更麻烦的是这类影响并不会随着文本删除而消失。arXiv 的论文会被长期保存，用于搜索引用甚至进入模型训练数据。一旦模型读过这些隐藏指令，后续修改文本也无法保证影响被完全清除，很多讨论把模型偏见归因于模型设计或训练方式，但在这里，偏向性明显来自人为写入的语料。在越来越多研究者依赖 LLM 做文献综述，筛选论文，生成二级内容的情况下，这种行为的放大效应非常明显，提前对模型下好评指令，意味着在未来的机器生成内容中获得额外的正向曝光，很明显破坏了原本应当公平的竞争环境。

如果这种做法得不到制止，接下来的发展路径并不难预见，更隐蔽的写法，更复杂的编码方式，针对不同模型定制不同提示，论文表面上仍然面向人类读者，底层却在持续对机器发声，至于这算不算作弊，判断标准并不复杂，只要承认学术评价应当基于所有读者可见的内容，承认作者不应干预评价系统本身，这种隐藏指令的行为就已经越过了界线，即使规则尚未明确写入条款，学术规范的底线已经被触碰。真正令人担心的是还有多少类似内容已经混入语料进入模型并在后续生成中被不断重复，一旦这种方式扩散，受影响的将是整个依赖 LLM 的学术信息生态。



谁让你不使用“深度思考”的，现在豆包大模型，当然也包括其它大模型，不“深度思考”一下，就没底线的胡编。
当然也不一定，智谱大模型“思考”后的输出，跟没“思考”差不多。