大模型多几轮对话下来就说胡话了

寂静回声

这篇论文很火 《LLMs Get Lost in Multi-Turn Conversation》

1. 该论文系统性地评估了当前主流大型语言模型（LLMs）在多轮对话中的表现，尤其是在用户指令不完全明确的情况下。研究发现，尽管LLMs在单轮、明确指令的任务中表现出色，但在多轮对话中，其性能显著下降。

2. 对话系统设计需重视多轮交互
当前许多对话系统在设计时主要关注单轮交互，但实际应用中，用户往往通过多轮对话逐步明确需求。因此，系统应具备处理不完全明确指令的能力，并在多轮交互中保持上下文一致性。

2. 提示工程（Prompt Engineering）的重要性
为了提高LLMs在多轮对话中的表现，提示工程显得尤为重要。通过设计更有效的提示，可以引导模型更准确地理解用户意图，减少误解和错误生成。

3. 模型训练需考虑对话历史的利用
模型在训练时应加强对话历史的利用能力，避免在多轮对话中“迷失”。这可能涉及引入记忆机制或上下文感知模块，以增强模型对前文的理解和引用能力。

论文：arxiv.org/abs/2505.06120