深度剖析现阶段的多模态大模型做不了医疗

寂静回声

在人工智能的这波浪潮中，以ChatGPT为首的大语言模型（LLM）不仅在自然语言处理（NLP）领域掀起了一场技术革命，更是在计算机视觉（CV）乃至多模态领域展现出了令人瞩目的潜力。


这些先进的技术，以其强大的数据处理能力和深度学习算法，正在被广泛应用于医疗影像分析、辅助诊断、个性化治疗计划制定等多个方面。相信大多数小伙伴都坚定不移地认为大语言模型（LLM）和图文多模态大模型的崛起无疑为医疗领域带来了革命性的变革。

然而，作为一线医疗AI从业者，本文作者（廖方舟，知乎@https://www.zhihu.com/people/liao-fang-zhou-31）却提出了一种截然不同的观点，即在当前的技术和数据储备下，多模态大模型在医疗辅助诊断领域难以取得重大突破。
今天的文章将为大家揭示多模态大模型在辅助诊断、异常检测等方面的潜力与局限，作者不仅分享了对当前技术的深刻见解，还提出了关于数据质量和模型训练的重要思考。
大语言模型在众多自然语言处理（NLP）任务中表现出色，逐渐统合了许多独立的NLP领域。随着数据规模的增加，大语言模型的表现遵循“Scaling Law”不断提升。在翻译、编写代码等应用场景中，ChatGPT 已经迅速推广，取代了许多旧有工具。

这种趋势迫使尚未涉足大模型领域的人们重新思考：是否也应该投入大模型的开发？大模型是否会对现有行业带来巨大冲击？作为医疗AI从业者，我在这些问题上进行了反思。本文将分享我对大模型在医疗领域的一些看法，欢迎大家批评指正。

我得出的基本结论是：在当前的技术和数据储备下，多模态大模型在医疗辅助诊断领域难以取得重大突破。
多模态大模型是指能够同时处理和整合来自多种输入形式（如文本、图像、音频等）的大型机器学习模型。这些模型通过理解和生成多种形式的数据，能够执行跨模态任务，例如从图像生成描述性文本，或根据文本生成相关的图像。这类模型结合了视觉和语言理解能力，使得它们能够在多种应用场景中发挥作用，从而突破单一模态的限制，提供更加丰富和交互性强的用户体验。
在医学应用中，常见的场景是智能读片，即输入X光或CT图像，由模型解读后自动生成报告。患者可以根据模型的反馈进一步提问，深入咨询预期的病情变化、疾病成因、治疗手段等。
大模型在进行描述时，类似于人类，边看图边说话，它的“眼睛”会寻找图像中与问题最相关的部分，提取该区域的特征并进行语言组织。
模型要准确描述图像内容的前提是“注意”到图像中的异常之处，这个过程基本等同于“异常检测”或“显著性检测”。医学图像与自然图像的主要区别在于对小目标检测的重视，例如在肺部CT中，结节检测的下限通常是3-4毫米，即4-5像素。考虑到典型的薄层CT图像尺寸为300x512x512像素，这种结节在原图中所占比例仅为1/1e6，在二维图像上相当于1080p照片上的一个像素。


这个计算过程也表明，大模型的“看图说话”能力受限于“异常检测”步骤的准确性。如果检测不到异常，就会漏诊；如果假阳性过多，说错话的概率也会显著增加。这一能力的提升，与模型是否多模态、是否大规模关系不大，关键在于视觉模型本身的检测能力。


这些报告清晰地展示了语义上的显著差异：1. 不同医院在风格和详细程度上差异很大，报告的行文顺序也没有固定模式。2. 病灶定位方法各异：有些仅基于解剖位置（如“胸骨下段”），有些则使用图像层数（如“img31”）。3. 名词使用习惯差异大：“骨质不连续”=“局部形态欠规则”，“肺门影不大”=“双侧肺门无增大”。

除此之外，如果直接让机器学习模型从这些文本中学习，你将遇到如下问题：

需要同时描述全局和注意微小物体 ：这意味着需要维护多尺度的特征。
缺乏某个病症的描述并不意味着病症不存在 ：可能是医生未检查到，或漏诊。这些报告中都提到了骨折，如果你的模型学习了检查骨折的技能，但在新医院的数据中发现这个医院的医生默认不检查微小骨折（因为检查费时且发生率低），模型就无法适应。
数据极为长尾和稀疏 ：虽然这里选取的都是骨折病例，但实际上骨折发生率仅为1%。如果按照自然分布训练，难以充分训练模型。这些报告中涉及肺、心、肝、骨、脾、胆、气管、淋巴等多个器官，每个器官的病变发生率都不高，难以形成一个在各个疾病上都均衡的训练集。
医生的定位描述非常抽象 ：如“左侧第6前肋”，“下叶背段（Img122）”，“胆囊周围”，这些位置普通人甚至无法定位。要让大模型从这些报告中学习，前提是模型必须熟悉各种解剖位置，这本身就是一个不小的挑战。还有更模糊的描述，如“双肺可见数个小结节”，面对这么大的肺，模型该如何设置注意力？
在自然图像的描述任务中，尽管不同人对图像的描述角度、详略、指向方式各异，大模型似乎仍能较好地处理这些差异，原因是大家都认可 image caption 是没有标准答案的，我不会因为模型没有对毛泽东下巴上的痣进行细致描述和准确分类而苛责它。然而，医学影像诊断本质上仍然是一个检测和分类任务，使用的指标是 MAP 和 AUC。据我所知，目前还没有证据表明，多模态训练能显著提升 COCO 小目标检测能力？事实上，现有的各类 SOTA 的 open-vocabulary 论文都尚未达到监督学习的水平。
即便前两个难点（微小物体检测和报告语言风格问题）可以通过技术手段克服，如在模型结构中引入从粗到细的分级注意力机制，或通过清洗数据统一报告格式，并通过补充标注解决指向不明确的问题，第三个难点却超出了纯技术解决方案的范畴。这一难题，乃是医学AI领域最核心的挑战所在。所有涉足诊断相关产品（如胸部CT、乳腺钼靶、胸部X光）的医学AI公司，几乎无一例外地都经历过一个深刻而苦涩的教训：

医生的标注不可完全依赖。

在行业的早期阶段，大家普遍认可医生的权威性，认为诊断任务需要深厚的经验和长期训练。经验丰富的医生被视为高质量数据集的关键，因此，常用的策略是让低年资医生进行初步标注，高年资医生对有分歧的部分进行质量控制。我们曾投入十余名医生，花费三十余万元标注费用，希望快速扩充数据集，结果训练出来的模型效果却非常垃圾，不得不推翻重来。
不同医院的医生在诊断标准上存在显著差异。在医院内部，科主任通常具有权威性，可以在科室内推行他的标准。然而，在多医院医生合作时，矛盾便会显现。A医院的年轻医生往往不愿接受B医院高年资医生的标准，因为他们的主任教的标准不同。即使是A医院和B医院的高年资医生之间，也难以达成共识。影像科学领域缺乏一部公认的权威百科全书来解决诊断标准问题，因为该学科本身就面临“同影异病”和“同病异影”的复杂情况。我们统计过，两位初标医生的一致率仅约70%。即便有高年资医生进行校验，也只是将个人偏好注入数据集，而无法真正拉齐初标医生的看法。
许多微小病灶只有3-5个像素，容易被人眼忽略。尽管医生接受过专业训练，漏诊仍然不可避免。作为参考，我们从医院报告系统中寻找骨折病例，发生率约为1%，而配备了AI辅助诊断之后，骨折的发病率提高到了10%，原因是医生报告中只会写有临床意义的骨折位点，一些微小骨折，要么没有看见，要么看见了也没有提一下的必要。而机器学习算法，追求的是“标准一致”的训练集，与医生平时的工作习惯进行标注是大不一样的。
在公司主导的产品开发中，外聘医生的主要动力是通过标注更多数据获取更高报酬。AI公司往往通过数据量考核标注工作，导致标注速度优先于标注质量。此外，由于医生在疾病解释方面具有天然的权威性，即使标注出现错误，算法工程师们也难以提出反驳。即使公司方配备了内部专家控制标注质量，他们也难以全面监督大量标注人员的工作。
因为上述问题的存在，医疗 AI 公司普遍采用了“少数全职精英医生制定标准 + 大量经过培训的非专业人员执行标注 + 使用模型把控标注质量 + 反复迭代清洗数据”的技术路线。一般来说，达到一个勉强可用的水平。此外，还需要将各种 corner case 加入，总数据量大致翻倍后，才能达到较高的实用水平。这些数字看起来并不大，似乎触手可及，但实际上，只有亲身参与过这个行业的人才知道，数据的高质量背后需要经历许多轮的模型-标注交叉检查，算法、医生、测试、标注、产品经理之间的反复讨论，修订标注标准，以及无数次标注培训会。这通常需要数个月的辛勤工作，才能沉淀出高质量的数据。

在项目实践中，我深刻体会到，数据的质量远比数量重要。通常，多加新数据来训练效果不如对现有数据进行清洗，甚至由于新数据未经反复清洗，数据质量差，反而可能拉低分数。因此，对于在医学领域如何有效应用 scaling law，我仍然没有完全想明白。






在辅助诊断产品方面，学术界的成果普遍不如工业界的实用产品。但工业界的测试集和数据往往不公开，因此很难有统一的衡量标准来比较各家AI公司的水平。所谓的临床试验数据，由于各家公司独立进行，也缺乏可比性。此外，临床试验的金标准由医生制定，其标注质量也需要打一个大问号。真的要按照严格的临床试验流程来搞，数字可能不会特别好看，所以 QURE 估计是掺了些水分在指标里的。

抛开可能的水分，实际情况如何呢？正如之前提到的，医生之间的一致性非常低，因此如果细致地评估医生报告的AUC，可能真的只有0.7多。模型的表现通常会比医生高一些，Qure的这款产品在我们的简单评测中表现尚可，基本能用。

然而，从体验和可用性来看，医生的报告仍有优势。医生尽管容易犯一些小错误，比如漏掉小结节或不判别模棱两可的病例，但极少犯严重的错误。模型虽然擅长小微病灶检测，但有时会在大问题上出错，例如，有段时间我们的模型有千分之一的概率将心脏误认为肿瘤（这是胸部CT和胸部X光类产品中常见的bug，几乎家家都出现过）。这种问题虽然在AUC上无足轻重，但对用户的信任度有很大影响。

因此，尽管从得分上看，模型在单病种上的表现不输医生，但从实际体验来看，模型也从未完全胜过医生。现在的医疗AI产品，即使在单病种检测上，也还不能完全替代医生，只能作为辅助工具使用。（跟自动驾驶有点像吧。。。）
文章有点长，简单帮大家总结下：

首先，对于微小目标识别，医疗影像中的微小病灶（如肺部结节）在图像中占比极小，要求模型具备极高的分辨能力；此外，不同的病灶需要多尺度特征和巨大的特征图，这不仅增加了计算量，还要求极高的精确度。

其次，在实际临床应用中，医生的报告往往风格各异，描述的详细程度和顺序没有固定标准，这使得模型难以统一学习和理解。不仅如此，报告中对病灶的定位方式多样，有些基于解剖位置，有些基于图像层数，这进一步增加了模型训练的复杂性。

除此之外，不同医生和医院之间的诊断标准差异较大，导致标注数据的一致性和可靠性不足，何况医生的漏标现象也很严重，尤其是对一些微小病灶，导致标注数据的质量不高。这导致标注数据的高质量要求反复的模型-标注交叉检查和不断的迭代清洗，这需要大量时间和资源。

因此，高质量的数据远比数量更重要。有效的数据清洗和标准化是提升模型性能的关键。然而，在医学影像中，数据获取和清洗的复杂性使得这一过程尤为艰难。从作者例举的几篇文章（如CT-Clip和CheXagent）来看，即使是多模态大模型在医疗影像分析中的应用，其效果仍然不尽如人意。模型在某些宏观特征（如心肌肥大、胸腔积液）上的表现较好，但在微小病灶（如肺结节、纤维化后遗症）上的检测能力仍显不足。

总的来说，小编认为，多模态大模型在医疗辅助诊断领域的应用仍然是前景广阔，但正如本文作者所述，受限于技术和数据储备的瓶颈，当前还难以取得重大突破。为此，后续对于提高模型在微小病灶检测上的能力、统一医生报告的标准、以及提高数据标注的质量，是未来发展的关键方向。同时，未来需要更加注重数据质量的提升和技术的逐步改进，才能更好地推动多模态大模型在医疗领域的应用和发展。