AI如何解读显微镜切片——fast.ai视角

计算病理学基础模型

构建更精准计算病理学（CPath）模型的核心思路是：不再针对单一组织类型和单一任务（如识别乳腺组织中的癌症）训练模型，而是在多器官组织图像（乳腺、淋巴结、肺、前列腺、心脏等）和多重任务（识别癌症、确定癌症分期与亚型、细胞分割、预测治疗结果）上进行训练。从一个数据集或任务中学到的模式很可能泛化到其他场景。

这类模型被称为CPath基础模型。一般而言，基础模型是在足够多样化的大型数据集上训练的机器学习模型，可适配多种下游任务。该理念常见于Chat-GPT和Claude.ai等语言模型领域。语言基础模型通过多种语言任务训练，旨在跨文本语料库（如维基百科、Reddit帖子、学术论文、在线对话和新闻文章等）实现泛化。ImageNet模型通过识别海量不同类型的图片，常作为图像领域的基础模型。语言和通用图像领域基础模型的成功，是病理学基础模型同样具有应用潜力的关键原因。

2024年发布了两款值得关注的CPath基础模型：Prov-GigaPath和UNI。这两款模型在数十项病理学任务中均实现了最先进的性能（尽管未直接比较）。另一篇相关论文（来自Kaiko.ai）研究了数据集规模和模型规模对CPath模型性能的影响。

术语解析

医学领域充满专业术语和专有词汇。病理学指疾病研究，是一个广泛领域，涵盖从尸体解剖到血液样本分析的全过程。计算病理学的一个关键重点是分析和解读全幻灯片图像（WSIs），有时结合患者的元数据。全幻灯片图像指完整的显微镜切片，但通常感兴趣区域（如特定癌变或炎症细胞）可能小得多，仅占据切片的一部分。

**机器学习（ML）**是人工智能（AI）的一个子领域，涉及从历史数据中学习，在病理学中的应用日益成功。大多数计算病理学ML模型专注于组织图像和显微镜切片，本文也将聚焦于此。

多样化任务场景

CPath模型可在多种基准测试中验证，涉及不同身体部位、不同规模和不同用途的数据集，以及二元分类、图像分割和结果预测等多种任务。Prov-GigaPath在26项任务中的25项达到最先进性能，UNI在34项不同任务中表现卓越。以下是其中3项任务的示例：

任务：前列腺癌细胞分级

1960年代，病理学家Donald Gleason博士提出了一个分级系统，用于评估细胞从正常到前列腺癌的进展过程。Gleason分级系统至今广泛使用，被认为是预测前列腺癌患者预后的重要指标。2022年，某医学图像会议（MICCAI）举办竞赛，要求研究人员根据前列腺组织图像创建算法确定Gleason分级。

前列腺组织呈粉红色，区块根据Gleason分级标色。

任务：心脏移植后排斥反应早期识别

排斥反应是心脏移植患者死亡的主要原因。由于排斥早期可能无症状，患者通常在移植后1-2年内频繁接受活检，称为心内膜心肌活检（EMB），即从心脏肌肉内壁取出小样本组织。准确解读活检结果至关重要：低估排斥风险可能导致治疗延误，高估则引发不必要的随访或治疗。经验丰富的病理学家对样本组织的评估变异性高于癌症诊断等任务。深度学习正用于处理该任务，如心脏排斥评估神经估计器（CRANE）和CPath基础模型UNI。

每行显示不同心脏组织样本及不同医疗问题。最左侧为全幻灯片图像，随后放大显示关键感兴趣区域（ROI），最右侧为热力图，显示算法识别出的显著特征。

任务：癌症基因突变检测

针对肿瘤中几种常见基因突变，已有特定靶向药物，这对临床治疗具有直接应用价值。由于基因突变会改变细胞形态和功能，有望从癌细胞图像中推导该信息。深度学习模型已用于从组织切片识别基因突变。计算方法的优势在于可扩展性，随着相关基因突变和分子生物标志物的不断发现，任务特定模型已构建，这也是基础模型可测试的任务之一。

Y轴列出不同类型癌症，X轴显示20种常见基因突变。

数据需求挑战

CPath基础模型领域的一个关键挑战是收集足够训练数据。癌症基因组图谱（TCGA）是某国国家癌症研究所2006年启动的雄心勃勃的项目，12年间从超过11,000名患者的33种不同癌症类型中收集样本，所有数据公开。尽管这是丰富的数据资源和有用工具，但所有3篇论文均认为TCGA规模不足以支撑有效的基础模型。除数据量有限外，TCGA多样性也有限，主要包含原发癌切片，而非转移癌或不同类型组织。

某机构研究人员测试了模型规模和训练数据集规模的影响。他们发现模型规模超过一定点后需求有限，但更大数据集持续提升性能。结论是TCGA可能不够大，并分享构建更大训练集的计划，正与欧洲多家癌症中心合作创建数据集。

另两款CPath基础模型的研究者也得出了相同结论，并收集海量数据集训练模型，这需与医疗中心合作。Prov-GigaPath由某研究机构和某基因组学中心创建，涉及来自28家癌症中心的30,000名患者数据；UNI由某高校团队开发，涉及Mass-100K数据集：包含来自某医院和某表达联盟的100,000多张全幻灯片图像，涵盖20种组织类型。

这些合作和训练数据集策展当前是构建CPath基础模型的关键组成部分。精心策展数据集也面临诸多挑战，合并不同来源的数据（通常使用不同的切片采样和制备协议）可能引入显著偏差。

多尺度处理难题

CPath基础模型面临捕获局部模式（切片内小区块显示）和全局模式（整个切片范围）的双重困难。一张切片中包含许多微小区块。

某些模型（如分层图像金字塔变换器，与UNI部分作者相同）使用分层方法处理这些多尺度问题。

其他模型（如Prov-GigaPath）将区块视为标记，对区块和整个切片进行编码作为模型输入。Prov-GigaPath使用切片编码器和区块编码器兼顾这两种不同尺度。

病理诊所中，诊断和治疗决策通常在患者层面制定，而CPath模型常高度聚焦于感兴趣区域。适应病理学的多相关尺度（小区块、整个切片和患者层面）是CPath模型需平衡的考量。

未来展望

CPath领域仍处于早期阶段，存在许多增长机遇，包括持续需要大型多样化数据集、进一步优化模型训练的方法、以往关注较少的任务以及将模型集成到临床工作中的困难。正如某机构论文作者所写：“我们仍处于开发真正基础病理学基础模型的非常早期阶段。”这些模型在数十项基准测试中达到最先进性能是充满希望的迹象，但它们在临床环境中的应用时间和方式仍有待观察。

扩展阅读

• 最常见且实用的神经网络
• 利用AI发现新抗生素
• AI与免疫学

可通过提交邮箱订阅相关微生物学博客文章通知。