皮肤科与病理学专用嵌入工具

2024年3月8日
Dave Steiner, Google Health临床研究科学家
Rory Pilgrim, Google Research产品经理

全球范围内包括放射学、皮肤科和病理学在内的医学影像专家解读资源普遍短缺。机器学习（ML）技术能够通过赋能工具帮助医生更准确高效地解读这些图像，从而缓解这一负担。然而，此类ML工具的开发和实施往往受限于高质量数据、ML专业知识和计算资源的可用性。

推动ML在医学影像中应用的一种方式是通过领域特定模型，这些模型利用深度学习（DL）将医学图像中的信息捕获为压缩数值向量（称为嵌入）。这些嵌入代表了对图像重要特征的预学习理解。与直接处理高维数据（如图像）相比，识别嵌入中的模式减少了训练高性能模型所需的数据量、专业知识和计算资源。实际上，这些嵌入可用于在专业领域内执行各种下游任务（参见下方动画图示）。这种利用预学习理解解决相关任务的框架类似于经验丰富的吉他手通过听觉快速学习新歌曲：由于吉他手已经建立了技能和理解的基础，他们能够快速掌握新歌曲的模式和节奏。

Path Foundation将小型（图像，标签）对数据集转换为（嵌入，标签）对。这些对然后可用于训练任务特定分类器，使用线性探针（即轻量级线性分类器）或其他使用嵌入作为输入的模型类型。

一旦线性探针训练完成，可用于对新图像的嵌入进行预测。这些预测可与真实信息比较以评估线性探针的性能。

为了提供这种嵌入模型并推动医学影像中ML工具的进一步发展，我们兴奋地发布两款领域特定研究用途工具：Derm Foundation和Path Foundation。这延续了我们从研究人员使用胸部X光片CXR Foundation嵌入工具获得的强烈反响，代表了我们扩展跨多种医学专业模式研究产品的一部分。这些嵌入工具以图像作为输入，并产生分别针对皮肤科和数字病理学图像领域专业化的数值向量（嵌入）。通过将胸部X光、皮肤科或病理学图像数据集运行通过相应的嵌入工具，研究人员可以获得自己图像的嵌入，并使用这些嵌入快速开发新模型用于其应用。

Path Foundation

在《组织病理学自监督模型的领域特定优化和多样化评估》中，我们展示了用于病理学图像的自监督学习（SSL）模型优于传统预训练方法，并能够高效训练下游任务分类器。这项努力专注于苏木精-伊红（H&E）染色切片，这是诊断病理学中的主要组织染色方法，使病理学家能够在显微镜下可视化细胞特征。使用SSL模型输出训练的线性分类器的性能与先前在数量级更多标记数据上训练的DL模型相匹配。

由于数字病理学图像与“自然图像”照片之间存在显著差异，这项工作中在模型训练期间进行了多项病理学特定优化。一个关键因素是病理学中的全幻灯片图像（WSI）可能跨越10万像素（比典型智能手机照片大数千倍），并由专家在多个放大倍数（缩放级别）下分析。因此，WSI通常被分解为更小的图块或补丁用于计算机视觉和DL应用。 resulting图像信息密集，细胞或组织结构分布在整个帧中，而不是具有不同的语义对象或前景与背景变化，从而为稳健的SSL和特征提取创造了独特挑战。此外，用于制备样本的物理（例如切割）和化学（例如固定和染色）过程会显著影响图像外观。

考虑到这些重要方面，病理学特定SSL优化包括帮助模型学习染色无关特征、将模型推广到来自多个放大倍数的补丁、增强数据以模拟扫描和图像后处理，以及自定义数据平衡以改善SSL训练的输入异质性。这些方法使用涉及17种不同组织类型和12种不同任务的广泛基准任务集进行了广泛评估。

利用视觉变换器（ViT-S/16）架构，Path Foundation被选为上述优化和评估过程中性能最佳的模型（如下图所示）。因此，该模型在性能和模型大小之间提供了重要平衡，以实现在大型病理学WSI的许多单个图像补丁上生成嵌入的有价值和可扩展使用。

Path Foundation的病理学特定优化SSL训练。

领域特定图像表示的价值也可以在下图中看到，该图显示了Path Foundation的线性探针性能改进（通过AUROC测量）与自然图像传统预训练（ImageNet-21k）相比。这包括对诸如淋巴结转移性乳腺癌检测、前列腺癌分级和乳腺癌分级等任务的评估。

Path Foundation嵌入在组织病理学多个评估任务中通过线性探针评估显著优于传统ImageNet嵌入。

Derm Foundation

Derm Foundation是一种嵌入工具，源自我们在应用DL解读皮肤科病症图像的研究，包括我们最近添加改进以更好地推广到新数据集的工作。由于其皮肤科特定预训练，它对皮肤病症图像中存在的特征有潜在理解，可用于快速开发模型以分类皮肤病症。API底层模型是在两个阶段训练的BiT ResNet-101x3。第一个预训练阶段使用对比学习，类似于ConVIRT，在大量互联网图像-文本对上训练。在第二阶段，该预训练模型的图像组件然后使用临床数据集（例如来自远程皮肤科服务的数据）进行条件分类微调。

与组织病理学图像不同，皮肤科图像更类似于用于训练当今许多计算机视觉模型的真实世界图像。然而，对于专业皮肤科任务，创建高质量模型可能仍需要大型数据集。使用Derm Foundation，研究人员可以使用自己的较小数据集检索领域特定嵌入，并使用这些嵌入构建较小模型（例如线性分类器或其他小型非线性模型），使他们能够验证其研究或产品想法。为了评估这种方法，我们使用远程皮肤科数据在下游任务上训练模型。模型训练涉及变化数据集大小（12.5%、25%、50%、100%）以比较基于嵌入的线性分类器与微调。

考虑的模型变体包括：

在来自BiT-M（标准预训练图像模型）的冻结嵌入上的线性分类器
BiT-M的微调版本，带有用于下游任务的额外密集层
在来自Derm Foundation API的冻结嵌入上的线性分类器
Derm Foundation API底层模型的微调版本，带有用于下游任务的额外层

我们发现，基于Derm Foundation嵌入构建的皮肤科相关任务模型实现了比仅基于嵌入或从BiT-M微调的模型显著更高的质量。这种优势在较小训练数据集大小下最为明显。

这些结果表明Derm Foundation工具可以作为加速皮肤相关建模任务的有用起点。我们旨在使其他研究人员能够基于模型学到的皮肤科基础特征和表示进行构建。

然而，此分析存在局限性。我们仍在探索这些嵌入在任务类型、患者群体和图像设置之间的推广程度。使用Derm Foundation构建的下游模型仍需要仔细评估以了解其在预期设置中的预期性能。

访问Path和Derm Foundation

我们设想Derm Foundation和Path Foundation嵌入工具将支持一系列用例，包括高效开发诊断任务模型、质量保证和分析前工作流程改进、图像索引和策展，以及生物标志物发现和验证。我们向研究社区发布这两款工具，以便他们可以探索嵌入对自己皮肤科和病理学数据的效用。

要获取访问权限，请使用以下Google表单签署每个工具的服务条款：

获得每个工具的访问权限后，您可以使用API从存储在Google Cloud中的皮肤科图像或数字病理学图像检索嵌入。只是好奇想查看模型和嵌入实际运行的批准用户可以使用提供的示例Colab笔记本，使用公共数据训练模型以分类六种常见皮肤病症或识别组织病理学补丁中的肿瘤。我们期待看到这些工具可以解锁的各种用例。

致谢

我们要感谢许多合作者使这项工作成为可能，包括Yun Liu, Can Kirmizi, Fereshteh Mahvar, Bram Sterling, Arman Tajback, Kenneth Philbrik, Arnav Agharwal, Aurora Cheung, Andrew Sellergren, Boris Babenko, Basil Mustafa, Jan Freyberg, Terry Spitz, Yuan Liu, Pinal Bavishi, Ayush Jain, Amit Talreja, Rajeev Rikhye, Abbi Ward, Jeremy Lai, Faruk Ahmed, Supriya Vijay, Tiam Jaroensri, Jessica Loo, Saurabh Vyawahare, Saloni Agarwal, Ellery Wulczyn, Jonathan Krause, Fayaz Jamil, Tom Small, Annisah Um’rani, Lauren Winer, Sami Lachgar, Yossi Matias, Greg Corrado, and Dale Webster。

标签:
健康与生物科学, 机器感知