数字病理图像处理：分割、合成与数据增强研究

小罗碎碎念

今日精析：Medical Image Analysis

这篇文章介绍了一种结合了先进分割模型和生成对抗网络的病理切片图像分析流程，用于提高癌症诊断的准确性和效率。

10.1016/j.media.2024.103344

作者角色	姓名	单位名称（中文）
第一作者	Muhammad Jehanzaib	博阿齐奇大学计算机工程系，土耳其伊斯坦布尔
通讯作者	Mehmet Turan	博阿齐奇大学，土耳其伊斯坦布尔

尽管数字切片图像提供了比传统方法更精确的测量和量化特征的能力，但病理学中的诊断变异性仍然存在。文章提出了一个名为PathoSeg的模型，该模型结合了修改版的HRNet编码器和UNet++解码器，并集成了CBAM块以利用注意力机制提高分割能力。PathoSeg在实例和语义分割的定量和定性评估中均优于当前最先进的网络。

研究还利用了PathopixGAN生成的合成数据，有效解决了在病理学数据集中常见的数据不平衡问题，进一步提高了PathoSeg的性能。PathopixGAN利用生成和判别机制中的空间自适应归一化来合成多样的病理学环境。

此外，研究还提供了一个内部数据集，包括乳腺癌小管（BCT）、肝脏微/宏泡性脂肪变性（MSL）和前列腺癌腺体（PCG）的语义分割掩模。为了确保透明度并鼓励进一步研究，研究者将公开这个数据集，用于非商业和学术目的，并提供代码和预训练模型。

文章还讨论了病理学图像分割和合成的相关研究，以及数据增强和GAN合成的当前文献。介绍了所使用的内部数据集、PathoSeg分割架构细节、PathopixGAN生成器、完整的病理学分割流程和训练细节。最后，讨论了研究结果并给出了未来方向。

一、引言

组织学病理检查是临床病理诊断的金标准（Tan等人，2020年）。

近年来，扫描技术的进步和全玻片图像（WSI）的产生，使得病理学家无需显微镜，通过专门的硬件和软件程序即可分析患者标本（Stathonikos等人，2019年）。疫情期间，越来越多的病理科室使用数字病理学技术创建组织电子文件，这些文件可以在计算机上远程查看（Schüffler等人，2021年）。

这些最新发展的积极影响不仅限于标准组织病理学，还扩展到了研究合作、远程病理学、专家意见和教育领域（Jones-Hall，2021年；Retamero等人，2020年）。数字幻灯片图像通过标准化测量技术和协议，能够更精确地测量和量化特征，如细胞计数、形态特征和染色强度，确保不同用户和实验室之间的一致性，相较于传统的手动和视觉检查玻璃幻灯片的方法（Veta等人，2014年）。

然而，观察者之间和内部的显著诊断变异性问题仍然存在（Ginter等人，2021年）。此外，由于达到确定性诊断需要大量的人力投入，病理学家在计算机上审视巨像素WSI时，评估组织、细胞和微环境相关因素的全面列表的效率是否超过传统显微镜检查，这一点仍有待考察。

病理学家在特定病理学领域的专业知识对诊断准确性有显著影响，特别是在长期存在观察者内和观察者间变异性的领域（Lipkova等人，2022年；Turan和Durmus，2022年）。

在此背景下，人工智能（AI）作为一种新的资源，支持病理学家的工作流程（Kiani等人，2020年），尽管对其现实世界的医学效用存在偏见（Kleppe等人，2021年；Hägele等人，2020年）。

特别是语义分割近年来因其能够精确描绘图像内不同结构的能力而受到广泛关注（Xiong等人，2022年）。通过为单个像素或区域分配特定标签或类别，语义分割图提供了对不同组织成分的空间分布和范围的全面理解。这种强大的分析工具在包括肿瘤描绘（Lagree等人，2021年）、疾病分级（Eddardaa等人，2023年）和治疗反应评估（Bokhorst等人，2023年）在内的广泛医学成像任务中展示了有希望的应用。

乳腺癌小管为乳腺癌的肿瘤分级和预后提供了有价值的信息（Makki，2015年）。

同样，微囊性脂肪变性，特征是肝细胞内小脂滴的积累，是诊断和监测肝脏疾病所需的精确描绘的病理学特征（Tandra等人，2011年）。在前列腺癌腺体的情况下，其精确分割有助于确定肿瘤范围、评估侵袭性并指导治疗策略（Bukowy等人，2020年）。

然而，手动分割这些临床相关结构是一个耗时且劳动密集的过程，容易受到观察者内和观察者间变异性的影响。此外，病理学特征分割中的类别不平衡显著影响关键结构的精确描绘。

传统机器学习算法通常面临有效学习和分割少数类的挑战，因为它们固有地偏向多数类（Das等人，2022年）。因此，重要的疾病相关结构可能会被遗漏或欠分割，导致假阴性，并可能影响患者预后。进一步地，合成数据最近越来越多地被用于克服实际环境中注释医学数据的匮乏（Chen等人，2021年）。

在本文中，作者提出了一个新颖的基于GAN的图像合成框架PathopixGAN，专门设计用于提供对合成图像内容和结构的更精确的语义控制。此外，作者提出了语义分割方法PathoSeg，并在真实和真实+PathopixGAN生成的合成数据上训练时，展示了该方法在定量和定性方面优于其他高性能SOTA模型的优越性能。

作者还构建了一个内部数据集，该数据集对乳腺癌小管（BCT）、肝脏的微/大囊性脂肪变性（MSL）和前列腺癌腺体（PCG）进行了语义分割掩码标记，并将公开提供用于非商业和学术目的。作者将探讨在内部数据集上应用语义分割的现有方法、挑战和未来方向。

通过利用语义分割的力量，作者可以提高病理分析的效率、客观性和可重复性，最终改善患者的护理和管理。此外，作者将强调将这些先进的图像分析技术纳入对诊断准确性、治疗计划和患者结果的影响。

在本文的其余部分，作者将详细解释PathoSeg和PathopixGAN方法，然后举例说明在以下三个不同问题上使用掩码标记的新颖组织病理学数据集的情况：

（1）乳腺癌小管的分割

（2）肝脏微/大囊性脂肪变性的分割

（3）前列腺癌小管的分割

本研究的主要贡献如下

基于HRNet（Yu等人，2021年）编码器和UNet++（Zhou等人，2019年）解码器架构，集成了卷积块注意力模块（CBAM）（Woo等人，2018年）的先进分割模型。
一种新颖的GAN方法，用于在尝试解决数据不平衡并提高模型性能的同时，对多样化组织病理学环境的合成进行语义控制。
三个新的分割数据集，涉及以下结构：乳腺癌小管（BCT）、肝脏微/大囊性脂肪变性（MSL）和前列腺癌腺体（PCG）。这些数据集将公开用于研究目的。

1-1：分割

在组织病理学领域，分割工作已被应用于与DL相关的各种任务，包括：

监督式（Mercan等人，2017年；Sebai等人，2020年；Cui等人，2019年）
弱监督式（Li等人，2019年；Qu等人，2019年、2020年；Sebai等人，2020年）
无监督式（Sebai等人，2020年；Hou等人，2019b）
迁移学习方法（Srinidhi等人，2020年；Talo，2019年；Buddhavarapu等人，2020年）

对于监督式真实值（GT），Graham等人通过HoverNet引入了监督式回归（Graham等人，2019年），支持专门的分类和分割分支。对于细胞分割，Ozturk等人提出了一种深度卷积网络（DCNN）架构，该架构受到残差网络和反卷积网络架构方法的启发（Öztürk和Akdemir，2019年）。

在CNN网络特征提取的实用性基础上，Winkens等人（2018年）提出了一个对PatchCamelyon数据集进行评估的旋转不变卷积网络。Chan等人（2019年）利用HistoSegNet通过结合从大幻灯片中提取的补丁的激活图来进行WSI的分割推断。Hou等人复制了这种补丁级策略，部署了双自适应金字塔网络（DAPNet）来处理两个腺体分割数据集，这些数据集使用H&E和DAB-H染色（Hou等人，2019a）。Natarajan等人提出了LinkNET-34（Natarajan等人，2020年），通过预处理组织病理学图像后进行分割流程，用于乳腺癌细胞核分割。

对于弱监督问题，Silva-Rodríguez等人提出了WeGleNet，支持一个多类分割模块，跟随编码器网络。其他如WILDCAT（Durand等人，2017年）和Attention-MIL（Ilse等人，2018年）等架构提出了基于注意力的网络，使用适应层来构建数据集中每个类的分割图。

无监督工作也已贡献于文献中，主要是由于组织病理学数据在数量和质量上的限制。Xu等人提出了一种无监督的组织聚类级图割（TisCut）方法，用于分割肿瘤和非肿瘤组织区域，补充监督式深度学习模型的下游任务（Xu等人，2021a）。Rizwana等人提出了一种24层扩张语义分割网络（Di-CNN），该网络采用基于迁移学习的特征提取模块来分割乳腺病变图像（Irfan等人，2021年）。Kiran等人提出了DenseResUnet模型，通过在U-Net编码器的最后几层集成密集块，并使用残差连接的能力与Atrous块代替传统的跳跃连接（Kiran等人，2022年）。

Zhang等人提出了一种新颖的密集双任务网络（DDTNet），以同时实现组织病理学图像中TIL的自动检测和分割。该模型包括一个主干网络（即特征金字塔网络）用于提取TIL的多尺度形态特征，一个检测模块用于实现TIL中心的定位，以及一个分割模块用于描绘TIL边界（Zhang等人，2022年）。Razavi等人提出了一种名为MiNuGAN的新型cGAN架构，用于双重有丝分裂和核分割，这是对原始pix2pixHD cGAN架构的改编。该模型遵循编码器-解码器设置，使用ResNet块进行乳腺组织中有丝分裂检测的分割（Razavi等人，2022年）。

Zidan等人提出了一种名为Swin Transformer with Cascaded UPsampling（SwinCup）的新型变换器，用于结直肠癌图像的分割（Zidan等人，2023年）。Horst等人提出了一种基于变换器的解决方案，用于在苏木精-伊红（H&E）染色的组织图像中准确检测和分割细胞核（Hörst等人，2023年）。

1-2：数据增强和GAN合成

在当前文献中，组织病理学分析的数据增强涵盖了简单和图像合成技术。

几种几何增强技术可以列举如下：

图像块的翻转或旋转（Arvaniti等人，2018年）
像素强度值的增强/扰动（Tellez等人，2018年）
刚性变形（Karimi等人，2019年）
基于主成分分析（PCA）的强度抖动（Krizhevsky等人，2012年）
弹性变形和特征空间增强（Karimi等人，2019年）
直方图均衡化（Zimmerman等人，1988年；Angayarkanni，2022年）
增强对比度或亮度（Rao等人，2022年）
白平衡（Mikołajczyk和Grochowski，2018年）
锐化和模糊（Galdran等人，2017年）以及仿射变换的组合（Gour等人，2020年）

然而，最近的方法已从仅使用传统增强转变为更全面的生成对抗网络（GANs）（Creswell等人，2018年；Goodfellow等人，2020年）和变分自编码器（Hinton和Zemel，1994年），这些方法主要专注于图像生成，通过将潜在向量转换为高分辨率图像（Morrison等人，2021年）。

这些方法已在非医学领域用于高保真数据增强。随后的GAN方法探索了在语义细节和特定类别合成上灵活控制的新途径，其中Wang等人（2018年）提出了一种条件GAN方法，专门针对数据集中特别稀有的类别进行高保真图像合成。

Spade归一化GANs（Park等人，2019年）和Pix2Pix图像合成生成器（Isola等人，2017年）对条件GAN方法进行了显著升级，通过采用语义掩码作为合成数据生成的标签，引入了语义控制的新颖性。Wenyuan等人提出了一种多尺度条件GAN，用于生成高分辨率、大规模的组织病理学图像以及分割，该GAN结构由一系列负责在不同尺度上生成和分割图像的金字塔组成（Li等人，2022年）。

此外，Wang等人提出了一种风格引导的实例自适应归一化（SIAN）方法，用于合成包含不同器官的组织病理学图像的真实颜色分布和纹理（Wang等人，2022年）。Ottl等人展示了使用语义条件深度生成网络和扩散网络创建合成图像的方法，并将亚型平衡的合成图像与原始数据集相结合，以实现更好的分割性能（Öttl等人，2022年）。

二、材料和方法

本部分介绍了本研究中使用的数据集、PathoSeg分割架构的细节、Pathopix-Gan的讨论、完整的组织病理学分割流水线，以及用于该研究的方法的训练细节。

2-1：内部数据集

本研究包含三个不同的组织病理学环境的数据集：

乳腺癌小管（BCT）
肝脏微/大囊性脂肪变性（MSL）
前列腺癌腺体（PCG）

这些数据集由经过认证的病理学家和生物医学工程师进行像素级标注的真实值（GT）分割掩膜。

BCT数据集用于二进制类实例分割问题，专注于乳腺癌中异常小管区域的形成。

幻灯片使用PANNORAMIC® Flash DESK DX扫描仪在20×放大倍率下扫描，然后预处理成512 × 512的补丁。

数据集包括30,000个标注的补丁，其中分层训练队列包括25,000个图像，其中小管和背景区域的分布一致，共有24,997个小管补丁。

此外，分层测试队列包括5000个图像，其中包含4990个小管补丁。BCT实验的动机是为了确定由分割得到的补丁区域中覆盖小管区域的百分比。此类分析可以提供关于组织异常性的初步见解，这可能对后续的乳腺癌诊断非常重要。

MSL数据集是一个二进制类分割问题，包含951个标注的组织病理学图像。

这些补丁（512 × 512像素）是从使用Leica Aperio AT Turbo数字病理学扫描仪在200×放大倍率下扫描的全玻片图像（WSI）中获得的。

分层折叠用于创建一个包含800个图像的训练队列，其中包含761个含有脂肪肝（FL）细胞的补丁和39个没有FL实例的负样本。剩余的151个图像被保留为测试队列，其中包含137个含有FL的补丁和14个没有FL实例的补丁。

MSL实验的动机是为了分析肝脏组织中分割FL区域的百分比，以评估患者肝脏功能的异常程度。

PCG数据集呈现了一个多类问题，其中四个类别表示前列腺癌腺体的不同等级，这些等级在掩膜中用不同的颜色表示。

前列腺腺癌的组织学分级已经通过使用Gleason系统对腺体结构形状进行评分（1到5）进行了多年，该评分系统不考虑核和细胞质特征。该系统的分级结果与患者的预后直接相关，评分越高，预后越差。

确定分级的主要形态学标准是小管是否良好或不良形成，融合或筛孔状，缺乏腔隙，或不形成腺体结构（Epstein等人，2016年）。

在作者的PCG数据集中，作者包括了正常、Gleason分级3、4和5，分别用绿色、蓝色、黄色和红色的腺体掩膜在补丁中表示。数据集中的WSI使用PANNORAMIC® 250 Flash III DX扫描仪在170×放大倍率下扫描，并处理成512 × 512的补丁。数据集包括30,000个图像，存在严重的类别不平衡。

对于训练队列，作者选择了25,000个图像，并通过分层折叠确保了类别的分布一致，并严重考虑了类别不平衡。训练队列的类别分布如下：5041个补丁属于类别1（Gleason分级5），3982个补丁属于类别2（Gleason分级3），13,773个补丁属于类别3（正常），14,032个补丁属于类别4（Gleason分级4）。

同样，5000个图像被保留为分层测试队列，其类别分布如下：1156个补丁属于类别1，932个补丁属于类别2，3125个补丁属于类别3，3120个补丁属于类别4。

2-2：组织病理学分割流水线

组织病理学分割流水线是一个基于深度学习（DL）的监督方法，它使用真实数据集和PathopixGAN生成的合成数据来准确分割关键的组织学区域。

提出的分割流水线使用新颖的PathopixGAN数据增强，旨在实现对组织学图像生成的高度控制。

为了实现这一目标，PathopixGAN首先在真实图像及其对应掩膜上进行训练，以学习生成准确图像所需的重要数据分布，并随后用于增强分割的训练数据。为此，作者开发了一个独立的生成工作流程，使用受FastGan启发的（Liu等人，2020年）掩膜模块来合成具有不同组织形态学的掩膜。这些掩膜随后被用作PathopixGAN生成器的输入，以驱动图像合成并产生与真实数据相当的真实组织学图像。

总体而言，提出的分割流水线采用模块化设计，包含FastGan掩膜合成、PathopixGAN图像合成和PathoSeg分割的专用模块。FastGan掩膜生成提供了生成各种真实值（GT）掩膜的能力，这些掩膜可用于下游PathopixGAN图像生成。PathopixGAN模块受到GauGAN spade生成器（Park等人，2019年）的启发。

然而，重要的是要指出，GauGAN已经实现了对图像合成的语义控制，产生了更自然的图像。相比之下，提出的PathopixGAN专门针对组织病理学数据进行了定制。作者通过三个专门的数据集证明了这一点，其中作者证明了PathopixGAN在性能上优于GauGAN的实现。

在PathopixGAN架构中，作者对GauGAN SPADE残差块进行了修改，将其重命名为PathopixGAN残差块。现在它使用GELU而不是ReLU激活，因为它在零附近更平滑，在不同域中可微分。

它还使用比GauGAN更密集的网络的跳跃连接，在多个分辨率上进行。PathopixGAN利用多分辨率跳跃连接进行更一致和真实的图像生成，确保关键的组织学特征信息在准确生成图像时得到良好保留。

2-3：训练细节

分割流水线的训练策略包括两个阶段：

PathopixGAN生成器的训练
用于组织病理学分割的PathoSeg模型的训练

在PathopixGAN训练的实验1中，生成器在BCT和PCG数据集上训练了300k次迭代，批大小为64，而在MSL数据集上使用了32的批大小。一旦PathopixGAN训练完成，为每个数据集生成了5000个合成图像，这些图像对于二进制类的MSL和BCT以及多类PCG数据集保持平衡。

第二个步骤是训练分割模型，其中进行了两个进一步的实验，以巩固PathoSeg在组织病理学数据分割中的应用。在实验2中，从广泛范围的分割网络中选择了模型，这些网络包括基于CNN和Transformer的架构。这些模型与提出的PathoSeg进行了比较分析，以评估它们的分割性能。

使用了ImageNet（Deng等人，2009年）预训练权重来初始化分割架构的参数。使用了详尽的超参数设置进行分割模型的优化，搜索空间包括SGD、Adam、RMSProp、余弦退火、在平面上减少LR以及一组其他参数，包括增强、批大小和学习率，如补充材料中的表4所示。

在实验2之后，对每个数据集进行了实验3，以检验使用GAN生成的合成数据来改进分割网络的潜在益处。与实验2类似，通过表4中随机搜索真实和合成数据组合的队列，选择了最佳的参数设置。架构在真实+PathopixGAN合成数据上进行了微调，每个数据集生成了5000个图像。

三、PathopixGAN性能评估

PathopixGAN在合成数据生成方面的性能在二进制分割的BCT和MSL数据集以及多类分割的PCG数据集上进行了评估。

为此，作者对PathopixGAN和原始GauGAN（Park等人，2019年）的数据生成架构进行了比较分析，以证明所提出的PathopixGAN方法的优势。使用了一个掩膜合成模块，FastGans（Liu等人，2020年），来创建一组新的和不同的语义掩膜，这些掩膜类似于真实组织病理学掩膜的空间分布。

最重要的是，这种技术引入了在组织级和细胞级组织病理学环境中至关重要的差异，PathopixGAN可以复制这些差异。新的语义多样的GT掩膜被提供给PathopixGAN和GauGAN图像生成器，以评估它们从组织病理学数据中合成图像的能力。FastGans生成的GT掩膜及其对应的PathopixGAN合成的组织病理学图像的定性分析见图3。

图3展示了条件性PathopixGAN图像合成的定性结果

BCT数据集：PathopixGAN能够准确再现小管形成。
MSL数据集：成功合成了肝脏中的脂肪细胞，几乎所有的脂肪滴都可以被掩模覆盖，但一些小直径的微泡可能偶尔无法被完全掩模。

作者提供了PathopixGAN相对于GauGAN（Park等人，2019年）在FID和Inception得分方面的定量证据。如表1所示，PathopixGAN在BCT、MSL和PCG数据集上分别实现了15.50、17.18和23.61的FID得分，分别比GauGAN（Park等人，2019年）高出3%、2%和5%。

同样，PathopixGAN的Inception得分分别为16.61、18.12和25.18，比GauGAN（Park等人，2019年）高出4%、3%和6%。

从技术角度来看，PathopixGAN架构在多个分辨率上拥有更密集的跳跃连接，这使得模型能够更好地整合图像构建中的低级细胞和组织特征。

此外，PathopixGAN残差块与GauGAN（Park等人，2019年）中使用的原始SPADE残差块不同，用GELU激活层替换了ReLU。这主要是由于两种激活之间固有的某些差异。GELU在正域内的非凸、非单调和非线性性质使其更适合确保复杂问题（如组织病理学数据）中的非线性，相比之下，单调、线性和凸的ReLU函数（Hendrycks和Gimpel，2016年）则不然。

合成BCT图像中显示的间质和上皮成分以及组织结构与真实数据集无法区分。微/大囊性脂肪变性在合成图像中看起来与真实数据相似，且组织环境纹理相似。此外，PCG的合成图像在显示上皮和管状结构方面与真实的前列腺图像无法区分，展示了高质量的图像合成。

四、讨论

在传统的组织病理学工作流程中，涉及对组织切片感兴趣区域的 manual 评估和分析。

这一步骤既耗时又高度主观，因为对于一个病例，会有多个诊断意见和观点。此外，癌症的后续治疗严重依赖于病理学家的诊断输入，这可能导致不同的潜在治疗决策。

观察者间和观察者内的变异性因缺乏足够的训练数据来训练面向数据的学习深度学习（DL）架构而加剧，这使得AI方法在作为诊断工具的潜力方面处于不利地位。

即使有数据可用，将其由专家注释也是一项成本高昂的挑战。组织病理学数据集中的数据分布不平衡是另一个阻碍开发高度有效的DL方法用于实际临床诊断工具的问题。

在本研究中，作者提出了一种全面且稳健的分割流水线，包括SOTA HRNet编码器和UNet++解码器的配置以及技术改进，以及一种新颖的数据增强方法，即PathopixGAN生成器用于合成数据。

这种机制不仅提供了解决组织病理学分析中与数据相关问题的潜力，而且还为病理学家提供了一个自动化的诊断工具，加速了传统工作流程。重要的是，新颖的PathopixGAN提供了一种语义控制高分辨率组织病理学图像合成的方法，以避免数据可用性和不平衡问题。

此外，将PathopixGAN应用于三个不同的复杂组织病理学数据集，展示了PathopixGAN生成器的可扩展性，该生成器具有学习并有效生成不同组织和细胞微环境数据分布的潜力。这种新颖性为训练DL方法创建更全面和平衡的数据奠定了基础。

此外，在本工作中部署的新的PathoSeg分割架构证明了这一点。用于训练的新颖HRNet编码器和UNet++解码器配置不仅显示了在真实世界数据上的出色泛化能力，而且在使用PathopixGAN生成的合成数据进行微调时也显示了改进的潜力。这些结果展示了PathoSeg和PathopixGAN相结合作为创建更稳健的临床使用的模型的潜力。

作为一个改进和未来的方向，可以考虑将伪标签（Wu和Prasad，2017年）和软教师（Xu等人，2021年）方法作为自监督数据技术，以补充PathopixGAN的合成数据生成，用于在更平衡和全面的组织病理学数据集上训练复杂的架构。

可以使用这些算法的特征学习能力对大型数据集进行标注，而无需进行劳动密集型且不准确的人为注释。此外，与监督生成网络相比，使用自监督数据增强进行更长的训练周期和更大的批量大小可以导致更高质量的知识表示（Chen等人，2020年；He等人，2020年）。

这种机制可以帮助使用未标注的数据集训练DL SOTA分割和分类架构，而无需经过手动注释补丁的严格且昂贵的流程。然而，与少数示例生成技术相比，自监督算法在对比学习方面存在一些局限性。自监督算法通常需要大量负例来学习更好的图像表示。

这在工作不平衡的组织病理学数据集时可能是一个重大限制，因为具有较少标签的类为对比自监督模型提供的初始数据较少。此外，选择最适合自监督特征学习的数据增强可能存在重大困难，因为自监督技术的目的是通过最小化正对增强样本之间的距离来学习特征表示。

与少数示例生成技术相比，自监督算法需要更多的训练周期和更大的批量大小，这结合了少数示例，尽管存在上述挑战，这一潜在路径可以为不同组织病理学环境中的SOTA DL架构提供更好的预训练。这可能导致DL架构在不同的设备类型、组织病理学协议和代表不同病理数据流的多样化的患者人群中的泛化能力增加。