Nature Communications|基于深度学习的HE染色组织向特殊染色的转换

工作速览

病理学是通过视觉检查组织切片来进行的，这些切片通常用组织化学染色法染色。虽然苏木精和伊红（H&E）染色最为常用，但特殊染色可以为不同的组织成分提供额外的对比度。

**在这里，作者展示了从H&E染色到特殊染色（马松三色染色、周期性酸-希夫染色和琼斯银染色）的监督学习计算转换在肾穿刺活检组织切片上的应用效果。**根据三位肾脏病理学家的评估，并由第四位病理学家进行仲裁，表明从现有的H&E图像生成虚拟特殊染色可以改善从58个独特样本中采集的几种非肿瘤性肾脏疾病的诊断（P=0.0095）。

**第二项研究发现，计算生成的特殊染色质量与组织化学染色的质量在统计上是等效的。**这种染色转换框架可以在需要额外特殊染色时提高初步诊断的准确性，并且还能大幅节省时间和成本。

前世今生

**对染色人体组织样本进行组织学分析是评估许多疾病的标准方法，因为任何病理评估的基础都是使用显微镜或通过整片扫描仪（Whole Slide Imaging, WSI）获取数字化图像后检查固定在玻璃载玻片上的组织学染色组织。**组织学染色步骤是病理工作流程的关键部分，它通过促进不同组织成分之间的色彩区分来提供对比度和颜色。最常见的染色方法（也称为常规染色）是苏木精和伊红（H&E）染色，它几乎应用于所有临床案例，约占全球所有人类组织染色的80％。H&E染色相对容易操作，在整个行业中广泛使用。除了H&E外，病理学家还会使用具有不同特性的其他组织学染色方法来更好地突出不同的组织成分。这些非H&E染色也被称为特殊染色，在某些疾病的病理评估中是护理标准的一部分，包括非肿瘤性肾、肝和肺疾病等。

**传统的组织病理学工作流程可能耗时长、成本高并且需要实验室基础设施。**组织首先需要从患者身上取样，通过在最佳切割温度（OCT）化合物中冷冻或石蜡包埋进行固定，切成薄（2至10微米）的部分，并安装在玻璃载玻片上。只有这样，这些切片才能使用所需的化学染色程序进行染色。此外，如果需要多种染色，则需要切割多个组织切片，并且每种染色都需要单独的操作过程。尽管H&E染色使用了简化的工作流程，但特殊染色通常需要更多的时间准备、努力以及由组织技术员监控，这增加了程序的成本并延长了生产时间。这反过来又增加了诊断时间，特别是在病理学家确定需要这些额外的特殊染色之后，对H&E染色组织进行了检查。因此，可能需要为每种特殊染色重复组织切片和染色过程，这在资源和材料方面是浪费的，并且如果急需诊断的话，可能会给医疗系统和患者带来负担。

**认识到这些局限性，人们开发了不同的方法来改进组织病理学工作流程。**组织学染色已经通过非线性显微镜或紫外线组织表面激发等方式获取替代的对比机制来重现快速标记的组织切片（通常使用核染色剂），并通过数字转换捕获的图像成用户校准的类似H&E的图像。这些方法主要集中在消除工作流程中的组织固定，目标是在无固定样本上实现快速的术中对比。最近，已开发出被称为虚拟染色的计算染色技术。利用深度学习，虚拟染色已被应用于各种模式下未染色（即无标签）的固定并在玻片上固定的组织切片，如自体荧光、高光谱成像、定量相位成像及其他方法。未标记组织的虚拟染色不仅能够降低成本并允许更快地染色，而且还允许用户在避免因进一步的分割和染色过程导致样本耗尽的情况下对组织进行更高级的分析，这可能导致需要对患者进行额外不必要的活检。此外，未标记组织的虚拟染色还使得新的功能成为可能，例如在单个组织切片上使用多种虚拟染色，染色标准化（即标准化），特定感兴趣区域的多种染色的数字融合，这些都是传统组织化学染色工作流程难以或非常不实际实现的。

**另一种可以用来绕过组织学染色的方法是计算转换已经染色组织的WSI成另一种染色（这将被称为染色转换）。**这允许用户在不改变其传统组织病理学工作流程的情况下减少所需的实际染色数量，并且还具有与虚拟染色技术类似的许多优点，如改善染色的一致性和减少染色准备时间。文献中已经演示了不同的染色转换，例如H&E到MT的转换或从Ki67-CD8染色切片图像转换成纤维激活蛋白-细胞角蛋白（FAP-CK）双免疫组化（IHC）协议。染色转换也被用作提高图像分割算法效果的工具。然而，许多这些染色转换技术依赖于使用分布匹配损失的无监督方法，这些方法如循环一致的生成对抗网络（CycleGANs）所使用的。研究表明，当应用于医学成像时，仅使用这些类型分布匹配损失训练的神经网络容易产生幻觉。一些研究人员通过训练网络执行其他染色转换而避免了使用这些分布匹配损失和未配对的图像数据。例如，一个染色转换网络是使用从相邻组织切片获得的图像对训练的，而另一项工作则是使用通过化学去染色然后重新染色相同组织切片捕捉到的图像对。

**在本文中，作者介绍了一种基于监督式深度学习的染色转换框架，如图1所示。该技术的训练基于空间配准（即完美配对）的图像数据集，从而使染色转换网络能够在不依赖于未配对图像数据及其相应的分布匹配损失的情况下进行训练。**通过对患有各种非肿瘤性疾病的肾脏组织的评估来展示这项技术的有效性。非肿瘤性肾病依赖于特殊染色来提供护理标准的病理评估。在许多临床实践中，H&E染色通常在特殊染色准备之前就已经可用，病理学家可能会提供初步诊断，以便患者的肾科医生开始必要的治疗。在只有H&E切片最初可用的情况下，初步诊断将跟随通过检查特殊染色图像做出的最终诊断，而这些图像通常在下一个工作日提供。使用本文所述的染色转换技术（见图1）将无需等待特殊染色的可用性。这对于某些紧急的医疗状况尤其有用，如新月体型肾小球肾炎或移植排斥反应，在这些情况下，迅速准确的诊断并快速开始治疗可能会显著改善临床结果。

匠心独运

由于促炎巨噬细胞向抗炎巨噬细胞的复极化受损，传统的骨组织工程材料难以在糖尿病期间恢复生理性骨重塑。

**图1：基于深度学习的H&E染色转换为特殊染色的概述。**使用深度神经网络将H&E的组织化学染色数字转换为特殊染色：(i) 生成JMS（紫色箭头）；(ii) 生成MT（红色箭头）；(iii) 生成PAS（蓝色箭头）。

卓越性能

**图2：用于生成染色转换网络训练数据的深度神经网络。**a 虚拟染色网络（粉色箭头），它可以生成H&E和特殊染色图像。b 风格迁移网络（绿色箭头），仅用于增强训练数据。c 用于训练染色转换网络的方案。在其训练过程中，染色转换网络随机接收作为输入的虚拟染色的H&E组织图像，或者经过八个风格迁移网络之一处理后的同一视野的图像。一个完美匹配的目标特殊染色（在此示例中显示为PAS）的虚拟染色组织图像作为地面实况用于训练这个神经网络。

**图3：研究设计概览。**第一阶段展示了研究的初始部分，三位病理学家审查了N=58个不同组织切片（每个来自不同的患者）的H&E全切片图像（WSIs）。在超过3周的洗脱期后，进行诊断的第二阶段，三位病理学家再次查看相同的WSIs，这次除了H&E之外，还提供了通过染色转换技术生成的特殊染色图像（PAS，Masson’s Trichrome，Jones）。在额外的超过3周的洗脱期之后，进行诊断的第三阶段，三位病理学家再次审查相同的WSIs。在这个阶段，不是使用通过染色转换技术生成的特殊染色，而是所有四种染色（H&E，PAS，Masson’s Trichrome，和Jones）的图像都来自组织化学染色的连续切片。（i）生成JMS。（注：这里可能是指Jones银染，但是直接出现了JMS，这可能是原文的一个错误或者是对某种特定染色方法的简称，在此直接翻译为JMS）。（ii）生成MT。（iii）生成PAS。

**图4：按病例号可视化两次比较中的改进、一致性及不一致性。**a H&E仅与来自同一组织切片的H&E和三种经染色转换的特殊染色的比较。使用三种经染色转换的特殊染色相较于仅使用H&E有统计学上的显著改进（P = 0.0095）。b H&E仅与来自连续组织切片的H&E和三种特殊染色（全部为组织化学染色）的比较。使用三种组织化学染色的特殊染色相较于仅使用H&E有统计学上的显著改进（P = 0.0003）。P值是使用单侧t检验计算得出的。无需对多重比较进行调整。

在这里插入图片描述