人工智能在数字病理切片虚拟染色以及染色标准化领域的研究进展

小罗碎碎念

本期推文主题：人工智能在数字病理切片虚拟染色以及染色标准化领域的研究进展

这一期的推文是我发自内心觉得为数不多，特别宝贵的一篇推文，原因很简单——可参考的文献相对较少&方向非常具有研究意义&现在不卷。

数字病理方向的老师/同学应该清楚，不同中心提供的切片，染色方案是存在差异的，并且还存在各种质量问题，所以我们在数据预处理的时候，通常会先对切片的质量执行一遍筛选，然后再进行染色标准化。

今天推文介绍的主题是在染色标准化的基础上再进一步衍生出的内容——虚拟染色，直接从源头解决不同中心存在的染色差异，为增强模型的泛化性又增添了一丝可能。

另外，第五篇文献还提到了生成伪切片改善罕见病数据量小的情况，我暂时还没有想明白这之中的道理，没有做实验前无法确定这些伪切片能否改善模型，后续我会继续出推文盘这一系列问题。

好，我是罗小罗同学，明天见！！

一、高光谱自荧光显微镜+AI，打造病理切片虚拟染色的端到端平台

文献概述

这篇文章介绍了一种用于数字病理学的端到端平台，该平台利用高光谱自荧光显微镜和基于深度学习的虚拟组织学染色技术。

研究团队开发了一种定制的高光谱显微镜，用于无损成像未染色组织切片的自荧光。然后，他们训练了一个深度学习模型，使用自荧光生成虚拟的组织学染色，避免了化学染色过程的成本和变异性，并保留了组织样本。

通过随机非酒精性脂肪性肝炎（NASH）评分比较研究，展示了虚拟图像在重现真实染色图像中的组织学特征方面具有中等到良好的一致性。此外，研究者还开发了基于深度学习的模型，用于自动化NASH临床研究网络（NASH CRN）评分预测。

研究表明，这种自动化的病理学平台在NASH CRN评分方面与病理学家相当，尤其是在与专家病理学家共识评分进行评估时。这项研究为虚拟染色策略提供了概念验证，该策略可能提高病理学的成本效益、效率和可靠性，并为空间生物学研究提供新方法。

文章还详细描述了高光谱显微镜的构建和使用，以及虚拟染色模型的训练和评估过程。通过对NASH组织样本的评估，研究者证明了平台的有效性，并与其他成像技术进行了比较。此外，还包括了自动化NASH特征分割和自动化NASH CRN评分的AI模型的开发和测试，以及人类专家使用NASH CRN评分对虚拟染色和真实染色图像进行比较研究的结果。

重点关注

Figure 1 描述了一个自动化的数字病理工作流程，该流程模仿了当前病理学工作流程的步骤，并通过虚拟染色和人工智能（AI）评分来实现。

具体来说，这个流程包括以下几个关键部分：

a) 自动化工作流程：展示了一个集成了虚拟染色和AI评分的自动化流程，这个流程旨在模拟传统病理学的工作流程。这表明了该技术有潜力整合到现有的医疗实践中，提高效率和准确性。

b) 虚拟染色流程：介绍了虚拟染色管道，它使用定制的高光谱显微镜对未染色的组织样本进行成像。这种成像技术利用了组织自身的自荧光特性，不需要使用化学染色剂。深度学习虚拟染色模型接收自荧光（AF）图像作为输入，并生成经过训练以模拟真实化学染色组织样本外观的染色图像。这种方法避免了传统化学染色带来的成本和样本不可逆的改变。

c) AI评分模型：AI评分模型使用明场（BF）图像，这些图像可以是化学染色或虚拟染色的组织样本。这些模型的目的是评估NASH特征的存在与否，并估算NASH CRN评分。这显示了AI技术在病理诊断中的潜力，可以辅助病理学家进行更快速和客观的评分。

总的来说，Figure 1 强调了该研究如何将先进的成像技术和深度学习算法结合起来，创建一个能够减少对化学染色的依赖、提高病理诊断效率和准确性的系统。通过这种方式，研究者们希望能够改善病理学的成本效益、效率和可靠性，并为空间生物学研究提供新的方法。

二、为制药研究设计的全数字化人工智能（AI）增强型非临床病理实验室

文献概述

这篇文章描述了一个为制药研究设计的全数字化人工智能（AI）增强型非临床病理实验室的路线图。

这个实验室跨越三大洲，其设计基于良好实验室规范（GLP）验证的实验室信息管理系统（LIMS）、全切片扫描仪（WSS）、图像管理系统（IMS）以及为非临床病理学家设计的数字显微镜。

数字诊断得到包括基于AI的虚拟染色和基于深度学习的决策支持工具的支持。在COVID-19大流行期间实施的初始数字化工作流程，大大减少了对支持制药临床测试所需的关键非临床研究的干扰。作者相信，这种非临床病理实验室的数字化转型将促进未来的效率和创新，并提高药物开发决策的质量和速度。

文章的背景部分指出，非临床病理实验室（NPLs）是制药研究和开发（R&D）不可或缺的一部分。这些实验室由转化医学专家组成，包括兽医病理学家、分子生物学家、组织学家和其他专家，他们在药物开发的关键时刻能够提供数据支持，这些数据在早期（目标验证和领先优化）和后期（药物安全评估）阶段至关重要。这些实验室的科学贡献被嵌入到制药公司的关键监管文件中，包括支持临床测试和注册的申请。

文章详细讨论了作者所在公司从2010年开始制定的路线图，以及如何实施以支持科学和运营创新、研究全球化和制药外包、3Rs（替代、减少和改进）、监管合规以及招募和留住人才的挑战。作者认为，NPLs的数字化转型将在未来促进效率和创新，并提高药物开发决策的质量和速度。

文章还介绍了GLP验证的数字显微镜的建设、AI增强的数字工作流程、虚拟染色、WSI质量控制和诊断决策支持等技术的发展和应用。最后，文章总结了数字病理学革命为非临床病理学带来的新机遇，这些机遇将对未来的效率、质量和创新产生长远的影响。作

者预见到未来可能会用一种通用的WSI数字成像和通信医学（DICOM）格式取代整个化学和玻璃切片工作流程，这种格式可以利用AI来驱动数百万数据点的多模态查询，以支持系统生物学、毒理学和转化医学，达到十年前难以想象的复杂性水平。

重点关注

FIGURE 2 展示了为非临床病理实验室（NPL）构建的虚拟染色工作流程。

以下是对这一流程的分析：

未染色组织切片扫描：以大脑为例，首先将未经过染色处理的组织切片进行扫描，以捕获其自发荧光（autofluorescence）特征。
转换为虚拟染色图像：扫描得到的自发荧光图像被转换成虚拟的苏木精-伊红（H&E）染色图像。苏木精-伊红染色是一种常见的组织学染色技术，用于区分细胞和组织的形态特征。
上传至数字查看器：转换后的虚拟H&E图像被上传到数字查看器中，供病理学家进行分析。
病理学家的选项：病理学家可以选择进行反射测试（例如，本例中用于检测神经退行性变的Fluoro-Jade B染色）。

这个流程的关键在于使用先进的成像技术和AI算法，将未染色的组织切片转换成具有诊断价值的虚拟染色图像，从而减少了传统化学染色的需求，提高了效率，并且可能提供更多的灵活性和科学洞见。

通过这种方式，病理学家可以更快速地进行诊断，同时减少实验室中化学物质的使用，提高工作环境的安全性。此外，这种方法还可以为病理学家提供在同一组织切片上生成多种虚拟染色的能力，增加了科学研究的灵活性。

三、基于AI的组织学数字化染色模型，用于分析肺癌肿瘤微环境

文献概述

这篇文章描述了一种基于深度学习的计算模型——组织学数字化染色（Histology-based Digital, HD-Staining），用于分析肺癌肿瘤微环境（Tumor Microenvironment, TME）。

HD-Staining能够从标准的Hematoxylin和Eosin（H&E）染色病理图像中自动分割和分类肿瘤细胞、基质细胞、淋巴细胞、巨噬细胞、核碎裂和红细胞的细胞核。

研究团队利用这个工具识别和分类了细胞核，并提取了48个与细胞空间组织相关的特征来描述TME。这些特征被用来开发了一个预后模型，该模型基于国家肺癌筛查试验（National Lung Screening Trial, NLST）数据集开发，并在癌症基因组图谱（The Cancer Genome Atlas, TCGA）肺腺癌（Lung Adenocarcinoma, LUAD）数据集中独立验证。预测的高风险组在生存率上显著低于低风险组，并且与临床变量调整后的预后风险比为2.23 [1.37-3.65]。

此外，图像派生的TME特征与生物学途径的基因表达显著相关。例如，T细胞受体（TCR）和程序性细胞死亡蛋白1（PD1）途径的转录激活与肿瘤组织中检测到的淋巴细胞密度呈正相关，而细胞外基质组织的表达与基质细胞密度呈正相关。

研究还开发了一个用户友好的网络门户，以促进HD-Staining模型的使用，并可以访问于http://lce.biohpc.swmed.edu/maskrcnn/analysis.php。虽然这个工具是为肺腺癌病理图像开发的，但研究结果表明，HD-Staining方法也可以适应并应用于头颈癌、乳腺癌和肺鳞状细胞癌的病理图像数据集。

这里小罗做一个测试，给你展示一下效果。

文章强调了HD-Staining模型的自动化、客观性，以及它在全切片图像中的应用潜力，包括小活检样本。与传统的基于颜色分解的核分割算法不同，HD-Staining可以同时进行核分割和细胞类型分类。此外，该方法通过在训练过程中使用广泛的颜色增强，适应不同的染色条件，从而提高了算法的鲁棒性，并且避免了耗时的颜色标准化步骤。

与依赖手工特征提取的传统统计方法相比，基于深度学习的方法不需要手工特征提取，可以高度并行处理，节省时间。HD-Staining作为一个实例分割算法，首先检测对象的边界框，然后在边界框内将像素分类为前景或背景，这与传统的语义图像分割神经网络（如FCN、SegNet和Deeplab）有所不同。

最后，文章讨论了HD-Staining模型的局限性，并提出了未来改进的方向，包括考虑个别细胞核的信息、特殊结构的识别，以及代表整个肿瘤异质性的多个幻灯片的收集和分析。

重点关注

Figure 1 在文章中提供了病理图像分析流程的流程图，该流程使用了一种名为 Mask Regional-Convolutional Neural Network（Mask R-CNN）的深度学习模型。

Mask R-CNN 是一种用于实例分割的卷积神经网络，它能够同时进行目标检测和目标的像素级掩码分割。

输入图像：选择并输入待分析的病理图像，这些图像通常是H&E染色的肺腺癌组织切片。
使用 Mask R-CNN：将输入的病理图像通过 Mask R-CNN 模型进行处理。该模型能够识别和分割图像中的不同细胞类型的细胞核。
细胞核分割：模型识别图像中的细胞核，并将它们从背景中分割出来。
细胞类型分类：模型进一步将分割出的细胞核分类为不同的细胞类型，如肿瘤细胞、基质细胞、淋巴细胞、巨噬细胞、红细胞和核碎裂。
特征提取：基于分割和分类的结果，提取描述细胞空间组织的特征，这些特征可能包括细胞密度、细胞间连接的数量和类型等。
特征分析：使用提取的特征来分析肿瘤微环境（TME），并探索它们与患者生存结果和基因表达之间的关系。

这个流程展示了如何利用深度学习技术自动化地从病理图像中提取有用信息，为癌症研究和临床诊断提供支持。

四、病理诊断中先进成像工具的现状

文献概述

这篇文章是一篇综述，讨论了病理诊断中先进成像工具的现状，特别是那些可能改进和加速组织病理学流程的新兴技术。

组织病理学传统上依赖于百年历史的工作流程，包括甲醛固定、石蜡包埋、切片和在玻片上染色。尽管这一过程稳健，但它缓慢、劳动密集，并且仅限于提供二维视图。

文章强调了一些新兴技术，它们有望改善和加速组织病理学：

无片显微镜（Slide-free Microscopy）：允许快速成像新鲜、未切片的标本，克服了玻片制备的延迟。这类技术包括共焦显微镜、多光子显微镜以及使用UV表面激发和模仿荧光的明场成像等。
多组学分析技术（Multiomics Profiling Techniques）：如成像质谱和拉曼光谱，提供了高度多重化的组织分子图谱，尽管其临床转化仍然具有挑战性。
人工智能（Artificial Intelligence, AI）：通过虚拟染色帮助采用新的成像方式，将无片显微镜等方法转换成合成的明场样图像，甚至是分子信息图像。

文章还讨论了这些技术可能对病理学工作流程的影响，包括加速和增强组织病理学流程，并可能提供新的对比信号，从而提供额外的有用信息。尽管这些技术尚未普及，但它们展示了现代化组织病理学的潜力。AI辅助的工作流程将有助于过渡到新的成像方式。经过进一步验证，这些进步可能会改变传统的百年组织病理学流程，更好地服务于21世纪的医学。

文章最后提供了对这些技术平台的概述，讨论了它们对病理学未来可能产生的影响.

重点关注

Figure 1 展示了两个部分，每部分都与受激拉曼光谱（SRS）显微镜技术的设置和应用有关：

(A) SRS显微镜的仪器设置：这部分展示了用于执行SRS显微镜检查所需的设备布局。SRS是一种非线性拉曼散射技术，它可以提供关于生物组织分子振动状态的信息。这种技术特别适用于在无标记的情况下对组织进行化学成像，因为它能够根据分子的内在化学特征区分不同的生物分子，如蛋白质和脂质。SRS显微镜的仪器包括激光源、光谱仪、显微镜和用于收集和分析信号的探测器。这些设备共同工作，以产生高分辨率的组织图像，这些图像可以揭示组织结构和化学成分的细节。

(B) SRS成像与传统H&E染色的比较：这部分展示了使用SRS技术成像的切除的复发性低级别少突胶质细胞瘤（oligodendroglioma）标本的图像，并将其与标准的H&E染色进行了比较。H&E染色是一种常用的组织学染色方法，通过使用苏木精（Hematoxylin）染核和伊红（Eosin）染胞质，产生细胞和组织结构的对比。SRS成像使用伪彩色来增强图像的可视化效果，可能显示了与H&E染色不同的组织特征，突出了SRS在化学特异性成像方面的优势。通过这种比较，可以展示SRS技术在病理诊断中的潜力，尤其是在快速、无需染色的组织评估方面。

SRS技术的应用可以为病理学家提供快速、准确的诊断工具，特别是在需要即时评估手术标本边缘或进行术中诊断时。此外，SRS成像的无标记特性减少了样品制备的复杂性和成本，同时可能提供额外的化学信息，有助于更深入地理解组织病理学特征。

五、生成对抗网络（GANs）在数字病理学中的应用

文献概述

这篇文章是关于生成对抗网络（GANs）在数字病理学中应用的综述文章。

文章首先介绍了数字病理学的重要性，以及如何通过高分辨率的全切片图像（WSI）扫描仪实现组织切片的数字化。接着，文章讨论了人工智能（AI）在提高诊断准确性和减少病理学家工作负担方面的潜力，同时指出了当前AI模型在泛化能力、透明度和适当保护措施方面的局限性。

文章重点介绍了生成对抗网络（GANs）在图像合成领域的应用，特别是在计算机视觉中。GANs由一个生成模型和一个判别模型组成，通过对抗性训练生成逼真和新颖的数据。在数字病理学中，GANs可以用于生成罕见疾病的图像，辅助学习，并作为可视化工具。此外，GANs能够利用大量未标记的医学图像，这些图像在数量上众多、尺寸大，且手动注释具有挑战性。

文章还探讨了GANs在数字病理学中的多种应用，包括图像增强（如颜色/染色标准化、虚拟染色和墨水/标记去除）、图像合成/增强、虚拟染色和图像质量提升等。同时，文章也强调了与使用技术相关的伦理问题，如依赖合成或伪生成图像所带来的问题。

最后，文章讨论了当前GANs技术的局限性和未来发展的方向，包括数据质量评估、偏见处理、隐私保护、确保问责和透明度以及制定规章制度，以确保GANs的伦理应用。文章总结指出，尽管GANs在特定和狭窄的任务（预处理增强）中展现出巨大潜力，但在更广泛的任务中是否可靠和可行仍不明确。通过积极解决这些限制和伦理问题，GANs可能改善数字病理学中的特定用例。

重点关注

Figure 1 在文章中提供了一个简化的 GAN 模型概述，解释了 GAN 是如何运作的，并且展示了它们如何用于图像合成，特别是用于扩展有限的训练数据集，例如宫颈上皮内瘤变（CIN）的数字病理学图像。

以下是对图表的分析：

传统深度学习分类模型（A）：这些模型通常需要大量的训练数据集，有时被称为“大数据”，但并非所有类型的肿瘤都能提供足够的数据。
深度卷积神经网络（CNNs）：这些网络用于产生预测，可以用于图像分类或图像分割任务。
GAN 的补充作用：由于某些情况下难以获取大量数据，GAN 通过生成额外的合成数据来补充训练数据，从而克服了小样本量的限制。
GAN 的运作过程：
- 生成器（Generator）：使用随机噪声来创建合成图像。
- 判别器（Discriminator）：接收真实训练数据集的图像和生成器创建的合成图像，然后预测图像是真实的还是合成的。
训练过程：
- 如果判别器判断图像为真实图像，则停止训练，认为网络已经完全优化，不需要进一步训练。
- 如果判别器判断图像为合成图像，则模型会向生成器提供反馈，以便继续优化模型。
图像合成示例：在这个例子中，使用 GAN 模型进行图像合成，以扩展 CIN 的原始有限训练数据集。判别器尝试区分真实的 CIN 图像补丁和生成器派生的合成/假图像。
训练结果：随着训练的进行，生成的图像变得与真实图像无法区分，判别器无法区分真实训练数据图像或生成的伪现实图像。
条件 GAN 模型：在本例中，使用的是条件 GAN 模型，其分类准确率达到了 72%。

总结来说，Figure 1 展示了 GAN 如何通过生成合成数据来增强有限的训练数据集，并通过判别器的反馈不断优化生成器，直到生成的图像质量足够高，以至于无法与真实图像区分开来。这种技术在医学图像分析中尤其有用，因为它可以帮助提高对罕见疾病或小样本数据集的诊断准确性。

六、深度学习在虚拟染色技术中应用于组织学研究的综述

文献概述

这篇文章是关于深度学习在虚拟染色技术中应用于组织学研究的综述。

组织学是分析生物组织结构的基础方法，在病理学和生物医学研究中扮演着关键角色。传统的组织学工作流程依赖于化学染色，这不仅消耗大量化学物质、水资源，而且耗时。深度学习技术的发展为组织学染色过程提供了数字化替代方案，这种技术被称为虚拟染色。虚拟染色通过训练神经网络从未染色的组织图像生成染色图像，或者从一个染色转移到另一个染色。

文章强调了虚拟染色的潜力，它可以提供更可持续、快速和成本效益高的组织学分析流程。它还允许从单个组织切片的图像生成多个染色图像的输出，从而实现虚拟多重分析和单细胞分辨率，这些在传统组织学评估中通常需要单独的组织切片。

然而，虚拟染色模型的开发仍处于早期阶段，需要大量的训练数据和严格的计算及组织学验证。文章还讨论了传统和虚拟组织学染色的基本概念，包括一般形态学染色、特殊化学染色和免疫染色。此外，还介绍了虚拟染色的计算方法，包括监督学习和无监督学习，以及用于虚拟染色的不同成像技术。

文章还讨论了虚拟染色在实际应用中的考虑因素，包括训练模型的成本、使用未标记组织的化学节省选项、以及如何评估虚拟染色的性能。评估虚拟染色的成功需要计算和组织学对模型性能的评估，包括像素级图像相似度的定量评估和组织学专家的目视检查。

最后，文章探讨了虚拟染色在组织学中的当前状态，特别是在替代化学染色方面。虽然最常见的化学染色（如H&E染色）已经被广泛研究，但更专业的染色可能揭示了未染色源图像中不包含的组织结构信息。文章还提出了一些未解决的问题，包括模型性能的要求、成像要求、可虚拟化的化学染色和抗体染色、定量评估指标，以及如何标准化模型建设和评估。