国自然联合项目｜影像组学智能分析理论与关键技术

国自然联合项目｜影像组学智能分析理论与关键技术｜基金申请·24-12-25

小罗碎碎念

该项目为国自然联合基金项目，执行年限为2019年1月至2022年12月，直接费用为204万元。

项目研究内容包括影像组学分析、智能计算、医疗风险评估等，旨在通过模拟医生诊断过程，推动人工智能在医疗领域的创新。

项目取得了一系列成果，包括在多模态影像配准分割、高通量特征提取、小样本迁移学习医疗影像分析等方面的算法研究，以及在医疗风险评估和前列腺肿瘤影像动态可视化平台构建的应用研究。项目组在国内外重要学术刊物和会议上发表了49篇学术论文，申请了30项国家发明专利，并培养了59名硕士和博士研究生。

可复制版本的pdf请见知识星球【基金申请】专栏

在成果转化方面，项目研发的前列腺肿瘤影像可视化系统已在多家医院得到应用，提高了医学影像分析的智能性和自主性。最后，文件还包含了项目的详细研究成果目录，包括期刊论文、会议论文、专利、软件著作权和科研奖励等，以及项目的经费决算表和决算说明书，详细记录了项目的预算执行情况和资金使用情况。

一、项目摘要

随着人工智能及健康中国两大国家战略的深入开展，基于医学影像组学的人工智能技术研发越来越受到学界与业界的重视。

本项目通过对影像组学分析中的数据多模态、不平衡、小样本及黑盒子等难点，开展了一系列研究。

首先，针对数据的多模态，提出了一系列新的特征融合与强化学习算法，如基于结构张量结合特征驱动的多模图像配准、融合语义的卷积循环神经网络等，有效提升了模型的计算准确性与分析稳定性。其次，针对数据的不平衡及小样本问题，开展了迁移学习医疗影像分析研究，包括基于域适应的迁移学习算法、基于局部特征保持的模型等，有效提高了不平衡及小样本下的分析效果。最后，开展了高通量特征提取和医疗风险评估研究，提出了一系列高通量特征提取算法，包括基于稀疏公共特征表示的不平衡样本特征提取算法、跨模态场景下的图像检索信息表征算法以及一系列动态异质大数据社区挖掘的基础理论与算法，有效提升了医疗影像特征在下游任务中的应用效果。

上述理论创新在前列腺医学影像数据集上进行实现，形成了一套前列腺可视化分析系统，并在北医三院开展临床测试。本项目的研究，一方面提高了影像组学在多模态、小样本等场景下的分析效果；另一方面，为相关疾病的智能分析提供理论与技术支撑。

二、主要研究内容

本项目主要从医学影像组学中的“多模同体影像分割与配准”、“高通量特征的智能计算与验证”、“小样本医学影像分析”、“医疗风险机制研究”及“前列腺肿瘤影像动态可视化平台构建”五个方面展开研究。

多模同体影像分割与配准

在多模同体影像分割与配准方面，着重研究了大形变下非刚性形状的配准、大尺寸医疗影像的精确分割及多模影像特征强化学习等，提出了基于结构张量结合特征驱动的Log-Demons图像配准算法、融合语义的卷积循环网络等一系列配准与分割模型，提升了大形变下的图像配准效果与大尺寸医疗影像分割精度。

高通量特征的智能计算与验证

在高通量特征的智能计算与验证方面，着重研究了智能分析中医疗影像的非定向往定性建模和动态异质大数据社区挖掘的基础理论与算法等，提出了SCFR、AC等模型，建立了一系列新颖的社区模型和图论概念，并设计了高效的图挖掘算法，极大地丰富和发展了图社区挖掘的基础理论与方法。通过有效的高通量特征提取和图关系挖掘为医学影像组学分析中的智能建模提供更好的分析基础，产出了众多高质量论文。

小样本医学影像分析

在小样本医学影像分析方面，着重研究了少样本的学习与分析、多模态同类疾病数据的迁移学习模型构建、不同类疾病间的迁移学习模型构建等，提出了基于残差网络的对抗域适应算法、基于Lipschitz约束的域适应和基于自监督聚类的小样本医学图像分析算法等模型，在小样本情况下显著提升了模型性能，为医疗影像智能分析的实际应用提供了有效支撑。

医疗风险机制研究

在医疗风险机制研究方面，从临床因素、生理结构、心理模型等角度，建模分析临床风险，提出了影响医疗风险的两大要素，并在此基础上一套医疗风险评估模型，可以在几乎不降低精度的情况下实现风险最小化的医疗影像分割。

前列腺肿瘤影像动态可视化平台

面向智慧医疗数据，实现了泌尿系统多器官MRI影像三维重建及交互，能较好地重建出前列腺、直肠、精囊、肿瘤等三维器官模型，辅助医生更好地了解肿瘤的空间分布、数量及大小，为今后实现前列腺手术导航系统奠定基础；面向远程医疗场景进行三维动态可视化，提出的多个Kinect三维场景动态重建算法能够基本满足实时要求，为实现智慧手术室内的三维场景动态可视化提供了可能。

三、主要成果

在四年的研究历程中，团队在医学影像组学智能分析领域取得了显著的进展。

团队的工作不仅在理论上实现了创新，而且在关键技术的研发上也取得了突破性成果。

以下是团队的主要成就：

多模态医学影像配准分割与协同强化机制：团队开发了新的特征融合与强化学习算法，这些算法显著提高了非刚性形状配准和大尺寸医疗影像精确分割的准确性和稳定性。
高通量特征的智能计算与验证：团队提出了一系列高通量特征提取算法，这些算法增强了医疗影像特征在各种下游任务中的有效性。
小样本迁移学习医疗影像分析：团队设计了一系列基于迁移学习的小样本分析算法，这些算法在小样本数据生成、迁移学习以及映射模型构建方面表现出色。
医疗风险的医学图像分割研究：团队创新性地引入了医疗风险的概念，并确定了影响医疗风险的两个关键因素。团队还优化了传统的分割算法，以更有效地控制和降低医疗风险。
前列腺肿瘤影像动态可视化平台构建：团队构建了一个平台，它能够对智慧医疗数据进行三维重建和交互。这个平台实现了泌尿系统多器官MRI影像的三维重建和交互，为远程医疗场景提供了三维动态可视化的可能性。

团队的研究成果在多个国际和国内期刊及会议上发表，共计49篇，包括IEEE TIP、IEEE IoT、IEEE TKDE、IEEE TBD、IEEE TNNLS、AAAI、ICCV、VLDB、ICDE、SIGMOD、WWW等。同时，团队申请并获得了30项国家发明专利。特别值得一提的是，团队的项目“复杂条件下监控图像智能分析与传输中的关键技术及应用”荣获了2019年教育部高等学校科学研究优秀成果奖二等奖。

此外，团队的研究还涉及到了算法模型的实际应用，推动了项目成果的落地，并构建了相应的智慧医疗平台。在人才培养和国际合作方面，团队也取得了令人满意的成绩。这些成就标志着项目组已经顺利完成了合同书中规定的工作，并获得了重要的研究成果。