文献速递:深度学习胶质瘤诊断---使用深度学习在 MRI 图像中进行低级别胶质瘤的脑肿瘤分割和分级

Title 

题目

Brain tumor segmentation and grading of lower-grade glioma using deeplearning in MRI images

使用深度学习在 MRI 图像中进行低级别胶质瘤的脑肿瘤分割和分级

01文献速递介绍

胶质瘤是最常见的脑肿瘤,根据肿瘤的恶性程度和生长速率具有不同的分级。根据世界卫生组织(WHO)的分类,胶质瘤分为四个等级:I级通常可以通过手术切除治愈;IV级,即多形性胶质母细胞瘤(GBM),是最具侵袭性的,存活率最低;以及低级别胶质瘤(LGG),II级和III级的侵袭性和浸润性均低于IV级。低级别胶质瘤(LGG)有不同的组织学类型,如星形细胞瘤、少突神经胶质细胞瘤和少突胶质细胞瘤。胶质瘤的分级以及肿瘤的位置、形状和大小是确定存活和治疗计划的必需信息,这些计划包括手术、化疗、放疗或多种方法的组合。因此,开发非侵入性技术,自动化肿瘤分割和分级对于诊断和适应性治疗计划的临床应用将是有益的,以优化患者的治疗结果。MRI是一种非侵入性技术,可以提供详细的脑部图像。因此,它通常用于诊断和肿瘤的初步特征描述。使用MRI进行脑肿瘤分割可以提供关于肿瘤的信息,例如其形状和大小,以及用于进行病理学分级的活检取样的肿瘤位置。肿瘤分割的金标准是手工分割。然而,这种方法成本高、耗时且存在观察者间变异。因此,尤其是在需要大量数据处理和持续监测肿瘤以及适应性治疗计划时,自动肿瘤分割更受青睐。然而,由于肿瘤位置、形状和结构的高度可变性,准确的自动肿瘤分割通常具有挑战性。使用病理学检查进行肿瘤分级需要活检,因此这是一种侵入性、耗时的技术,并且可能会因取样不准确和观察者间变异而受到影响。因此,直接从MRI获取的自动肿瘤分割和分级对临床使用非常有益。

使用MRI进行自动肿瘤分割的方法主要基于生成模型或判别模型。生成模型,如基于图谱的模型,需要解剖学的先验知识,并使用体素的后验概率进行分类,伴随图像配准进行肿瘤分割。另一方面,判别模型,如基于机器学习的支持向量机(SVM)和随机森林,不需要解剖学的先验知识,而是使用从MRI提取的成像特征而非原始MRI数据进行体素的分类。

Abstract 

摘要

Gliomas are the most common malignant brain tumors with different grades that highly determine the rate of survival in patients. Tumor segmentation and grading using magnetic resonance imaging (MRI) are common and essential for diagnosis and treatment planning. To achieve this clinical need, a deep learning approach that combines convolutional neural networks (CNN) based on the U-net for tumor segmentation and transfer learning based on a pre-trained convolution-base of Vgg16 and a fully connected classifier for tumor grading was developed. The segmentation and grading models use the same pipeline of T1-precontrast, fluid attenuated inversion recovery (FLAIR), and T1-postcontrast MRI images of 110 patients of lower-grade glioma (LGG) for training and evaluations. The mean dice similarity coefficient (DSC) and tumor detection accuracy achieved by the segmentation model are 0.84 and 0.92, respectively. The grading model classifies LGG into grade II and grade III with accuracy, sensitivity, and specificity of 0.89, 0.87, and 0.92, respectively at the MRI images’ level and 0.95, 0.97, and 0.98 at the patients’ level. This work demonstrates the potential of using deep learning in MRI images to provide a non-invasive tool for simultaneous and automated tumor segmentation, detection, andgrading of LGG for clinical applications.

胶质瘤是最常见的恶性脑肿瘤,具有不同的等级,这些等级极大地决定了患者的生存率。使用磁共振成像(MRI)进行肿瘤分割和分级是诊断和治疗计划中常见且必不可少的。为了满足这一临床需求,开发了一种深度学习方法,该方法结合了基于 U-net 的卷积神经网络(CNN)进行肿瘤分割,以及基于预训练的卷积基底 Vgg16 和全连接分类器的迁移学习进行肿瘤分级。分割和分级模型使用相同的流程,对 110 名低级别胶质瘤(LGG)患者的 T1-前对比、液体衰减反转恢复(FLAIR)和 T1-后对比 MRI 图像进行训练和评估。分割模型的平均 Dice 相似性系数(DSC)和肿瘤检测准确率分别为 0.84 和 0.92。分级模型将 LGG 分为 II 级和 III 级,其在 MRI 图像级别的准确率、敏感性和特异性分别为 0.89、0.87 和 0.92,在患者级别分别为 0.95、0.97 和 0.98。这项工作展示了使用深度学习在 MRI 图像中进行肿瘤的同时自动分割、检测和分级的潜力,为临床应用提供了一种非侵入性工具。

Conclusions

结论

This work illustrates the potential of using deep learning and transfer

learning models in MRI images to provide accurate automatic tumor

segmentation, detection and grading of LGG brain tumors. The use of

one pipeline of MRI images by the segmentation and grading models

allows full automation and simultaneous segmentation and grading of

the brain tumors. Additionally, given a segmentation DSC mean value of0.84, tumor detection accuracy of 0.92, and tumor grading accuracy atimage and patient levels of 0.89 and 0.95, respectively, the proposed

approach shows a promise as a non-invasive tool for tumor character

ization in LGG.

这项工作展示了使用深度学习和迁移学习模型在 MRI 图像中进行准确的自动肿瘤分割、检测和分级低级别胶质瘤(LGG)脑肿瘤的潜力。通过一个管道使用 MRI 图像的分割和分级模型允许完全自动化并同时进行脑肿瘤的分割和分级。此外,鉴于分割的 Dice 相似系数(DSC)平均值为 0.84,肿瘤检测准确率为 0.92,以及图像和患者层面上的肿瘤分级准确率分别为 0.89 和 0.95,所提出的方法显示了作为一种非侵入性工具用于 LGG 肿瘤特征化的前景。

Results

结果

3.1. Tumor segmentation

The DSC values’ distributions obtained by the segmentation model for the 5 test data sets are illustrated in Fig. 3A. The DSC median values for Set 1 to Set 5 are 0.95, 1, 0.97, 1 and 1, respectively, while the DSC mean values are 0.80, 0.84, 0.82, 0.87 and 0.86, respectively. The DSC median and mean values for all test data sets are 0.98 and 0.84, respectively, with standard deviations of 0.02 and 0.03, respectively. The confusion matrix for tumor detection results aggregated using all the test data sets and obtained by the segmentation model is shown in Fig. 3B. The classification accuracy, tumor detection sensitivity and normal tissue specificity are 0.92 for all of them, as summarized in Table 2. To illustrate the performance of the segmentation model, samples of heatmaps and overlays of FLAIR MRI images with the outlines of tumor masks using manual and model segmentations for the test data sets are shown in Fig. 4. At the left of each panel in Fig. 4, a heat map image shows the highlighted tumor in pink, while the overlay image with tumor outlines (red – manual segmentation and green – model segmentation) is given at the right. The tumor grade and the DSC value are given at the top and the top right corner of each panel. The first, second, and third rows show representative segmentation results for DSC values below, similar, and above the segmentation model’s mean DSC value of 0.84. The confusion matrix for tumor grading results aggregated using all MRI images of the test data sets S1 to S5 and obtained by the grading model is shown in Fig. 5A. The classification accuracy, grade III tumor detection sensitivity, and grade II tumor detection specificity are 0.89, 0.87, and 0.92, respectively, as shown in Table 2. The Receiver Operating Characteristics (ROC) curves for the grading model using the 5 test data sets S1 to S5 are given in Fig. 5B. The areas under the curves (AUCs) for S1 to S5 are 0.98, 0.96, 0.97, 0.96, and 0.97, respectively, and the mean AUC is 0.97.3.1.

肿瘤分割分割

模型针对5个测试数据集所获得的DSC值分布在图3A中展示。集合1至集合5的DSC中位数分别为0.95、1、0.97、1和1,而DSC的平均值分别为0.80、0.84、0.82、0.87和0.86。所有测试数据集的DSC中位数和平均值分别为0.98和0.84,标准差分别为0.02和0.03。使用所有测试数据集并由分割模型得出的肿瘤检测结果的混淆矩阵显示在图3B中。分类准确率、肿瘤检测敏感性和正常组织特异性均为0.92,如表2所总结。为了展示分割模型的性能,图4显示了使用手工和模型分割为测试数据集的FLAIR MRI图像勾画的肿瘤掩模的热图和叠加图样本。在图4的每个面板左侧,热图显示粉红色突出的肿瘤,而带有肿瘤轮廓的叠加图(红色 - 手工分割和绿色 - 模型分割)在右侧给出。每个面板的顶部和右上角分别给出了肿瘤等级和DSC值。第一、二、三行展示了DSC值低于、接近和高于分割模型平均DSC值0.84的代表性分割结果。使用所有测试数据集S1至S5的MRI图像并由分级模型得出的肿瘤分级结果的混淆矩阵显示在图5A中。分类准确率、III级肿瘤检测敏感性和II级肿瘤检测特异性分别为0.89、0.87和0.92,如表2所示。使用5个测试数据集S1至S5的分级模型的接收者操作特性(ROC)曲线给出在图5B中。S1至S5的曲线下面积(AUCs)分别为0.98、0.96、0.97、0.96和0.97,平均AUC为0.97。

Method

方法

An overview of the proposed approach used for tumor segmentation and grading is summarized in Fig. 1. In brief, the brain MRI images and the corresponding tumor masks generated using manual segmentation were processed  and then used for training the segmentationmodel . The trained segmentation model and the processed MRIimages were then used to automatically generate tumor masks. The grading model used a sub-set of the processed MRI images based on the generated tumor masks for classifying images with different grades .

所提出的用于肿瘤分割和分级的方法概述在图1中进行了总结。简而言之,使用手工分割生成的脑部MRI图像及其相应的肿瘤掩模被处理,然后用于训练分割模型。训练好的分割模型和处理过的MRI图像随后被用来自动生成肿瘤掩模。分级模型使用基于生成的肿瘤掩模的一部分处理过的MRI图像来对不同等级的图像进行分类。

Figure

图片

Fig. 1. An illustration of the workflow used for tumor segmentationand grading.

图 1. 用于肿瘤分割和分级的工作流程示意图。

图片

Fig. 2. Illustrations of (A) the segmentation model (U-net architecture) and (B) the grading model (a densely connected neural network classifier on top of the Vgg16 convolution-base).

图 2. 示意图:(A)分割模型(U-net 架构)和(B)分级模型(在 Vgg16 卷积基础之上的密集连接神经网络分类器)。

图片

Fig. 3. (A) Boxplots of the DSC distribution for the 5 test data sets (Set 1 to Set 5) used for segmentation model validation. The DSC mean values are given in the boxes and the orange lines refer to the DSC median values. (B) Confusion matrix for the tumor detection showing the number of images of the true and predicted normal and tumor labels. (For interpretation of the references to colour in this figure legend, the reader is referred to the Web version of this article.) 

图 3. (A) 用于验证分割模型的5个测试数据集(集合1至集合5)的DSC分布的箱形图。箱内给出了DSC的平均值,橙色线表示DSC的中位数。(B) 肿瘤检测的混淆矩阵,显示真实和预测的正常与肿瘤标签的图像数量。(关于此图例中颜色引用的解释,读者可参考本文的网络版本。)

图片

Fig. 4. Samples from the test data sets showing heatmaps of FLAIR images for highlighted tumor regions and overlays of FLAIR images and tumor masks’ outlines(red – manual segmentation and green – model segmentation) for DSC values (A) and (B) lower than, (C) and (D) similar, and (E) and (F) larger than model DSC mean value (0.84). The heat maps are shown at the left while the overlays are shown at the right of each panel. The tumor grade and the DSC value are given at the top and top right of each panel. 

图 4. 展示来自测试数据集的样本,其中FLAIR图像的热图突出显示了肿瘤区域,以及FLAIR图像与肿瘤掩模轮廓的叠加图(红色 - 手工分割,绿色 - 模型分割)对应于DSC值(A)和(B)低于、(C)和(D)接近以及(E)和(F)高于模型DSC平均值(0.84)。热图显示在每个面板的左侧,而叠加图显示在右侧。每个面板的顶部和右上角给出了肿瘤等级和DSC值。

图片

Fig. 5. (A) Confusion matrix for the grading models showing the number of images of the true and predicted tumor grades, (B) Receiver Operating Characteristics (ROC) curves for the grading model using the 5 different test data sets S1 – S5. The area under the curves are given in the figure label, (C), and (D) Confusions matrix for the patient tumor grading using MRI images selection based on predicted tumor masks (model segmentation) and true tumor masks (manual segmentation), respectively.

图 5. (A) 分级模型的混淆矩阵,显示真实和预测肿瘤等级的图像数量,(B) 使用5个不同测试数据集S1至S5的分级模型的接收者操作特性(ROC)曲线。曲线下面积在图例中给出,(C) 和 (D) 分别使用基于预测肿瘤掩模(模型分割)和真实肿瘤掩模(手工分割)的MRI图像选择进行患者肿瘤分级的混淆矩阵。

图片

Fig. 6. (A) A sample patient classified with grade II tumor (4 out of six images classified with grade II tumor). (B) A sample patient classified with grade III tumor (5out of six images classified with grade III tumor).

图 6. (A) 一个被分类为II级肿瘤的样本患者(六张图像中有四张被分类为II级肿瘤)。(B) 一个被分类为III级肿瘤的样本患者(六张图像中有五张被分类为III级肿瘤)。

Table

图片

Table 1 Lower-grade glioma tumor (LGG) and patient characteristics.

表 1低级别胶质瘤(LGG)肿瘤和患者特征。

图片

Table 2 Tumor detection and grading results.

表 2肿瘤检测和分级结果

图片

Table 3 Summary of results’ comparisons: DSC, accuracy (acc), Sensitivity (sen), andSpecificity (spe).

表 3结果比较总结:Dice 相似系数(DSC)、准确率(acc)、敏感性(sen)和特异性(spe)。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/562564.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【高阶数据结构】并查集 -- 详解

一、并查集的原理 1、并查集的本质和概念 (1)本质 并查集的本质:森林。 (2)概念 在一些应用问题中,需要将 n 个不同的元素划分成一些不相交的集合。 开始时,每个元素自成一个单元素集合&…

车载诊断的基本框架和概念

车载诊断的基本框架和概念 我是穿拖鞋的汉子,魔都中坚持长期主义的汽车电子工程师。 老规矩,分享一段喜欢的文字,避免自己成为高知识低文化的工程师: 屏蔽力是信息过载时代一个人的特殊竞争力,任何消耗你的人和事,多看一眼都是你的不对。非必要不费力证明自己,无利益不…

Android开发——ViewPager

适配器 package com.example.myapplication; import android.view.View; import android.view.ViewGroup; import androidx.annotation.AnimatorRes; import androidx.annotation.NonNull; import androidx.viewpager.widget.PagerAdapter; import java.util.ArrayList; publi…

springboot+vue全栈开发【4.前端篇之Vue组件化开发】

目录 前言NPM使用NPM简介nodejs安装npm命令 Vue CLI使用用vue CLI创建一个vue项目 组件化开发组件的构成组件怎么用1.创建一个组件2.在父组件中使用子组件3. 传递数据给子组件4. 监听子组件事件 前言 hi,这个系列是我自学开发的笔记,适合具有一定编程基…

RHCE:网络服务综合项目

基础配置: 1.配置主机名,静态IP地址 2.开启防火墙并配置 3.部分开启SElinux并配置 4.服务器之间使用同ntp.aliyun.com进行时间同步 5.服务器之间实现SSH免密登录 业务需求: 1.Server-NFS-DNS主机配置NFS服务器,将博客网…

Visual Studio 2022 Professional、Enterprise安装教程

Visual Studio 2022 Professional、Enterprise安装教程 下载安装包安装 我是电脑已经有VS2019,现在加装一个VS2022。 下载安装包 首先下载安装包,进入官网进行下载,VS官网下载地址。 进入之后,会显示如下界面,选择Pro…

二、python+前端 实现MinIO分片上传

python前端 实现MinIO分片上传 一、背景二、流程图三、代码 一、背景 问题一:前端 -> 后端 ->对象存储 的上传流程,耗费带宽。 解决方案:上传流程需要转化为 前端 -> 对象存储,节省上传带宽 问题二:如果使用…

近期分享学习心得4

1、带有多的条件的if的语句 逻辑 || 的简写 if (x true || x 2523 || x 小明) {}// 简化操作if ([true, 2523, 小明].includes(x)) {}2、查找两个数组的交集 var numOne [0, 2, 4, 6, 8, 8]; var numTwo [1, 2, 3, 4, 5, 6]; var cross [...new Set(numOne)].filter(item…

《QT实用小工具·三十四》Qt/QML使用WebEngine展示的百度ECharts图表Demo

1、概述 源码放在文章末尾 该项目实现了百度ECharts图表的样式&#xff0c;效果demo如下所示&#xff1a; 项目部分代码如下所示&#xff1a; #include <QGuiApplication> #include <QQmlApplicationEngine> #include <QtWebEngine>int main(int argc, ch…

C++学习————第八天(C/C++内存管理)

目录 1、1.C/C内存分布 2、 C语言中动态内存管理方式&#xff1a;malloc/calloc/realloc/free 3、C内存管理方式 3.1 new/delete操作内置类型 3.2 new和delete操作自定义类型 4.operator new与operator delete函数 5. new和delete的实现原理 5.1 内置类型 5.2 自定…

书生·浦语实战营第二期(七)——OpenCompass

一、OpenCompass: 上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)&#xff0c;用于为大语言模型、多模态模型等提供一站式评测服务。其主要特点如下&#xff1a; 开源可复现&#xff1a;提供公平、公开、可复现的大模型评测方案全…

【JavaEE初阶系列】——网络层IP协议(地址管理和路由选择)

目录 &#x1f6a9;网络层 &#x1f388;IP协议 &#x1f469;&#x1f3fb;‍&#x1f4bb;IP协议"拆包组包"功能 &#x1f388;地址管理 &#x1f469;&#x1f3fb;‍&#x1f4bb;IP地址的分类 &#x1f469;&#x1f3fb;‍&#x1f4bb;NAT机制如何工作的…

Matlab新手快速上手2(粒子群算法)

本文根据一个较为简单的粒子群算法框架详细分析粒子群算法的实现过程&#xff0c;对matlab新手友好&#xff0c;源码在文末给出。 粒子群算法简介 粒子群算法&#xff08;Particle Swarm Optimization&#xff0c;PSO&#xff09;是一种群体智能优化算法&#xff0c;灵感来源于…

Oracle正則匹配練習一

1.使用分割符號 select regexp_substr(A_B_C, [^_], 1, 2) FROM DUAL

Android 获取手机整体流量使用情况以及某个应用的流量的统计

源代码下载地址&#xff1a; 链接&#xff1a;https://pan.quark.cn/s/b6ab9000c0bd

CSS基础:position定位的5个类型详解!

你好&#xff0c;我是云桃桃。 一个希望帮助更多朋友快速入门 WEB 前端的程序媛。 云桃桃-大专生&#xff0c;一枚程序媛&#xff0c;感谢关注。回复 “前端基础题”&#xff0c;可免费获得前端基础 100 题汇总&#xff0c;回复 “前端工具”&#xff0c;可获取 Web 开发工具合…

鸿蒙OpenHarmony【轻量系统编写“Hello World”程序】 (基于Hi3861开发板)

编写“Hello World”程序 下方将通过修改源码的方式展示如何编写简单程序&#xff0c;输出“Hello world”。请在下载的源码目录中进行下述操作。 前提条件 已参考鸿蒙开发指导文档&#xff1a;gitee.com/li-shizhen-skin/harmony-os/blob/master/README.md点击或者复制转到…

QT中的OpenGL学习-----3D图形

一、3D坐标系 记住V_clip M_projection * M_view * M_model * V_local就行&#xff0c;可以在顶点着色器里面添加位置信息&#xff1a; #version 330 core layout (location 2) in vec3 aPos;//location属性位置有16个 layout (location 3) in vec3 aColor; layout (locati…

基础算法前缀和与差分

前言 本次博客会介绍一维和二维的前缀和&#xff0c;以及一维二维差分的基本使用&#xff0c;尽量画图&#xff0c;多使用配合文字 使大家理解&#xff0c;希望有所帮助吧 一维前缀和 问题描述 这里有一个长度为n的数组&#xff0c;我们要算出【2,5】区间的元素和 暴力思…

linux定时备份数据库sql文件(表格、视图、存储过程,已保存的查询语句不会被备份)

创建一个脚本文件xxx.sh 为其设置全部权限chmod 777 xxx.sh #!/bin/bash # 设置备份目录和文件名 current_time$(date "%Y%m%d_%H%M%S") backup_dir"/root/db_back/db" backup_file"$backup_dir/db_ship_backup_$current_time.sql" log_file&…