波谱学杂志, 2024, 41(2): 151-161 doi: 10.11938/cjmr20233073

研究论文

融合双解码和全局注意力上采样模块的胰腺囊性肿瘤分割网络

戴俊龙1, 何聪1, 武杰,1,*, 边云,2,#

1.上海理工大学健康科学与工程学院,上海 200093

2.海军军医大学第一附属医院放射诊疗科,上海 200434

Pancreatic Cystic Neoplasms Segmentation Network Combining Dual Decoding and Global Attention Upsampling Modules

Dai Junlong1, He Cong1, Wu Jie,1,*, Bian Yun,2,#

1. School of Health Science and Engineering, University of Shanghai for Science and Technology, Shanghai 200093, China

2. Department of Radiology, The First Affiliated Hospital of Naval Medical University, Shanghai 200434, China

通讯作者: *Tel: 021-55271116, E-mail:wujie3773@sina.com;#Tel: 021-31166666, E-mail:bianyun2012@foxmail.com.

收稿日期: 2023-07-17   网络出版日期: 2023-09-27

Corresponding authors: *Tel: 021-55271116, E-mail:wujie3773@sina.com;#Tel: 021-31166666, E-mail:bianyun2012@foxmail.com.

Received: 2023-07-17   Online: 2023-09-27

摘要

胰腺因其解剖结构复杂多变、周围环境复杂等特点,始终是医学图像分割中最具挑战性的任务之一.针对以上问题,提出一种融合双解码和全局注意力上采样模块的深度学习分割模型(Combining Dual Decoding and Global Attention Upsampling Modules Network,DGANet).模型由一个编码器和两个解码器构成,两个解码器实现了对不同深度特征信息的充分利用;模型采用全局注意力上采样模块(Global Attention Upsampling,GAU),利用高层丰富的语义信息来引导低层选择更为精准的特征信息.利用长海医院提供的数据集进行实验,结果表明平均Dice相似系数为86.28%,交并比(Intersection-over-Union,IoU)为0.77,豪斯多夫距离(Hausdorff Distance,HD)为7.7 mm,数据证实了该模型在胰腺囊性肿瘤分割中具有一定的临床意义和价值.

关键词: 医学图像分割; DGANet; 深度学习; 胰腺

Abstract

The pancreas has always been one of the most challenging parts in medical image segmentation due to its complex anatomical structure and complex surrounding environment. Aiming at the above problems, a deep learning segmentation model combining dual decoding and global attention upsampling module (DGANet) is proposed. The model consists of an encoder and two decoders, where the latter realizes the full utilization of different depth feature information. The model applies the global attention upsampling module and high-level rich semantic information to guide the low-level selection of more accurate feature information. The data set provided by Changhai Hospital was used for experiments. The results showed that the average Dice similarity coefficient was 86.28%, Intersection-over-Union (IoU) was 0.77, and Hausdorff distance (HD) was 7.7 mm. The data confirmed the clinical value of this model in segmenting pancreatic cystic tumors.

Keywords: medical image segmentation; DGANet; deep learning; pancreas

PDF (875KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

戴俊龙, 何聪, 武杰, 边云. 融合双解码和全局注意力上采样模块的胰腺囊性肿瘤分割网络[J]. 波谱学杂志, 2024, 41(2): 151-161 doi:10.11938/cjmr20233073

Dai Junlong, He Cong, Wu Jie, Bian Yun. Pancreatic Cystic Neoplasms Segmentation Network Combining Dual Decoding and Global Attention Upsampling Modules[J]. Chinese Journal of Magnetic Resonance, 2024, 41(2): 151-161 doi:10.11938/cjmr20233073

引言

胰腺囊性肿瘤自动分割是一种利用计算机图像处理和人工智能技术的创新方法,通过快速、自动地提取胰腺囊性肿瘤区域来提高临床工作效率,这对胰腺囊性肿瘤的诊断和评估具有至关重要的意义.胰腺具有复杂的形态结构和密集的周围组织,传统的手动分割方法费时费力,且存在主观性和人为误差的风险.尽管自动分割技术在医学领域取得了许多显著进展[1,2],但是由于胰腺与邻近的器官和血管之间可能存在相似的密度和纹理特征,其自动分割仍然面临一些独特的难题.此外,胰腺囊性肿瘤常常导致器官形态和密度的变化,进一步增加了自动分割的难度.

磁共振成像(Magnetic Resonance Imaging,MRI)在胰腺囊性肿瘤的诊断和评估中发挥着重要的作用.相比传统的影像技术,MRI能够提供更清晰的图像对比度和多序列成像,帮助医生准确评估肿瘤的位置、大小和形态特征.通过不同的成像序列,MRI可以提供全面的信息,包括肿瘤的组织特性、血流情况和代谢活动等,进一步揭示肿瘤的性质.此外,MRI还能够评估肿瘤的转移情况,包括淋巴结转移和远处器官的转移病灶定位.在胰腺囊性肿瘤的诊断和评估中,利用MRI提供的细节信息,对胰腺囊性肿瘤进行精准分割,可为医生制定治疗方案和监测疾病进展提供重要的辅助信息.

传统的图像分割大体分为3类:①基于阈值的分割方法;②基于边缘的分割方法;③基于区域的分割算法.阈值分割方法的优点在于简单容易实现,计算效率高,适用于一些具有明显灰度差异和较为简单的图像分割任务,然而该方法不具有鲁棒性,对于噪声较大或者纹理特征复杂的图像效果可能较差,胰腺囊性肿瘤形态复杂、边界模糊,且与临近的器官和血管之间存在相似的密度和纹理特征,所以难以选择合适的阈值进行分割任务.基于边缘的分割方法对具有明显边缘的图像分割效果较好,能较好提取物体的形状和轮廓信息,但是边缘检测可能受到噪声的干扰,导致边缘不准确或者断裂.由于胰腺周围的组织非常密集,边缘分割效果不理想.基于区域的分割方法可以有效地将图像分割为具有一定一致性的区域,适用于医学图像中具有明显结构和纹理特征的区域.然而,这些方法可能对于具有复杂结构、相似特征或重叠区域的图像具有挑战性.文献[3]中提出了一种基于改进区域生长算法的自动分割算法,该方法利用肺部肿瘤的先验信息自动选择初始种子点,并采用种子点扩展和自动阈值更新机制来提高分割性能.

传统的图像分割方法往往依赖于手工设计的特征和规则,对于胰腺囊性肿瘤这种形态复杂、边界模糊的情况往往表现不佳.而深度学习技术通过使用神经网络模型,如卷积神经网络(Convolutional Neural Networks,CNN)[4-6]和U-Net[7],可以从大量的标注数据集中学习到肿瘤的表征和上下文信息,从而实现更准确、鲁棒的分割结果.深度学习模型能够自动学习图像中的特征,并通过逐层的特征提取,实现对胰腺囊性肿瘤的精准定位和分割.针对图像质量不佳以及胰腺边界模糊的问题,Cai等人[8]将循环神经网络(Recurrent Neural Network,RNN)和CNN结合,使模型在CT数据和MRI数据上具有更加出色的性能.Oktay等人[9]提出了一种新的适用于CT影像数据的注意力门(Attention Gate,AG)模块,此模块可以同时提高模型的敏感性和预测准确性,能自动学习并聚焦于不同形状和大小的目标结构.Wang等人[10]提出了双通道输入的V-mesh FCN架构和注意力网络,以及空间变换与融合(Spatial Transformation and Fusion,SF)模块,便于更加准确地获取CT中胰腺的位置信息.Xue等人[11]提出由两部分组成的级联网络,第一部分专注于快速定位CT中胰腺区域,第二部分使用具有密集连接的多任务FCN来细化分割图片以进行精细的像素级分割.Asaturyan等人[12]开发了一个名为Hausdorff Sine SegNet(HSSN)的新模型,该模型结合了改进的豪斯多夫距离(Hausdorff Distance, HD)度量和正弦分量来捕获局部边界信息,从而提高MRI中胰腺预测的精度.Proietto等人[13]提出一种新的3D全卷积神经网络,通过学习不同尺度的特征,将多个解码器得到的分割图融合成唯一的分割掩膜.上述模型都是基于不断提取数据的深层特征来达到提高模型对感兴趣区域(Region of Interest,ROI)分割的精度,没有充分利用数据的浅层特征信息,在加深网络层数的同时可能丢失了一部分浅层特征信息,也可能使模型过拟合,从而减低了模型的鲁棒性和有效性.

为了提升对胰腺囊性肿瘤边缘的分割精度以及加强对浅层特征信息的利用,本文提出一种融合双解码和全局注意力上采样模块的深度学习分割模型(Combining Dual Decoding and Global Attention Upsampling Modules Network,DGANet),该模型结合双解码[14]、膨胀卷积[15]、全局注意力上采样模块(Global Attention Upsample,GAU)[16]和卷积注意力模块(Convolutional Block Attention Module,CBAM)[17]的深度学习分割网络.首先在编码阶段使用膨胀卷积对图像进行编码,使用GAU和双解码进行解码,并融合浅层特征,在最后一层卷积之前添加CBAM模块,使网络更好地学习图像特征.

1 实验部分

1.1 总体模型

本文提出的模型总体如图1所示,该模型基于经典的编码-解码结构.编码器由卷积操作(Conv)、批归一化(Batch Normalization,BN)、非线性变换(ReLU)和下采样层构成,在Conv中,使用了膨胀卷积来代替普通卷积.以此来扩大模型的感受野;该模型包含两个解码器,可以对图片的不同深度的特征信息进行充分利用,以此来提高网络对小器官的分割能力.在解码器中,还引入了GAU模块,并将两个解码器得到的特征进行特征融合.将融合之后的特征输入给CBAM模块,再通过一个1×1的Conv和Sigmoid激活函数得到输出的预测图.

图1

图1   模型的总体架构

Fig. 1   The overall architecture of the module


1.1.1 双解码

胰腺区域占整个腹部区域比例较小,所以在医学图像分割任务中,胰腺分割往往是最具挑战性的分割任务之一.在图像分割领域,传统的编码-解码结构网络通常只包含一个解码器,可以通过不断增加网络的深度,一定程度上可以达到精准提取目标区域的目的.但是,网络越深,丢失掉的边缘等特征信息也就越多,所以在小器官分割任务中,用传统的编码-解码结构分割的精度还有待提高.双解码可以在增加网络深度的前提下,融合图像的低级特征信息,保留更多边缘空间等特征信息,其结构如图1所示.将编码器(Encoder)最后一层卷积的输出作为解码器1的输入,解码器1由4个GAU模块组成,将编码器中每一层和解码器1中每一层进行跳跃连接(Skip Connection)[18].再用解码器1中最后两层的输出作为解码器2中每层的输入,同时将编码器的前两层和解码器2中的两个GAU模块进行跳跃连接.最后把解码器1和解码器2得到的特征信息进行特征融合,以此来加强模型对边缘分割的效果.

1.1.2 GAU模块

使用编码-解码结构对图像进行训练时,对图像进行编码会对图像进行下采样操作,会使图像丢失部分信息,导致在图像解码过程中信息难以被还原,从而导致对图像分割不精确,尤其是在胰腺这类小器官分割时,下采样导致丢失特征信息过多,在解码时图像难以被还原,进一步致使分割效果不佳.本文采用的GAU模块,不仅对不同尺度的特征映射有更好的表现,而且还能用高层特征信息为低层特征映射提供指导,使解码后的图像包含的目标区域特征信息更完整.该模块的结构如图2所示.将高级特征和低级特征输入该模块,对输入的低级特征进行3×3的卷积操作,同时减少特征图的通道数.对高级特征依次进行全局平均池化、1×1卷积、ReLU,然后与低级特征信息相乘,最后,将处理好的高级特征和低级特征进行特征融合,以此保留更完整的特征信息.

图2

图2   GAU模块架构图

Fig. 2   Global attention upsampling module


1.1.3 膨胀卷积

在深度学习网络中,为了增加感受野[19],一般会对图像进行下采样.但下采样降低了图像的空间分辨率,且胰腺区域占整个腹部区域较小,其本身的空间分辨率不高,为了保持图像的空间分辨率和扩大感受野,在编码过程中采用了膨胀卷积(Dilated Convolution),结构如图3所示.一个卷积层包含两次连续的Conv操作、BN和ReLU,在两个卷积操作中膨胀率(dilation)分别设置为1和2[20].

图3

图3   膨胀卷积模块

Fig. 3   Dilated convolution module


图4是采用普通卷积(左一)和膨胀卷积(右一)的感受野的对比图,可以看到采用普通卷积的感受野为5×5,而采用膨胀卷积的感受野扩大到7×7,接近普通卷积的1.5倍,使模型对胰腺的边缘更加敏感.

图4

图4   普通卷积(左)和膨胀卷积(右)的感受野对比图

Fig. 4   Comparison of receptive fields between ordinary convolution (left) and dilated convolution (right)


1.2 实验设计

1.2.1 数据集

本研究使用的数据集来自长海医院的300例胰腺囊性肿瘤(PCN)的腹部磁共振T2加权图像,其中包括93例黏液性囊性肿瘤(MCN)和207例浆液性囊腺瘤(SCN),所有患者均提供书面知情书.本研究经长海医院生物医学研究伦理委员会审核通过.为了避免由于样本不均衡对训练结果造成影响,数据集只采用93例MCN和从207例SCN中随机选取的125例SCN.

所有患者均使用3.0 T MRI系统(Signa Excite 3.0 T,GE Heathcare,Milwaukee,USA)进行胰腺动态增强MRI检查,采取仰卧位,相控阵接收器线圈覆盖上腹部,采取屏气单次快速自旋回波冠状T2加权序列(TR =6 316 ms,TE =87 ms;视野=360×420 mm2;矩阵=224×270;层厚=5 mm;层间距=1 mm),所有MR图像都由3名经长海医院委员会认证的腹部放射科医生分析,标记出胰腺囊性肿瘤的部位,标记软件使用ITK完成,由于囊肿的T2信号要强于正常的组织,在T2加权影像上呈高亮状态,因此可以清晰地判别囊肿的位置和大小.

1.2.2 预处理

本研究提出的模型适用于2D数据,因此需要将3D数据转换为2D,并且由于腹部面积过大,胰腺周围组织过多,只选取含有胰腺部位的2D数据作为ROI进行手动提取.表1列出了训练使用的数据,最终得到MCN图像676张,SCN图像673张,共计1 349张,并将所有图像大小统一转换为512×512,进行归一化处理.

表1   训练使用的数据

Table 1  Data used for training

胰腺囊性肿瘤病例数/例切片数/张总数据/张
MCN936761349
SCN125673

新窗口打开| 下载CSV


1.2.3 实验策略

本次实验的数据量为1 349张,我们手动随机选取了135张MCN和135张SCN作为测试集,剩下541张MCN和538张SCN作为训练集,训练集和测试集的比例划分接近8:2,其中训练集和测试集中的MCN和SCN的比例均接近1:1.

为了进一步提高模型精度,需要对模型的超参进行调整.一次训练所抓取的数据量对模型优化有一定影响,即batch size,在训练模型时分别测试了在训练轮数为50时batch size设置为1、2、4、6的情况,结果表明,batch size为2时模型优化最好,因此以下测试都将batch size设置为2.训练时还测试了0.001~0.000 01之间的学习率,结果显示当学习率设置为0.000 5时,模型训练效果最好.在此基础上,还测试了不同的损失函数和优化器,当选择BCELoss损失函数和Adam优化器时,模型训练结果达到最优.模型在一轮训练完成之后进行一次验证,并计算平均Dice相似系数,选取平均Dice相似系数最高的模型为最优模型.

本文还设计了对比试验和消融实验,用来验证所提出模型的可靠性和有效性.

1.2.4 实验环境和评价指标

实验所用的软件环境为torch 1.10.0、python 3.7、CUDA 11.6架构、CuDNN 8.5.0,硬件使用环境为NVIDIA RTX3090 24GB显存.对于分割结果的评价指标,使用Dice相似系数(Dice similarity coefficient,Dice)、豪斯多夫距离(HD,单位mm)、交并比(Intersection over Union,IoU)作为评价标准,以下是评价指标使用的公式.

$\text { Dice }=\frac{2|A \bigcap B|}{|A|+|B|} \times 100 \%$
$\operatorname{HD}(A, B)=\max _{a \in A}\left\{\min _{b \in B}[d(a, b)]\right\}$
$\mathrm{IoU}=\frac{A \bigcap B}{A \bigcup B}$

2 结果与讨论

2.1 消融实验

本文模型采用了编码-解码结构,为了进一步验证模型的有效性和可靠性,设计了5组消融实验:本文提出的模型DGANet为第1组,双解码+膨胀卷积+CBAM为第2组,双解码+CBAM+GAU为第3组,CBAM+GAU+膨胀卷积为第4组,双解码+膨胀卷积+GAU为第5组.所有消融实验都是在batch size为2,训练轮数为50,学习率为0.000 5,采用BCELoss损失函数和Adam优化器下进行的.图5是不同消融策略下的对比,本文提出的模型平均Dice相似系数为86.28%,IoU为0.77,HD为7.7 mm,可以看出本研究提出的模型DGANet在Dice相似系数、IoU中都是最好的,虽然第3组在IoU评价指标下,分割精度持平,但是在平均Dice相似系数上本文提出的模型要比第3组的模型高出0.44%.可以看出在添加膨胀卷积和双解码器之后,Dice相似系数和IoU都有所提高,证明添加该模块是有效的.

图5

图5   不同消融实验的平均Dice相似系数、IoU和HD对比图

Fig. 5   Comparison of average Dice similarity coefficient, IoU and HD in different ablation experiments


图6是不同消融策略下,IoU和Dice相似系数的对比图,其中横坐标Epochs为训练轮次.从(a)到(e)分别是DGANet、双解码+膨胀卷积+CBAM、双解码+CBAM+GAU、CBAM+GAU+膨胀卷积、双解码+膨胀卷积+GAU,可以看出DGANet在Dice相似系数、IoU中表现都是最好的,结合图5,我们引入了标准差量化Dice相似系数的离散程度,发现在不使用膨胀卷积和不使用双解码器的情况下,Dice相似系数的离散程度的量化值较高,相比之下,本文提出的模型更加稳定,说明该模型的鲁棒性要优于其他模型.

图6

图6   不同消融实验的IoU和Dice相似系数(/100%)曲线对比图(a) DGANet;(b)双解码+膨胀卷积+CBAM;(c)双解码+CBAM+GAU;(d) CBAM+GAU+膨胀卷积;(e)双解码+膨胀卷积+GAU

Fig. 6   Comparison of IoU and Dice similarity coefficient (/100%) curve of different ablation experiments (a) DGANet; (b) double decoder+dilated convolution+CBAM; (c) double decoder+CBAM+GAU; (d) CBAM+GAU+dilated convolution; (e) double decoder +dilated convolution+GAU


图7是挑选5个典型病例,并采用不同消融策略训练的模型分割出来的5例效果图,其中mask是医生勾画的标签,之后是采取不同消融策略分割得到的效果图.在胰腺边缘比较平缓、没有突变的时候,类似于Case 1,五个模型的效果没有太显著的区别,但是如果胰腺附近存在和胰腺纹理特征相似的器官时,比如Case 2和Case 4,不使用CBAM和不使用GAU模块均出现了误判的情况;在类似于Case 3和Case 5的情况,胰腺存在突变,其他模型对突变部分的分割精度都存在一定误差,说明我们添加的双解码和膨胀卷积对分割边缘有明显提升,进一步证明了本文提出的模型明显要优于其他模型,且我们提出的模型对胰腺边缘具有更好的分割效果,说明模块是有效且可靠的.

图7

图7   不同消融实验的分割效果图

Fig. 7   Segmentation results of different ablation experiments


2.2 和其他文献模型对比

为了进一步验证本研究提出的模型在胰腺囊性肿瘤分割任务中的可靠性,将本文提出方法的结果与近几年文献中提出方法的结果进行对比.本文比较的这8种方法都是基于深度学习的分割模型,从表2可以看出,其他基于编码解码结构的常见模型的平均Dice相似系数均低于本文模型的结果,这说明本研究模型的分割结果与医生勾画出来的mask更加接近,且本文提出模型的Dice相似系数的离散程度低于表2中的模型,表明本研究提出的模型具有更好的鲁棒性.

表2   不同文献中的模型和本文模型的Dice相似系数对比

Table 2  Comparison of Dice similarity coefficients between the model in different literature and the model in this paper

模型数据来源数据类型Dice/%
VA-3DUNet[21]NIH3D(CT)86.19±9.03
Attention U-Net[9]CT-1503D(CT)84.00±8.70
Cascaded multitask 3-D fully convolutional networks[11]82(CT)3D(CT)85.9±5.10
HSSN[12]MRI3D(MRI)85.7±2.3
PanKNet[13]Pancreas-MRI3D(MRI)77.46±8.62
ConResNet[22]NIH3D(CT)86.06
PNet-MSA[8]MRI-792D(MRI)80.7±7.40
Spatial aggregation of holistically-nested convolutional neural networks[23]NIH2D(CT)81.27±6.27
deep convolutional LSTM neural network[24]MRI-792D(MRI)80.5±6.70
RSTN[25]NIH2D(CT)84.50±4.97
TransUnet[26]MICCAI 20152D(CT)73.96
DGANet(本文模型)长海医院2D(MRI)86.28±2.77

新窗口打开| 下载CSV


表2中前6种方法采用了3D模型,这6种模型都是基于编码解码的结构,通过不断对深层特征的提取,定位ROI区域,与此同时也丢失了一部分浅层信息,导致平均Dice相似系数并没有本文提出的模型高,这表明,增加数据复杂度并不能有效提升模型分割性能,还需要加强模型对浅层信息的利用.表2中文献[8]和文献[23]都分别提出了一种二阶段的分割方法,第一阶段先大概定位胰腺肿瘤的区域,将第一阶段输出的结果当作第二阶段的输入,数据经过第二阶段的处理后得到最后的分割图,但是Dice相似系数并没有我们提出的模型高,可能是在模型的第一阶段没有定位到胰腺肿瘤的大概位置,将错误的信息传入第二阶段,导致了Dice相似系数降低.文献[25]中引入了RNN,使平均Dice相似系数在文献[24]的基础上提高了4%,文献[26]融合了Transformer和U-Net两个经典网络,但是分割效果都没有本文提出的模型效果好,可能是因为胰腺这类软组织在CT成像时对比度较差,从而对后续的实验产生了一定影响,而本研究采用的是T2加权序列图像,囊肿在该序列的信号更强,更加有利于网络对特征的提取,并且我们提出的方法融合了高级特征和浅层特征,网络提取到的特征也就更加明显,所以模型分割效果更好.

3 结论

针对胰腺囊性肿瘤边缘分割精度不准确的问题,本文提出了一种融合双解码和全局注意力上采样模块的深度学习分割模型,该模型结合了双解码、膨胀卷积、GAU和CBAM模块.模型用膨胀卷积进行编码,获取更大的感受野,使特征图包含更多信息,并用GAU模块和双解码器进行解码,让高层特征信息为低层特征映射提供指导,再将得到的特征图进行特征融合,提升了对肿瘤边缘特征的提取能力,更好的完成胰腺囊性肿瘤分割任务.在消融实验中,本研究提出的模型效果最好,平均Dice相似系数达到了86.28%,IoU为0.77,HD为7.7 mm.因此本研究提出的分割模型具有可靠性和有效性,提高了胰腺囊性肿瘤分割的精度,在胰腺周围环境复杂、胰腺形态多变时,仍有较好的分割效果,具有较好的鲁棒性,有助于医生在临床上对胰腺囊性肿瘤进行判断和治疗.

但是本研究还存在一定局限性.首先该研究只使用了单一模态数据进行实验,采用多模态融合可能会进一步提升模型性能,未来将考虑使用多模态数据进行训练来提升胰腺囊性肿瘤分割精度.其次,分割精度还有待提升,未来的研究可以对实验数据进行样本扩增[27]或者继续改善模型结构,来提高模型分割精度.

利益冲突

参考文献

HUO L, HU X X, XIAO Q, et al.

Automatic segmentation of breast and fibroglandular tissues in DCE-MR images based on nnU-Net

[J]. Chinese J Magn Reson, 2021, 38(3): 367-380.

[本文引用: 1]

霍璐, 胡晓欣, 肖勤, .

基于nnU-Net的乳腺DCE-MR图像中乳房和腺体自动分割

[J]. 波谱学杂志, 2021, 38(3): 367-380.

DOI:10.11938/cjmr20212883      [本文引用: 1]

在乳腺动态增强磁共振(DCE-MR)图像中,乳房分割和腺体分割是进行乳腺癌风险评估的关键步骤.为实现在三维脂肪抑制乳腺DCE-MR图像中乳房和腺体的自动分割,本文提出一种基于nnU-Net的自动分割模型,利用U-Net分层学习图像特征的优势,融合深层特征与浅层特征,得到乳房分割和腺体分割结果.同时,基于nnU-Net策略,所使用的模型能根据图像参数自动进行预处理和数据扩增,并动态调整网络结构和参数配置.实验结果表明,在具有多样化参数的三维脂肪抑制乳腺DCE-MR图像数据集上,该模型能准确、有效地实现乳房和腺体分割,平均Dice相似系数分别达到0.969±0.007和0.893±0.054.

YAN S J, HAN Y S, TANG G Y.

An improved level set algorithm for prostate region segmentation

[J]. Chinese J Magn Reson, 2021, 38(3): 356-366.

[本文引用: 1]

闫士举, 韩勇森, 汤光宇.

一种用于前列腺区域分割的改进水平集算法

[J]. 波谱学杂志, 2021, 38(3): 356-366.

DOI:10.11938/cjmr20212885      [本文引用: 1]

前列腺区域的精确分割是提高计算机辅助前列腺癌诊断准确率的重要前提.本文提出了一种新的精确的前列腺区域分割模型,分为4个步骤:首先,读取T<sub>2</sub>加权磁共振(MR)图像;其次,利用半径为5个像素的8邻域模板(8x5)的局部二值模式(LBP)特征模板计算前列腺磁共振图像的LBP特征图;然后,利用改进的距离正则化水平集(DRLSE)模型对特征图进行分割,提取前列腺粗轮廓;最后将原始水平集能量函数进行优化,构造一个新的能量函数,提取局部灰度信息和梯度信息,并在此新的能量函数的基础上,将粗轮廓迭代演化为最终的细轮廓.本文将该模型在203组来自于国际光学与光子学学会-美国医学物理学家协会-国家癌症研究所(SPIE-AAPM-NCI)前列腺MR分类挑战数据库的T2W磁共振图像上进行了测试,并与医生手工分割结果进行了比较,结果表明本文提出模型得到的分割结果的Dice系数为0.94&#177;0.01,相对体积差(RVD)为-1.21%&#177;2.44%,95% Hausdorff距离(HD)为6.15&#177;0.66 mm;与文献中现有的分割模型相比,使用本文提出的模型得到的前列腺区域分割结果更接近于手工分割的结果.

WANG M, LI D.

An automatic segmentation method for lung tumor based on improved region growing algorithm

[J]. Diagnostics, 2022, 12(12): 2971.

[本文引用: 1]

SULTANA F, SUFIAN A, DUTTA P.

Evolution of image segmentation using deep convolutional neural network: A survey

[J]. Knowl Based Syst, 2020, 201: 106062.

[本文引用: 1]

JHA D, RIEGLER M A, JOHANSEN D, et al.

Doubleu-net: A deep convolutional neural network for medical image segmentation

[C]// 33rd International symposium on computer-based medical systems (CBMS). IEEE, 2020: 558-564.

DOLZ J, GOPINATH K, YUAN J, et al.

HyperDense-Net: a hyper-densely connected CNN for multi-modal image segmentation

[J]. IEEE T Med Imaging, 2018, 38(5): 1116-1126.

[本文引用: 1]

RONNEBERGER O, FISCHER P, BROX T.

U-net: convolutional networks for biomedical image segmentation

[C]// Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015: 18 th International Conference, Munich, Germany, Proceedings, Part III 18. Springer International Publishing, 2015: 234-241.

[本文引用: 1]

CAI J, LU L, XING F, et al.

Pancreas segmentation in CT and MRI images via domain specific network designing and recurrent neural contextual learning

[J]. ArXiv: 1803.11303, 2018.

[本文引用: 3]

OKTAY O, SCHLEMPER J, FOLGOC L L, et al.

Attention U-net: Learning where to look for the pancreas

[J]. ArXiv: 1804.03999, 2018.

[本文引用: 2]

WANG Y, GONG G, KONG D, et al.

Pancreas segmentation using a dual-input V-mesh network

[J]. Med Image Anal, 2021, 69: 101958.

[本文引用: 1]

XUE J, HE K, NIE D, et al.

Cascaded multitask 3-D fully convolutional networks for pancreas segmentation

[J]. IEEE Trans Cybern, 2019, 51(4): 2153-2165.

[本文引用: 2]

ASATURYAN H, THOMAS E L, FITZPATRICK J, et al.

Advancing pancreas segmentation in multi-protocol mri volumes using hausdorff-sine loss function

[C]// Machine Learning in Medical Imaging:10th International Workshop, 2019: 27-35.

[本文引用: 2]

PROIETTO S F, BELLITTO G, IRMAKCI I, et al.

Hierarchical 3D feature learning forpancreas segmentation

[C]// Machine Learning in Medical Imaging: 12th International Workshop, 2021: 238-247.

[本文引用: 2]

BI X L, LU M, XIAO B, et al.

Pancreas segmentation based on dual-decoding U-Net

[J]. J Softw, 2022, 33(5): 1947-1958.

[本文引用: 1]

毕秀丽, 陆猛, 肖斌, .

基于双解码U型卷积神经网络的胰腺分割

[J]. 软件学报, 2022, 33(5): 1947-1958.

[本文引用: 1]

LI Y, ZHANG X, CHEN D.

CSRNet: dilated convolutional neural networks for understanding the highly congested scenes

[C]// Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 1091-1100.

[本文引用: 1]

LI H, XIONG P, AN J, et al.

Pyramid attention network for semantic segmentation

[J]. ArXiv: 1805.10180, 2018.

[本文引用: 1]

WOO S, PARK J, LEE J Y, et al.

CBAM: convolutional block attention module

[C]// Proceedings of the European conference on computer vision (ECCV). 2018: 3-19.

[本文引用: 1]

ZHOU Z, SIDDIQUEE M M R, TAJBAKHSH N, et al.

Unet++: Redesigning skip connections to exploit multiscale features in image segmentation

[J]. IEEE Trans Med Imaging, 2019, 39(6): 1856-1867.

[本文引用: 1]

YU F, KOLTUN V.

Multi-scale context aggregation by dilated convolutions

[J]. ArXiv: 1511.07122, 2015.

[本文引用: 1]

WANG P, CHEN P, YUAN Y, et al.

Understanding convolution for semantic segmentation

[C]// 2018 IEEE winter conference on applications of computer vision (WACV). IEEE, 2018: 1451-1460.

[本文引用: 1]

WANG Y, ZHANG J, CUI H, et al.

View adaptive learning for pancreas segmentation

[J]. Biomed Signal Process Control, 2021, 66: 102347.

[本文引用: 1]

ZHANG J, XIE Y, WANG Y, et al.

Inter-slice context residual learning for 3D medical image segmentation

[J]. IEEE Trans Med Imaging, 2020, 40(2): 661-672.

[本文引用: 1]

ROTH H R, LU L, LAY N, et al.

Spatial aggregation of holistically-nested convolutional neural networks for automated pancreas localization and segmentation

[J]. Med Image Anal, 2018, 45: 94-107.

DOI:S1361-8415(18)30021-5      PMID:29427897      [本文引用: 2]

Accurate and automatic organ segmentation from 3D radiological scans is an important yet challenging problem for medical image analysis. Specifically, as a small, soft, and flexible abdominal organ, the pancreas demonstrates very high inter-patient anatomical variability in both its shape and volume. This inhibits traditional automated segmentation methods from achieving high accuracies, especially compared to the performance obtained for other organs, such as the liver, heart or kidneys. To fill this gap, we present an automated system from 3D computed tomography (CT) volumes that is based on a two-stage cascaded approach-pancreas localization and pancreas segmentation. For the first step, we localize the pancreas from the entire 3D CT scan, providing a reliable bounding box for the more refined segmentation step. We introduce a fully deep-learning approach, based on an efficient application of holistically-nested convolutional networks (HNNs) on the three orthogonal axial, sagittal, and coronal views. The resulting HNN per-pixel probability maps are then fused using pooling to reliably produce a 3D bounding box of the pancreas that maximizes the recall. We show that our introduced localizer compares favorably to both a conventional non-deep-learning method and a recent hybrid approach based on spatial aggregation of superpixels using random forest classification. The second, segmentation, phase operates within the computed bounding box and integrates semantic mid-level cues of deeply-learned organ interior and boundary maps, obtained by two additional and separate realizations of HNNs. By integrating these two mid-level cues, our method is capable of generating boundary-preserving pixel-wise class label maps that result in the final pancreas segmentation. Quantitative evaluation is performed on a publicly available dataset of 82 patient CT scans using 4-fold cross-validation (CV). We achieve a (mean  ±  std. dev.) Dice similarity coefficient (DSC) of 81.27 ± 6.27% in validation, which significantly outperforms both a previous state-of-the art method and a preliminary version of this work that report DSCs of 71.80 ± 10.70% and 78.01 ± 8.20%, respectively, using the same dataset.Copyright © 2018. Published by Elsevier B.V.

CAI J, LU L, XIE Y, et al.

Improving deep pancreas segmentation in CT and MRI images via recurrent neural contextual learning and direct loss function

[J]. ArXiv: 1707.04912, 2017.

[本文引用: 2]

YU Q, XIE L, WANG Y, et al.

Recurrent saliency transformation network: Incorporating multi-stage visual cues for small organ segmentation

[C]// Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 8280-8289.

[本文引用: 2]

CHEN J, LU Y, YU Q, et al.

Transunet: Transformers make strong encoders for medical image segmentation

[J]. ArXiv: 2102.04306, 2021.

[本文引用: 2]

WANG H Z, ZHAO D, YANG L Q, et al.

An approach for training data enrichment and batch labeling in AI+MRI aided diagnosis

[J]. Chinese J Magn Reson, 2018, 35(4): 447-456.

[本文引用: 1]

汪红志, 赵地, 杨丽琴, .

基于AI+MRI的影像诊断的样本增广与批量标注方法

[J]. 波谱学杂志, 2018, 35(4): 447-456.

DOI:10.11938/cjmr20182658      [本文引用: 1]

训练样本是所有领域人工智能(AI)研发的关键因素.目前,基于人工智能+磁共振成像(AI+MRI)的影像诊断存在着训练样本的有效标注数量和类型无法满足研发需求的瓶颈问题.本文利用临床MRI设备对志愿者或阳性病例进行正常或重点病灶区的定量扫描,获取高分辨率各向同性的纵向弛豫时间(T<sub>1</sub>)、横向弛豫时间(T<sub>2</sub>)、质子密度(Pd)和表观扩散系数(ADC)等物理信息的多维数据矩阵,作为原始数据.开发虚拟MRI技术平台,对原始数据(相当于数字人体样本)进行虚拟扫描,实现不同序列不同参数下的多种类磁共振图像输出.选择感兴趣组织具有最好边界区分度的图像种类,经有经验的影像医生对其进行手动勾画并轨迹跟踪形成三维MASK标注矩阵,作为其他种类图像的图像勾画标注模板,从而实现低成本、高效率的MRI样本增广和批量标注.该平台以临床少量阳性病例作为输入,进行样本增广和标注,极大地减少AI对实际扫描样本的要求,降低了影像医生的精力和时间投入,极大地节省了成本,并输出了数量足够的磁共振图像,为基于AI+MRI的影像诊断研发提供低成本的训练数据解决方案.

/