波谱学杂志, 2022, 39(3): 366-380 doi: 10.11938/cjmr20212962

综述与评论

生成对抗网络在医学图像转换领域的应用

常晓1, 蔡昕1, 杨光2, 聂生东,1

1. 上海理工大学医学影像工程研究所，上海 200082

2. 华东师范大学 物理与电子科学学院，上海 200062

Applications of Generative Adversarial Networks in Medical Image Translation

CHANG Xiao1, CAI Xin1, YANG Guang2, NIE Sheng-dong,1

1. Institute of Medical Imaging Engineering, University of Shanghai for Science and Technology, Shanghai 200082, China

2. School of Physics and Electronic Science, East China Normal University, Shanghai 200062, China

通讯作者: 聂生东, Tel: 18930490962, E-mail:nsd4647@163.com

收稿日期: 2021-12-6  

基金资助: 国家自然科学基金资助项目.  81830052
上海市分子影像重点实验室资助项目.  18DZ2260400

Received: 2021-12-6  

摘要

近年来，生成对抗网络（Generative Adversarial Network，GAN）以其独特的对抗训练机制引起广泛的关注，应用场景也逐渐延伸到医学图像领域，先后出现了众多优秀的研究成果.本文首先介绍了GAN的理论背景及衍生出的典型变体，特别是多种用于医学图像转换领域的基础GAN模型.随后从多种不同的目标任务和训练方式出发，对前人的研究成果进行了归纳总结，并对优缺点进行了分析.最后就目前GAN在医学图像转换领域存在的不足以及未来的发展方向进行了细致讨论.

关键词： 生成对抗网络（GAN） ; 医学影像 ; 图像转换 ; 多模态 ; 深度学习

Abstract

In recent years, the generative adversarial network (GAN) has attracted widespread attention with its unique adversarial training mechanism. Its applications have gradually extended to the field of medical imaging, and much excellent research has emerged. This paper reviews the research progress of the popular application for GAN in medical image translation. It starts with an introduction to the basic concepts of GAN and its typical variants, emphasizing on several GANs related to medical image translation. Then, the recent progress is summarized and analyzed from the perspectives of different target tasks and training modes. Finally, the remaining challenges of GAN in medical image translation and the directions of future development are discussed.

Keywords： generative adversarial network (GAN) ; medical image ; image translation ; multimodal ; deep learning

PDF (1349KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

常晓, 蔡昕, 杨光, 聂生东. 生成对抗网络在医学图像转换领域的应用. 波谱学杂志[J], 2022, 39(3): 366-380 doi:10.11938/cjmr20212962

CHANG Xiao. Applications of Generative Adversarial Networks in Medical Image Translation. Chinese Journal of Magnetic Resonance[J], 2022, 39(3): 366-380 doi:10.11938/cjmr20212962

引言

生成对抗网络[1]（Generative Adversarial Network，GAN）自2014年被提出后就广受关注，并因新颖的训练方式率先在计算机视觉领域大放异彩，而后被引入图像转换（Image Translation）领域[2-7]. 其目的是使一幅图像在保留自身核心内容的前提下，携带上另一个图像数据集或者图像样本的部分属性，并完成转换.

GAN的这一思想恰好满足了临床医学图像领域的多种需求[8, 9].首先，临床影像学检查包含多种成像方法，它们各有优缺点.譬如，计算机断层扫描（Computed Tomography，CT）和正电子发射断层扫描（Positron Emission Computed Tomography，PET）成像方式方便快捷，但有一定的辐射，且不适合孕妇和新生儿；而磁共振成像（Magnetic Resonance Imaging，MRI）扫描的优势之一便是无电离辐射.如果能由磁共振图像估计出对应的CT/PET图像，或者由低剂量CT/PET图像估计高剂量CT/PET图像，那么将大大扩展影像学的应用范围.其次，为实现精准诊疗，医学图像的去噪尤为重要.GAN的出现为医学图像去噪提供了全新的思路，可通过网络学习含噪图像到去噪图像的映射进而实现图像去噪.然后，对于目前亟待解决的图像超分辨问题（例如将厚层CT图像转换成薄层CT图像、将低分辨率磁共振图像转换到高分辨率磁共振图像），以及某些医学领域中特殊的图像转换问题（例如将小样本数据转换为大样本数据），GAN也会发挥一定功能.

除了GAN应用于医学图像转换领域时临床目标的区别，由于医用数据收集的特殊性（比如难以收集海量的医学数据，各家医疗机构的数据难以互通，共享困难；医疗领域本身具有极强专业性和敏感性，企业想要得到高质量的医疗数据往往需要付出更高的成本；医生勾画的金标准数据比较难以获得），GAN在医学图像转换领域的研究中采用的网络训练方式也有所区别，主要集中在以下三种：监督式训练、半监督式训练与无监督式训练.其中，后两者在实际临床应用中更加广泛，而这也与GAN开发中的无监督或者弱监督属性不谋而合.为便于从事该领域的研究人员根据自身数据集的特点，寻适合适的训练方式，我们对于这部分的文献也进行了梳理总结，尽量涵盖多种成像手段，这也是我们有别于其他同类综述的新颖之处.

本文主要针对GAN在医学图像转换领域的热门研究进行综述：第一部分介绍了原始GAN模型与文献中多有涉及的几种典型变体，以及常用于医学图像转换的基础GAN模型；第二、第三部分分别从目标任务、训练方式的角度系统梳理了近年来GAN在医学图像转换领域的应用；第四部分在对文献总结分析的基础上，详细讨论了目前存在的问题与未来的发展方向.

1 GAN及其改进模型

1.1 原始GAN模型及典型变体

2014年，Goodfellow等[1]提出了最初的GAN模型，它是一种无监督机器学习框架.完整的GAN模型由生成器G和鉴别器D组成：G负责捕捉数据的分布，并学习如何生成相同分布的数据；D是一个二元分类器，负责评估该分布来自真实分布的概率，整个训练就是一个对抗模式，如图 1所示.

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1   生成对抗网络中生成器G与鉴别器D之间的对抗模式[1]

Fig.1   The adversarial mode between generator G and discriminator D in GAN[1]


但随着研究的深入，原始GAN存在的问题逐渐暴露，具体表现为：（1）训练结果不稳定；（2）生成目标不明确，可控性不强；（3）生成器和鉴别器之间的训练难以平衡；（4）生成图像效果不理想且收敛速度慢；（5）出现模式坍塌现象，生成的样本严重缺乏多样性.针对这些问题，众多优秀的改进GAN模型相继出现（图 2），改进策略主要集中在两个方面：损失函数层面、网络结构层面. 对损失函数进行改进的模型包括：对抗损失依据条件概率优化的条件生成对抗网络（Conditional Generative Adversarial Networks，CGAN）模型[10]、用最小二乘对抗损失替换交叉熵对抗损失的最小二乘生成对抗网络（Least Squares Generative Adversarial Networks，LSGAN）模型[11]、用Wasserstein距离替代JS距离（Jensen-Shannon distance）来定义目标函数的Wasserstein GAN（WGAN）模型[12]，以及含梯度惩罚项的Wasserstein GAN with Gradient Penalty（WGAN-GP）模型[13]等.典型的对网络结构改进的模型包括融入卷积神经网络的深度卷积生成对抗网络（Deep Convolution Generative Adversarial Networks，DCGAN）模型、将CGAN网络和拉普拉斯金字塔网络（Laplacian Pyramid Network）相结合的拉普拉斯生成对抗网络（Laplacian Generative Adversarial Network，LAPGAN）模型[14]、对生成图像进行精细化鉴别的PatchGAN模型[15]、生成高分辨率图像的渐进生长式生成对抗网络（Progressive Growing of GANs，PGGAN）模型[16]等.

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2   医学图像转换领域的常用GAN模型. (a)按改进策略分类；(b)按训练方式分类

Fig.2   GAN models in medical image translation. (a) GAN variants according to improvement strategy; (b) GAN variants according to training modes


1.2 半监督式与无监督式GAN模型

本文将结合目前的文献信息，介绍几种常用于医学图像转换领域中的半监督式训练与无监督式训练的GAN模型：Pix2Pix[15]、Pix2PixHD[2]、CycleGAN[3].前两者适用于配对数据集的图像转换，而后者则可以用在非配对数据集上.Pix2Pix是基于CGAN进行图像转换的条件GAN模型，选用U-Net[17]作为生成器架构以共享底层图像信息，选用PatchGAN作为鉴别器架构以恢复图像的高频部分，目标函数包含对抗损失与L1损失以完整恢复出图像的高低频信息.Pix2PixHD是Pix2Pix的重要升级，生成器和鉴别器的设计都采用类似LAPGAN的思路，以支持高分辨率图像的生成.但它们都在非配对数据集上表现不佳.CycleGAN的出现为非配对数据集的图像转换提供了思路.它通过训练两对生成器-鉴别器，实现图像在两个域之间的无监督转换. 它的特别之处在于引入了循环一致性约束，使得风格转换后的图像在反向转换后可以回到转换前的状态. 类似的还有DualGAN[18]和DiscoGAN[19].

2 GAN在不同目标任务下的应用

2.1 含噪图像转化为去噪图像

一直以来，医学图像的去噪都是一个重要的研究课题. GAN的出现为由含噪图像生成去噪图像提供了一个新思路.在CT领域，GAN主要应用于如何去除低剂量CT（Low-Dose CT，LDCT）图像所含噪声.2018年，Yang等[20]提出了一种融入感知相似度的WGAN模型，引入了人类的视觉感知概念.它能更好地保留去噪后图像的细节特征，但抛弃了3D空间信息.随后，Shan等[21]在Yang等[20]的基础上，搭建了2D和3D相结合的基于输送路径的卷积编码器（Conveying Path-based Convolutional Encoder-decoder，CPCE）.它弥补了前者浪费空间信息的不足，实现了更加快速的3D图像去噪.Liao等[22]同样受到Yang等[20]工作的启发，通过感知损失[20]来减少稀疏重建的锥束CT（Cone-Beam CT，CBCT）图像的伪影.生成器选用LSGAN模型，鉴别器结合了PatchGAN模型和LAPGAN模型，很好地解决了跨尺度出现的条纹伪影. 该方法可以极大地校正使用1/3投影重建的临床CBCT图像中出现的锥束伪影.但它的不足之处在于对训练数据要求较高，文中采用的是用67张投影图重建的稀疏（sparse-view）图像和200张投影图重建的稠密（dense-view）图像组成的配对数据. 但上述GAN模型的损失函数容易引发梯度消失现象.为此，WGAN模型及其变体的应用研究开始受到了研究者们的关注[23, 24].针对人体不同部位解剖结构的差异性与共通性，Huang等[25]借鉴条件GAN的思想，将解剖部位标签融入WGAN网络，充分利用解剖先验信息，自适应地生成高分辨率的CT图像.在磁共振领域，Ran等[26]提出一种端到端的基于WGAN的3D去噪模型，如图 3所示.不仅在生成器中加入了残差块来实现深层的图像特征学习，更通过修改对抗损失提升噪声抑制和结构保持能力.

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3   (a) 加入残差块的生成器G的网络框架[26]；(b)所用鉴别器D的网络框架[26]

Fig.3   (a) The architecture of the generator G with residual blocks[26]; (b) The architecture of the discriminator D[26]


2.2 低分辨率图像转换为高分辨率图像

高分辨率的影像数据可以为医生提供更加准确、丰富的诊断信息.在将GAN与多种影像数据结合的研究中，大多要求低分辨率影像数据和对应的高分辨率影像数据配对出现.2018年，Chen等[27]在GAN的基础上构建了多层密集连接超分辨率网络（multi-level Densely Connected Super-Resolution Network，mDCSRN），用以实现从低分辨率3D磁共振图像中恢复高分辨率细节.该研究的难点在于血管的生成，而该文章所生成图像中的血管不仅维持了与金标准相同的形状和大小，并且与灰质之间的间隙也更加清晰.2020年，Sun等[28]通过结合GAN与单图像超分辨率（Single Image Super-Resolution，SISR）技术，高质量完成了动态对比度增强的乳腺磁共振图像的超分辨任务[图 4(a)].这项研究表明基于SISR，磁共振检查的时间可以大大缩短，但该研究的不足之处在于数据量较小、缺乏多中心的数据和对局部特征的关注，并且没有与其他自动化方法进行对比.不同于大多数超分辨研究需建立在配对数据集上的要求，2021年，Xie等[29]提出可以利用CycleGAN从不配对的磁共振图像中，沿不同成像方位生成高分辨率的磁共振图像，最后通过图像融合达到超分辨目的.因为辐射剂量的关系，低剂量CT/PET图像的超分辨率研究也相当重要.2018年，Wang等[30]基于3D CGAN从低剂量PET图像中估计全剂量PET图像[图 4(b)].但该工作的完成极大依赖于配对数据的参与，且目前还只局限在脑部PET图像.2019年，Kudo等[31]结合CGAN从厚层CT图像中重建出薄层CT图像[图 4(c)].生成的CT图像可以高分辨率准确再现主要解剖结构，获得了最佳的峰值信噪比（Peak Signal to Noise Ratio，PSNR）、结构相似性（Structure Similarity Index Measure/Mean Structure Similarity Index Measure，SSIM/MSSIM）和视觉图灵测试结果，但目前只局限于正常组织图像，未对病灶图像进行深入研究.上述两项工作的不足之处都是没有结合多模态影像信息.2021年，De Farias等[32]利用带有金字塔结构的GAN模型生成超分辨率的CT图像，大幅度增加了组学特征的数量，从而提升了基于特征建模的组学模型的诊断准确率.但该研究主要集中于病灶区域，尤其是病灶内的影像特征，对全局图像的一致性要求相对宽松（PSNR/SSIM都没有显著提高），但局限性在于必须提供勾画好感兴趣区域（Region of Interest，ROI）的影像数据.

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4   (a) 动态对比度增强的乳腺磁共振图像的超分辨任务[28]；(b)由低剂量PET图像估计全剂量PET图像的CGAN框架[30]；(c)从厚层CT图像中重建出薄层CT图像的CGAN框架[31]. 图中的绿色虚线框中为训练数据对

Fig.4   (a) High-resolution breast DCE MRI reconstruction[28]; (b) CGAN framework for estimating full-dose PET image from low-dose counterpart[30]; (c) CGAN framework for reconstructing thin CT image from thick counterpart[31]. The training image pair is in the green dashed box


2.3 模态转换

在医学图像领域，影像数据间的转换通常是作为一种辅助手段来提升影像诊断准确性，这里尽量涵盖不同领域运用GAN进行模态转换的研究成果.在多序列磁共振领域，2018年，Yu等[33]利用CGAN模型实现了从T1加权磁共振图像合成液体衰减反转恢复（Fluid Attenuated Inversion Recovery，FLAIR）磁共振图像，以改善由单一T1加权图像进行脑肿瘤分割的结果. 该方法对于不同外观、不同大小、不同位置的脑肿瘤，均表现出很好的分割效果，但生成图像的边缘信息较为模糊.此后，该团队又提出了一种边缘感知3D-CGAN模型[34]以挖掘跨模态高质量磁共振图像合成中的更多可能性.其中的Sobel滤波器可以更好地恢复图像边缘信息，但该研究没有基于验证集进行最优参数的选择，且数据集必须配对收集，限制了其临床应用.为避免辐射，由磁共振图像估计CT图像也是当下一大热点，而这部分研究也要求数据集是配对收集的.例如，2017年，Nie等[35]就曾利用DCGAN模型，在给定磁共振图像块的情况下生成对应的CT图像块[图 5(a)].该方法通过对损失函数进行修改，克服了图像块训练中上下文信息丢失的问题.而Zhao等[36]也基于相似思路，利用由磁共振图像中生成的CT图像进行骨结构分割.利用GAN既生成了CT图像，又基于生成的CT图像进一步生成了分割结果，充分体现了GAN网络强大的域适应能力[图 5(b)].特别地，这两个研究[35, 36]所用的数据高度重合. 为能够进行仅MR引导的放射治疗，Maspero等[37]集中评估了多种GAN模型快速合成CT图像的表现，以及将其集成至MR引导的放射治疗中的可行性. 这项研究通过融合多模态磁共振图像来丰富图像信息，解决了生成的CT图像上气腔（Air Pockets）位置与磁共振图像不一致的问题，如图 5(c)中preparation所示.另外，还有不少从现有影像数据估计缺省影像数据的研究.2017年，Bi等[38]利用有监督的方式通过多通道GAN（M-GAN）模型从CT数据合成了PET数据.2018年，Pan等[39]利用CycleGAN模型从MRI数据估计PET数据，从而借助完整的MRI和PET数据对阿兹海默症进行诊断. 2020年，Wei等[40]利用加入注意力机制的CGAN，从多序列磁共振图像估计出PET图像，并进一步用于多发性硬化症的个体纵向分析.2021年，Lewis等[41]在研究结核病时，利用GAN网络实现X射线图像到CT图像的转换，从而解决面临资源匮乏型环境或危重患者时CT不可用的困境，依靠综合生成的CT图像将结核病识别率提高了7.50%.这些研究通过现有影像数据完成对缺省影像数据的估计，大大扩展了计算机辅助诊断的应用场景.它们的关键之处都在于生成图像是否逼真，关于这一点，不仅要依赖于肉眼观测，更要依靠诸如PSNR、MSE、FID（Fréchet Inception Distance）距离在内的量化指标进行综合考量.下游任务的表现性能也可以用来衡量生成结果的有效性.

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5   三项针对磁共振图像转换为CT图像的研究. (a)基于DCGAN，数据包括来自ADNI的大脑公开数据和自己获取的骨盆数据[35]；(b)分割任务与图像转换任务依靠GAN网络实现结合，数据也来自ADNI的大脑公开数据[36]；(c)仅MR引导的放射治疗[37]

Fig.5   Three researches on translating magnetic resonance image to CT image. (a) Based on DCGAN, and the datasets include the public brain dataset in ADNI database and their own pelvic dataset[35]; (b) Segmentation and image translation are all achieved by GAN, and the dataset is also the public brain dataset in the ADNI database[36]; (c) MR-only guided radiotherapy[37]


2.4 小样本转换为大样本

目前，很多医学图像获取的途径较少，且存在各种困难，导致收集到的数据规模较小.因此，如何对样本数据进行有效增广成为了研究热点.在磁共振领域，2017年，Calimeri等[42]利用GAN网络实现了人大脑磁共振图像数据的扩充，有效提升了诊断算法的泛化能力，但仅能生成2D图像，且质量有待进一步提高，同时缺乏与其他GAN模型的结果对比. 随后，Han等利用GAN实现了对多序列脑磁共振图像的数据增广[43]，利用条件PGGAN实现了转移性脑瘤检测任务中的数据增广[44]，利用PGGAN来生成有肿瘤/无肿瘤的脑磁共振图像以提高肿瘤检测任务的敏感性[45]，分别如图 6(a)~(c)所示.这些工作大大减少了包括检测、分割、分类等在内的多种影像任务所需的标注数据量，能更精准地恢复图像的细节信息，但不能实现端到端.2019年，Hassan Dar等[46]基于CGAN模型，通过合成多个具有不同对比度的相同解剖结构的磁共振图像来丰富可用的诊断信息.针对已配准的图像，他们采取像素级损失和感知损失，而对于未配准的图像则采用循环一致性损失.此方法可以实现端到端地图像合成，能适应多种数据集类型.Appan等[47]和Iqbal等[48]均利用GAN进行视网膜病理图像的扩充，分别提升了出血任务的自动检测性能和视网膜血管的分割性能，解决了模型在小样本数据集上表现不佳的问题. 利用GAN进行心电图数据扩充可以解决数据集不平衡的问题[49-51]，消除数据稀缺的影响，提高心律失常分类模型的检测灵敏度和精度.Madani等[52]将GAN网络用于心血管异常分类任务中胸部X射线图像数据的扩充.Bailo等[53]将Pix2PixHD模型应用到红细胞分割任务的图像扩充.Hallaji等[54]基于GAN提出一种对抗性插补分类网络，以预测当数据中存在缺失值和类别不平衡时肝移植患者的生存机会.总而言之，利用GAN进行数据扩充的应用领域十分广泛，具有很大的发展潜力.

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6   (a) 利用GAN进行大脑磁共振图像的增广[43]；(b)脑肿瘤检测中基于条件PGGAN的磁共振数据增广[44]；(c)脑肿瘤检测中融合了噪声-图像GAN和图像-图像GAN的磁共振数据增广[45]

Fig.6   (a) GAN-based synthetic brain MR image augmentation[43]; (b) PGGAN-based brain MRI data augmentation for better tumor detection[44]; (c) Brain MR image augmentation based on combining noise-to-image and image-to-image GANs in tumor detection[45]


3 不同训练方式下的GAN应用

不同的网络训练方式是为了满足不同的数据集类型：包括全部为配对数据的数据集、全部为非配对数据的数据集和既有配对数据又有非配对数据的数据集.在上述应用场景中，多数任务的训练采用有监督方式进行，其好处是可以通过加入医学先验知识获得准确性较高的结果. 但不少医学图像存在部分模态数据缺失或无标记数据的情况，另外两种训练方式得以衍生：半监督式训练和无监督式训练. 前者旨在使用少量的标记数据和大量的无标记数据进行模型训练；而后者情况相对更加复杂，包括无标记数据和无配对数据两种情况. 不同的GAN模型通过不同的网络结构设计以及不同的损失函数设计适应于不同的训练模式.下文将介绍半监督式和无监督式训练时的GAN应用.

3.1 半监督的训练方式

半监督学习介于监督学习和无监督学习之间，可以在减少人力成本和时间成本的前提下获得准确的诊断结果. 尤其对于小批量样本来说，半监督学习还有助于避免过拟合.2017年，Alex等[55]基于GAN模型先利用大量未标记的脑部病变磁共振图像进行了预训练，再通过提取少量标记患者的病灶区域对网络进行了微调. 该方法大大减少了所需标记样本的数量，减轻了临床医生的标记工作量，并且模型表现出很好的泛化能力.2018年，Madani等[56]在对胸部X光片进行心脏异常分类任务中，利用GAN实现心脏数据的增广，证明了与传统的监督式卷积神经网络相比，半监督学习的GAN模型达到同样准确率所需的数据量减少了一个数量级.但该工作并未对多标签疾病分类进行更多研究.Jiang等[57]通过GAN由大量的CT图像合成磁共振图像，再结合原始数量有限的磁共振图像实现了半监督的肿瘤分割任务，有效提高了肿瘤分割的准确性，如图 7(a)所示.2020年，You等[58]将半监督学习框架与WGAN模型相结合，高效且鲁棒地从低分辨率CT图像中恢复准确的高分辨率CT图像.但所提方法训练时间较长，细微信息不能全部很好地恢复.Wang等[59]使用包括成对和不成对的表观弥散系数（Apparent Diffusion Coefficient，ADC）-T2加权磁共振图像，利用多个GAN网络实现多参数磁共振图像合成的任务，如图 7(b)所示.该方法通过多个GAN网络的搭建，巧妙地化解了全尺寸图像生成的难度，将生成全尺寸图像的任务分解为几个生成子图像的简单任务，再利用StitchLayer以隔行扫描的方式将子图像无缝融合，最终形成全尺寸的ADC-T2加权图像.2022年，Li等[60]利用LAPGAN生成大规模逼真的组织病理图像及其掩膜，实现了针对组织病理图像的半监督分割. 但生成的部分图像存在伪影，解决策略或许需要来自病理学家的先验知识.

图7

新窗口打开| 下载原图ZIP| 生成PPT

图7   (a) 将合成的MRI数据与带有相应标签的小部分真实MRI数据结合来进行半监督分割[57]；(b)半监督多参数MRI数据合成方法框架[59]

Fig.7   (a) Combine the synthesized MRI data with a fraction of real MRI data with corresponding labels for semi-supervised segmentation[57]; (b) The framework of the proposed semi-supervised mp-MRI data synthesis method[59]


3.2 无监督的训练方式

医学影像中包含很多无标记或非配对的数据，无监督GAN模型的出现，为利用这些数据提供了途径.基于CGAN模型，Zhang等[61]实现了基于无标记腺体显微镜图像的准确分割.而Wolterink等[62]实现了从低剂量CT图像到高质量的常规剂量CT图像的非配对合成.该研究的最大优势在于处理速度快，处理512 × 512 × 90的CT数据用时不超过10 s，但缺乏对全身不同部位CT图像以及对于儿童的研究. 基于CycleGAN模型，Chartsias等[63]实现了不成对的人体心脏CT图像到磁共振图像的转换. 生成图像可以直接用于扩展某个给定任务的可用训练集数据量.Wolterink等[64]基于CycleGAN模型，利用不成对的磁共振图像与CT图像实现磁共振图像到CT图像的转换. 该研究为仅基于MRI的放疗计划提供了技术支持.Yang等[65]在Wolterink等[64]工作的基础上，在输入的磁共振图像与合成的CT图像间加入结构的直接约束项，解决了部分实验结果的结构不一致问题，如图 8(a)所示.Bermudez等[66]通过对528个二维轴向脑部磁共振切片的学习，实现了基于GAN网络进行T1加权脑部磁共振图像的无监督合成，如图 8(b)所示.在两名成像专家的盲法评估下，合成图像的质量得分与真实图像的质量得分基本重叠. 该项研究为大脑的结构变化提供了定量框架.上述方法都是通过学习真实图像的分布，来生成接近真实图像的图像. 而Mahmood等[67]设计了一种“反其道而行之”的无监督学习算法，让真实的医学图像分布逼近生成的医学图像分布，从而使这些经过域适应的真实图像数据可以用于那些利用合成数据训练的网络. 该研究目前已被应用于内窥镜检查中.2021年，Li等[68]利用无监督GAN模型实现了光学显微成像中的染色过程，可以在不需要配对训练数据的情况下学习两个图像域之间的映射.该方法在不同的成像条件和成像模式下实现了稳定和高保真度的图像转换，可以避免收集配对样本时破坏样本的问题.

图8

新窗口打开| 下载原图ZIP| 生成PPT

图8   (a) 使用结构约束的cycleGAN进行非配对大脑磁共振数据-大脑CT数据的合成[65]；(b)用于合成T1加权磁共振图像的GAN网络架构[66]

Fig.8   (a) Unpaired brain MR-to-CT synthesis using a structure-constrained cycleGAN[65]; (b) Pipeline and network architecture of GAN used for T1-weighted MR image synthesis[66]


4 总结与展望

本文对基于GAN的医学图像转换研究进行了总结，时间跨度为2017~2022年（表 1）.由表 1可以看出应用于磁共振图像模态转换的GAN研究最为普遍，主要是基于以下原因：MRI涉及众多序列，成像时间相对较长，图像转换有助于减少时间成本；MRI具有较多的公共数据集，为模型训练的研究提供了众多样本来源.另外，Pix2Pix模型在含噪图像转换至去噪图像的任务中广泛应用，但它要求数据必须配对出现，这就意味着所用损失函数中很有可能包含L1损失或者L2损失，用以保证结构一致性.目前较为通用的三种模型性能评价指标包括均方误差（Mean Square Error，MSE）、PSNR和SSIM，也可以结合任务需求通过在下游任务的表现来评价.

表1   基于GAN的医学图像转换研究

Table 1  Summary of medical image translation research based on GAN

应用场景文献图像类型网络架构损失函数评价标准
含噪图像
↓
去噪图像		[20]CTWGANLWGAN + Limage +LperceptualM8, 9, 14
[21]CTPix2Pix+LGAN + LperceptualM5, 6, 8, 9
[22]CTLSGAN, PatchGAN, LAPGANLGAN + Limage+LperceptualM7, 8, 9
[26]MRIWGANLWGAN + Limage+LperceptualM8, 9
低分辨图像
↓
高分辨图像		[27]MRIPix2Pix+LGAN + LimageM7, 8, 9
[28]MRIDCGANLGAN + L1M7, 8, 9, 10, 11
[30]PETCGAN, U-NetLGAN + L1M1, 7, 8
模态转换[33]T1→FLAIRCGANLGAN + LimageM7, 8, 17
[34]T1→T2，T1→FLAIRCGANLGAN + LedgeM7, 8, 9
[35]MRI→CTDCGANLGAN + Limage + LgradientM7, 8
[37]MRI→CTPix2Pix+LGANM7, 8
[39]MRI→PETCycleGANLGAN + Limage + LcycleM15
[40]MRI→PETCGANLGANM1, 2, 3
[41]X-ray→CTDCGAN, WGANLWGANM1
小样本
↓
大样本		[42]MRICGAN+PGGANLWGAN-GPM12
[43]MRIPGGANLWGAN-GPM12, 13, 16
[44]MRIPGGANLGAN+LcycleM8, 9
[45]MRIPGGANLGAN + LSSIM + L1M4, 16
[46]MRICGANLGAN + L1 + LsegM17
[47]病理图像GANLGANM15
[50]X-rayPGGANLGAN + Limage+LfrequencyM15
[51]ECGPix2PixHDLGAN+Limage+Lperceptual-

+表示在原来的模型上进行了改进；→表示单向转换；LGAN表示生成对抗损失；Limage表示图像域的元素级损失（像素级损失）；Lgradient表示梯度域的元素级损失；Lperceptual表示特征域的元素级损失；Lcycle表示循环一致性损失；LWGAN表示推土机距离损失；LSSIM表示结构相似性损失；L1表示L1范数损失；Lfrequency表示频率损失；LWGAN-GP表示加入梯度惩罚的推土机距离损失；Lseg表示分割图中的像素级损失；Ledge表示类似于Lgradient，但加入了梯度特征图作为图像像素的权重；M1表示人眼观察；M2表示核密度函数（Kernel density function）；M3表示IS（Inception Score，一种评价GAN模型的量化指标）；M4表示Qv（一种眼底图像质量的评价指标）；M5表示感知损失；M6表示纹理损失；M7表示均方根误差（Root Mean Square Error，RMSE）/归一化均方误差（Normalized Mean Squared Error，NMSE）/平均绝对误差（Mean Absolute Error，MAE）/均方误差（Mean Square Error，MSE）；M8表示峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）；M9表示结构相似性（Structure Similarity Index Measure，SSIM）；M10表示病变显眼评分（Lesion conspicuity scores）；M11表示专家对于图像质量的打分；M12表示T-SNE（T-distributed Stochastic Neighbor Embedding，一种数据的降维与可视化方法）；M13表示视觉图灵测试（Visual Turing test）；M14表示噪声水平；M15~17均表示下游任务：M15表示分类任务，M16表示检测任务，M17表示分割任务；−表示对应研究论文中未提及.

新窗口打开| 下载CSV


尽管GAN被越来越多地应用于医学图像转换领域，但也存在一定局限.1）目前医学领域的图像-图像转换任务能实现的图像尺寸大小有限，多数为256×256，甚至更小，因此不可避免的要裁剪掉一部分图像才能适应网络的需求.如果使用整幅图像进行网络训练，必然能提供更多的有用信息，但也有可能削弱病灶处包含的图像信息，影响最终决策.2）目前，含噪图像至去噪图像的转换任务中大多只会模拟满足某种特定分布的噪声，这无疑会降低模型的鲁棒性.当面对不同数据时，需要对模型重新进行训练优化.特别是在加入Wasserstein距离度量损失的模型中，当输入数据和目标数据的分布发生变化时，就必须针对新的数据集重新调整训练参数.3）采用GAN进行低分辨率图像至高分辨率图像的转换或者模态转换的任务时，对解剖结构的一致性有严格限制.

正是由于上述的局限性，GAN在医学图像转换领域还具有广泛的研究前景.1）目前的许多任务都是直接套用现有的GAN网络，缺乏临床知识的限定，未来可以将临床的先验知识加入网络框架中；2）由于血管分割精细度的问题，GAN在这方面的应用目前还不多.3）2D训练网络和3D训练网络之间的联动，以及如何将前者训练得到的结果迁移到后者，还有待进一步研究.这不仅可以提高2D网络的泛化能力，更可以促进3D网络的初始化效果. 例如，可以分别训练横断面、矢状面、冠状面的三个2D网络，然后利用训练好的2D网络初始化3D模型.4）可利用集成学习来提高GAN模型性能.5）目前许多GAN模型在训练时都融合多个损失函数，如何给不同损失函数设置权重以适应任务需求也是未来研究方向之一.6）在含噪图像转换至去噪图像的过程中，可以考虑直接由原始的投影数据映射到目标图像，避免在学习含噪图像到去噪图像的映射过程中一并学习噪声特征.

利益冲突

无

参考文献

GOODFELLOW I J, POUGET-ABADIE J, MIRZA M, et al. Generative Adversarial Nets[C]. Advances in Neural Information Processing Systems, 2014: 2672-2680.

[本文引用: 4]

WANG T C, LIU M Y, ZHU J Y, et al. High-resolution image synthesis and semantic manipulation with conditional gans[C]//Proceedings of the IEEE conference on computer vision and pattern recognition, 2018: 8798-8807.

[本文引用: 2]

ZHU J Y, PARK T, ISOLA P, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C]//Proceedings of the IEEE international conference on computer vision, 2017: 2223-2232.

[本文引用: 1]

LI P L, LIANG X D, JIA D Y, et al. Semantic-aware grad-gan for virtual-to-real urban scene adaption[J]. 2018. arXiv: 1801.01726.

CHEN Y, LAI Y K, LIU Y J. Cartoongan: Generative adversarial networks for photo cartoonization[C]//Proceedings of the IEEE conference on computer vision and pattern recognition, 2018: 9465-9474.

YI R, LIU Y J, LAI Y K, et al. Apdrawinggan: Generating artistic portrait drawings from face photos with hierarchical gans[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019: 10743-10752.

PARK T, LIU M Y, WANG T C, et al. GauGAN: semantic image synthesis with spatially adaptive normalization[C]//ACM SIGGRAPH 2019 Real-Time Live! 2019.

[本文引用: 1]

QIU Y , NIE S D , WEI L .

Segmentation of breast tumors based on full convolutional network and dynamic contrast enhanced magnetic resonance image

[J]. Chinese J Magn Reson, 2022, 39 (2): 196- 207.

URL     [本文引用: 1]

邱玥, 聂生东, 魏珑.

基于全卷积网络的乳腺肿瘤动态增强磁共振图像分割

[J]. 波谱学杂志, 2022, 39 (2): 196- 207.

URL     [本文引用: 1]

HU Y , WANG L J , NIE S D .

Fine brain functional parcellation based on t-distribution stochastic neighbor embedding and automatic spectral clustering

[J]. Chinese J Magn Reson, 2021, 38 (3): 392- 402.

URL     [本文引用: 1]

胡颖, 王丽嘉, 聂生东.

融合t-分布随机邻域嵌入与自动谱聚类的脑功能精细分区方法

[J]. 波谱学杂志, 2021, 38 (3): 392- 402.

URL     [本文引用: 1]

MIRZA M, OSINDERO S. Conditional generative adversarial nets[J]. 2014. arXiv: 1411.1784.

[本文引用: 1]

MAO X D, LI Q, XIE H R, et al. Least squares generative adversarial networks[C]//Proceedings of the IEEE international conference on computer vision, 2017: 2794-2802.

[本文引用: 1]

ADLER J, LUNZ S. Banach wasserstein GAN[C]//Proceedings of the 32nd international conference on Neural Information Processing Systems, 2018: 6755-6764.

[本文引用: 1]

GULRAJANI I, AHMED F, ARJOVSKY M, et al. Improved training of wasserstein gans[C]//Proceedings of the 31st international conference on Neural Information Processing Systems, 2017: 5769-5779.

[本文引用: 1]

DENTON E L, CHINTALA S, SZLAM A, et al. Deep generative image models using a Laplacian pyramid of adversarial networks[C]//NIPS, 2015.

[本文引用: 1]

ISOLA P, ZHU J Y, ZHOU T H, et al. Image-to-image translation with conditional adversarial networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017: 5967-5976.

[本文引用: 2]

KARRAS T, AILA T, LAINE S, et al. Progressive growing of gans for improved quality, stability, and variation[J]. 2017, arXiv: 1710.10196.

[本文引用: 1]

RONNEBERGER O, FISCHER P, BROX T. U-net: Convolutional networks for biomedical image segmentation[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention, 2015: 234-241.

[本文引用: 1]

YI Z L, ZHANG H, TAN P, et al. Dualgan: Unsupervised dual learning for image-to-image translation[C]//Proceedings of the IEEE international conference on computer vision, 2017: 2849-2857.

[本文引用: 1]

KIM T, CHA M, KIM H, et al. Learning to discover cross-domain relations with generative adversarial networks[C]//International Conference on Machine Learning, 2017: 1857-1865.

[本文引用: 1]

YANG Q S , YAN P K , ZHANG Y B , et al.

Low-dose CT image denoising using a generative adversarial network with wasserstein distance and perceptual loss

[J]. IEEE T Med Imaging, 2018, 37 (6): 1348- 1357.

DOI:10.1109/TMI.2018.2827462      [本文引用: 5]

SHAN H M , ZHANG Y , YANG Q S , et al.

3-D convolutional encoder-decoder network for low-dose CT via transfer learning from a 2-D trained network

[J]. IEEE T Med Imaging, 2018, 37 (6): 1522- 1534.

DOI:10.1109/TMI.2018.2832217      [本文引用: 2]

LIAO H, HUO Z, SEHNERT W J, et al. Adversarial sparse-view CBCT artifact reduction[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention, 2018: 154-162.

[本文引用: 2]

ZHANG Y K , HU D J , ZHAO Q L , et al.

CLEAR: comprehensive learning enabled adversarial reconstruction for subtle structure enhanced low-dose CT imaging

[J]. IEEE T Med Imaging, 2021, 40 (11): 3089- 3101.

DOI:10.1109/TMI.2021.3097808      [本文引用: 1]

ZHANG X , FENG C L , WANG A H , et al.

CT super-resolution using multiple dense residual block based GAN

[J]. Signal Image Video P, 2021, 15 (4): 725- 733.

DOI:10.1007/s11760-020-01790-5      [本文引用: 1]

HUANG Z X , LIU X F , WANG R P , et al.

Considering anatomical prior information for low-dose CT image enhancement using attribute-augmented Wasserstein generative adversarial networks

[J]. Neurocomputing, 2021, 428, 104- 115.

DOI:10.1016/j.neucom.2020.10.077      [本文引用: 1]

RAN M S , HU J R , CHEN Y , et al.

Denoising of 3D magnetic resonance images using a residual encoder-decoder Wasserstein generative adversarial network

[J]. Med Image Anal, 2019, 55, 165- 180.

DOI:10.1016/j.media.2019.05.001      [本文引用: 6]

CHEN Y, SHI F, CHRISTODOULOU A G, et al. Efficient and accurate MRI super-resolution using a generative adversarial network and 3D multi-level densely connected network[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention, 2018: 91-99.

[本文引用: 2]

SUN K , QU L Q , LIAN C F , et al.

High-resolution breast MRI reconstruction using a deep convolutional generative adversarial network

[J]. J Magn Reson Imaging, 2020, 52 (6): 1852- 1858.

DOI:10.1002/jmri.27256      [本文引用: 4]

XIE H Q , LEI Y , WANG T H , et al.

Synthesizing high-resolution MRI using parallel cycle-consistent generative adversarial networks for fast MR imaging

[J]. Med Phys, 2021, 49 (1): 357- 369.

[本文引用: 1]

WANG Y , YU B T , WANG L , et al.

3D conditional generative adversarial networks for high-quality PET image estimation at low dose

[J]. Neuroimage, 2018, 174, 550- 562.

DOI:10.1016/j.neuroimage.2018.03.045      [本文引用: 4]

KUDO A, KITAMURA Y, LI Y, et al. Virtual thin slice: 3D conditional GAN-based super-resolution for CT slice interval[C]//International Workshop on Machine Learning for Medical Image Reconstruction, 2019: 91-100.

[本文引用: 3]

DE FARIAS E C , DI NOIA C , HAN C , et al.

Impact of GAN-based lesion-focused medical image super-resolution on the robustness of radiomic features

[J]. Sci Rep, 2021, 11 (1): 1- 12.

DOI:10.1038/s41598-020-79139-8      [本文引用: 1]

YU B T, ZHOU L P, WANG L, et al. 3D CGAN based cross-modality MR image synthesis for brain tumor segmentation[C]//2018 IEEE 15th International Symposium on Biomedical Imaging. 2018: 626-630.

[本文引用: 2]

YU B T , ZHOU L P , WANG L , et al.

Ea-GANs: edge-aware generative adversarial networks for cross-modality MR image synthesis

[J]. IEEE T Med Imaging, 2019, 38 (7): 1750- 1762.

DOI:10.1109/TMI.2019.2895894      [本文引用: 2]

NIE D, TRULLO R, LIAN J, et al. Medical image synthesis with context-aware generative adversarial networks[C]//International conference on medical image computing and computer-assisted intervention, 2017: 417-425.

[本文引用: 5]

ZHAO M Y, WANG L, CHEN J W, et al. Craniomaxillofacial bony structures segmentation from MRI with deep-supervision adversarial learning[C]//International conference on medical image computing and computer-assisted intervention, 2018: 720-727.

[本文引用: 4]

MASPERO M , SAVENIJE M H F , DINKLA A M , et al.

Dose evaluation of fast synthetic-CT generation using a generative adversarial network for general pelvis MR-only radiotherapy

[J]. Phys Med Biol, 2018, 63 (18): 185001.

DOI:10.1088/1361-6560/aada6d      [本文引用: 4]

BI L, KIM J, KUMAR A, et al. Synthesis of positron emission tomography (PET) images via multi-channel generative adversarial networks (GANs)[M]//Springer: Molecular imaging, reconstruction and analysis of moving body organs, and stroke imaging and treatment. 2017: 43-51.

[本文引用: 1]

PAN Y S, LIU M X, LIAN C F, et al. Synthesizing missing PET from MRI with cycle-consistent generative adversarial networks for Alzheimer's disease diagnosis[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention, 2018: 455-463.

[本文引用: 2]

WEI W , POIRION E , BODINI B , et al.

Predicting PET-derived myelin content from multisequence MRI for individual longitudinal analysis in multiple sclerosis

[J]. NeuroImage, 2020, 223, 117308.

DOI:10.1016/j.neuroimage.2020.117308      [本文引用: 2]

LEWIS A, MAHMOODI E, ZHOU Y, et al. Improving tuberculosis (TB) prediction using synthetically generated computed tomography (CT) images[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021: 3265-3273.

[本文引用: 2]

CALIMERI F, MARZULLO A, STAMILE C, et al. Biomedical data augmentation using generative adversarial neural networks[C]//International conference on artificial neural networks, 2017, 626-634.

[本文引用: 2]

HAN C, HAYASHI H, RUNDO L, et al. GAN-based synthetic brain MR image generation[C]//2018 IEEE 15th international symposium on biomedical imaging (ISBI 2018), 2018: 734-738.

[本文引用: 4]

HAN C, MURAO K, NOGUCHI T, et al. Learning more with less: Conditional PGGAN-based data augmentation for brain metastases detection using highly-rough annotation on MR images[C]//Proceedings of the 28th ACM International Conference on Information and Knowledge Management, 2019: 119-127.

[本文引用: 4]

HAN C , RUNDO L , ARAKI R , et al.

Combining noise-to-image and image-to-image GANs: Brain MR image augmentation for tumor detection

[J]. IEEE Access, 2019, 7, 156966- 156977.

DOI:10.1109/ACCESS.2019.2947606      [本文引用: 4]

HASSAN DAR S U I , YURT M , KARACAN L , et al.

Image synthesis in multi-contrast MRI with conditional generative adversarial networks

[J]. IEEE T Med Imaging, 2019, 38 (10): 2375- 2388.

DOI:10.1109/TMI.2019.2901750      [本文引用: 2]

APPAN K P, SIVASWAMY J. Retinal image synthesis for CAD development[C]//International Conference Image Analysis and Recognition, 2018: 613-621.

[本文引用: 2]

IQBAL T , ALI H .

Generative adversarial network for medical images (MI-GAN)

[J]. J Med Syst, 2018, 42 (11): 231.

DOI:10.1007/s10916-018-1072-9      [本文引用: 1]

SHAKER A M , TANTAWI M , SHEDEED H A , et al.

Generalization of convolutional neural networks for ECG classification using generative adversarial networks

[J]. IEEE Access, 2020, 8, 35592- 35605.

DOI:10.1109/ACCESS.2020.2974712      [本文引用: 1]

YANG H X , LIU J H , ZHANG L H , et al.

ProEGAN-MS: A progressive growing generative adversarial networks for electrocardiogram generation

[J]. IEEE Access, 2021, 9, 52089- 52100.

DOI:10.1109/ACCESS.2021.3069827      [本文引用: 1]

WANG Y L , SUN L , SUBRAMANI S .

CAB: Classifying arrhythmias based on imbalanced sensor data

[J]. KSⅡ Transactions on Internet and Information Systems, 2021, 15 (7): 2304- 2320.

[本文引用: 2]

MADANI A, MORADI M, KARARGYRIS A, et al. Chest X-ray generation and data augmentation for cardiovascular abnormality classification[C]//Medical Imaging 2018: Image Processing, 2018, 10574105741M.

[本文引用: 1]

BAILO O, HAM D, MIN SHIN Y. Red blood cell image generation for data augmentation using conditional generative adversarial networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2019, 1039-1048.

[本文引用: 1]

HALLAJI E , RAZAVI-FAR R , PALADE V , et al.

Adversarial learning on incomplete and imbalanced medical data for robust survival prediction of liver transplant patients

[J]. IEEE Access, 2021, 9, 73641- 73650.

DOI:10.1109/ACCESS.2021.3081040      [本文引用: 1]

ALEX V , VAIDHYA K , THIRUNAVUKKARASU S , et al.

Semisupervised learning using denoising autoencoders for brain lesion detection and segmentation

[J]. J Med Imaging, 2017, 4 (4): 041311.

[本文引用: 1]

MADANI A, MORADI M, KARARGYRIS A, et al. Semi-supervised learning with generative adversarial networks for chest X-ray classification with ability of data domain adaptation[C]//2018 IEEE 15th International symposium on biomedical imaging (ISBI 2018), 2018: 1038-1042.

[本文引用: 1]

JIANG J, HU Y C, TYAGI N, et al. Tumor-aware, adversarial domain adaptation from ct to mri for lung cancer segmentation[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention, 2018: 777-785.

[本文引用: 3]

YOU C Y , LI G , ZHANG Y , et al.

CT super-resolution GAN constrained by the identical, residual, and cycle learning ensemble (GAN-CIRCLE)

[J]. IEEE T Med Imaging, 2020, 39 (1): 188- 203.

DOI:10.1109/TMI.2019.2922960      [本文引用: 1]

WANG Z W , LIN Y , CHENG K T T , et al.

Semi-supervised mp-MRI data synthesis with StitchLayer and auxiliary distance maximization

[J]. Med Image Anal, 2020, 59, 101565.

DOI:10.1016/j.media.2019.101565      [本文引用: 3]

LI W Y , LI J Y , POLSON J , et al.

High resolution histopathology image generation and segmentation through adversarial training

[J]. Med Image Anal, 2022, 75, 102251.

DOI:10.1016/j.media.2021.102251      [本文引用: 1]

ZHANG Y Z, YANG L, CHEN J X, et al. Deep adversarial networks for biomedical image segmentation utilizing unannotated images[C]//International conference on medical image computing and computer-assisted intervention, 2017: 408-416.

[本文引用: 1]

WOLTERINK J M , LEINER T , VIERGEVER M A , et al.

Generative adversarial networks for noise reduction in low-dose CT

[J]. IEEE T Med Imaging, 2017, 36 (12): 2536- 2545.

DOI:10.1109/TMI.2017.2708987      [本文引用: 1]

CHARTSIAS A, JOYCE T, DHARMAKUMAR R, et al. Adversarial image synthesis for unpaired multi-modal cardiac data[C]//International workshop on simulation and synthesis in medical imaging, 2017: 3-13.

[本文引用: 1]

WOLTERINK J M, DINKLA A M, SAVENIJE M H, et al. Deep MR to CT synthesis using unpaired data[C]//International workshop on simulation and synthesis in medical imaging, 2017: 14-23.

[本文引用: 2]

YANG H, SUN J, CARASS A, et al. Unpaired brain MR-to-CT synthesis using a structure-constrained CycleGAN[M]//Springer: Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support. 2018: 174-182.

[本文引用: 3]

BERMUDEZ C, PLASSARD A J, DAVIS L T, et al. Learning implicit brain MRI manifolds with deep learning[C]//Medical Imaging 2018: Image Processing, 2018: 10574105741L.

[本文引用: 3]

MAHMOOD F , CHEN R , DURR N J .

Unsupervised reverse domain adaptation for synthetic medical images via adversarial training

[J]. IEEE T Med Imaging, 2018, 37 (12): 2572- 2581.

DOI:10.1109/TMI.2018.2842767      [本文引用: 1]

LI X Y , ZHANG G X , QIAO H , et al.

Unsupervised content-preserving transformation for optical microscopy

[J]. Light-Sci Appl, 2021, 10 (1): 44.

DOI:10.1038/s41377-021-00484-y      [本文引用: 1]

/

〈 〉

网站设计版权所有 © 2017 《波谱学杂志》编辑部
地址：湖北省武汉市武昌区小洪山西30号 中科院精密测量科学与技术创新研究院波谱楼 《波谱学杂志》编辑部
邮编：430071　电话/传真：(086)027－87198791   E-mail: magres@wipm.ac.cn
本系统由北京玛格泰克科技发展有限公司设计开发