Title:Cross-Modality Deep Feature Learning for Brain Tumor Segmentation

摘要-Abstract

用于脑肿瘤分割分割的医学图像数据在数据尺度上相对匮乏，其在模态属性上包含了更丰富的信息。本文为了利用这些多模态信息提出了一种新的跨模态深度特征学习框架，用于从多模态MRI数据中分割脑肿瘤。其核心思想是挖掘多模态数据的丰富模式来弥补数据规模的不足。本文提出的网络框架包括两个学习过程：跨模态特征转换（CMFT）和跨模态特征融合（CMFF）过程，分别通过跨模态数据传递知识和融合来自不同模态数据的知识来学习丰富的特征表示。

网络的目标是分割三个不同的区域即：整个肿瘤区，肿瘤核心区，和增强肿瘤核心区。

由于脑肿瘤数据的复杂性，像之前的工作那样直接将多模态数据串联形成网络的输入，既不是充分利用每个模态数据基础知识的最佳选择，也不是融合多模态数据知识的有效策略。

本文贡献：

1）提出了交叉模态特征转换过程和交叉模态特征融合两个模块

2）提出了一种新颖的思想，从跨不同模态数据的知识转移中学习有用的特征表示。为了实现这一目标，我们构建了基于生成对抗网络的学习方案，这个方案可以实现跨模态特征转换过程，而无需任何人工标注

3）建立的特征融合网络，特征是从特性转换过程中学习到的，并被授权使用提出了一种新的融合分支，利用单模态预测结果来指导预测特征融合的过程。

方法-Method

方法概述

具体来说在跨模态特征转换（CMFT）过程中，采用生成对抗网络学习方案，学习有助于知识跨模态数据转换的有用特征。这使得网络能够从每个模态数据中挖掘有助于脑肿瘤分割任务的内在模式

在跨模态特征融合过程中，构建了一种新的深度神经网络体系结构，利用跨模态特征转换过程中获得的深度特征，对不同模态数据捕获的特征进行深度融合来预测脑肿瘤区域。具体来说。1)简单地在输入级实现融合过程，即将多模态图像数据连接起来作为网络输入;2)在输出级实现融合过程，即将多模态图像数据连接起来作为网络输入。从而整合不同模态数据的分割结果。整体框架如下图所示：

 为了简明，只使用两种模态的数据来显示学习框架

如上图所示，在跨模态特征转换（CMFT）过程中，作者构建了两个生成器和两个鉴别器，在两个模态之间传递知识。在这一部分，生成器用于从其他模态数据生成一种模态数据，而鉴别器的目的是用于区分生成数据和实际数据。

而在跨模态特征融合过程中，作者采用生成器从每个模态数据中预测出脑肿瘤分割区域，并融合从中学习到的深度特征，得到最终的分割结果。在融合分支中，作者设计了一种新的融合方案，利用单模态预测结果来指导特征融合的过程，在融合过程中可以获得更强的特征表示，以辅助分割期望的脑肿瘤分割区域。

生成器架构

生成器的结构图如下所示：

这个结构也是单模态特性学习分支的架构，这两个网络分支间的唯一区别在于最后的输出层。其中生成器的输出画在实线上，而单模态特征学习画在虚线上，深度特征在最后两个卷积层，以及输出的单模态特征学习分支，连接交叉模态特征。

生成器采用了U-Net架构

鉴别器架构 

鉴别器的具体结构如下图：

交叉模式特征融合

为了实现跨模态特征融合过程，作者建立了一种新的跨模态特征融合网络用于脑肿瘤分割。新设计的融合分支利用单模态的预测结果来指导特征融合过程，不仅可以方便的传递从特征转换过程中学习到的特征，而且还可以学习到强大的融合特征来分割期望的脑肿瘤区域，其示意图如下所示：

总结

本文提出了一种跨模态深度特征学习框架1，用于从多模态共振扫描中分割脑肿瘤区域。作者提出了跨多模态数据挖掘丰富的模式，从而弥补数据尺度上的不足。这个学习框架由跨模态特征转换（CMFT）过程和跨模态特征融合（CMFF）过程组成。通过构建基于生成式对抗网络的学习方案来实现跨模态特征转换过程，作者的方法能够从跨模态数据的知识转换中学习有用的特征表示，而无需任何人工标注。而跨模态特征融合过程将从特征转换过程中学习到的特征进行转移，并赋予新的融合分支以指导强特征融合过程。