论文链接：https://paperswithcode.com/paper/fpd-m-net-fingerprint-image-denoising-and

代码链接：https://github.com/adigasu/FDPMNet

（代码未运行成功）

摘要：

存在退化图像，从退化图像中提取指纹需要去噪和修复

退化图像—>去噪和修复(使用技术：端到端可训练的卷积神经网络FPD-M-net)—>提取指纹

方法：

FPD-M-net：提出了一种用于三维脑结构分割的M-net，它通过初始块将三维信息转换为二维图像进行分割。 在此基础上，利用分类交叉熵损失函数进行分割。3d - 2d转换块是多余的，因此去掉了，并改变了损失函数以适应手头的任务。

FPD-M-net的架构：

U-net架构通常用于分割或恢复等任务。M-net是对U-net的改进，以提高分割效果。它利用三维信息进行分割;因此，引入了一种3d - 2d转换块。

M-net也有四种途径来实现与深度监管类似的功能 。它引入了两条侧边路径(左和右)以及两条主要的编码和解码路径。左路径，向下采样输入并给予相应的编码器层。右路径，上采样每个解码层的输出到原始大小。最后一层将右层和解码器层的输出组合起来，以给出最终输出。

FPD-M-net架构改编自M-net。它由卷积层(CONV)、maxpooling层、上采样层、Dropout层组成， Batch Normalisation layer (BN)，和整改线性单元(ReLU)激活函数，编码器和解码器风格的架构

编码层由3 × 3 CONV、BN和ReLU两个重复的块组成。在convn - bn - relu层的两个块之间，包含一个dropout层(概率为0.2)。Dropout层防止过拟合，BN层使训练更快更稳定。采用2 × 2带stride的最大池化操作将两个块convn - bn - relu的输出进行级联和下采样

解码器层类似于编码器层，但有一个例外:maxpooling被上采样层取代，这有助于重构输出图像。最后一层是一个1 × 1的卷积层，带有一个sigmoid激活函数，它给出了重建的输出图像。

fpd - m网架构的原理图表示。黄色实框表示convn - bn - relu块的输出。虚线框表示复制的特征图。特征图的数量在方框的顶部表示

FPD-M-net中使用的跳过连接如图1所示(绿色箭头)。

相邻卷积滤波器之间的跳跃连接，使网络能够更好地学习特征，从输入到编码器(左)、编码器到解码器、解码器到输出(右)的跳跃连接，确保网络有足够的信息驱动指纹图像的细粒细节。FPD-M-net和M-net之间有一些区别，它们有助于完成手头的任务。

区别如下:i)将con - relu -BN块替换为BN论文[6]中的con -BN- relu块(见第3.2节);Ii)当ground-truth指纹图像在[0,255]范围内为整数值时，损失函数采用逐像素损失和结构相似性损失的组合;Iii)最后一层用sigmoid激活函数代替softmax激活来获得输出图像，因为我们这里的任务是重建指纹图像

训练：

网络训练端到端与一对噪声/扭曲和干净/地面真实的指纹图像。输入图像和地面真实图像用边缘值填充以适应网络，并将图像归一化，取值在[0,1]之间。输入图像和地面真实图像的大小为275 × 400像素。填充后，图像大小变为368 × 496。通过填充，使网络输出有效地看到输入图像的大小为275 × 400。在测试阶段，将失真图像输入fpd - m-net，得到一幅清晰的指纹图像作为输出。输出图像不加填充以匹配原始大小，并与参考图像进行比较。

损失函数：

均方误差(MSE)，一种基于参考的度量和峰值信噪比(PSNR)是重构问题常用的误差度量方法。

在深度学习中，MSE作为一种损失函数被广泛应用于许多应用中。然而，MSE和PSNR都与人类对图像质量的感知没有很好的相关性。结构相似度指数(SSIM)[23]是为此目的开发的基于参考的度量。SSIM以固定的尺度测量，可能只适用于一定范围的图像尺度。SSIM的一种更高级的形式是多尺度结构相似指数(MS-SSIM)[24]。它比其他方法更好地保留了高频区域的结构和对比度。除了选择感知相关的度量外，在真实指纹图像具有实际价值的情况下，保持强度也是值得关注的问题。因此，我们选择逐像素损失和MS-SSIM相结合，定义权值为δ的损失函数，如下所示:

Ll1 (θ)为l1损耗，LMS-SSIM(θ)为标准MS-SSIM损耗。根据[28]设置权重为δ = 0.85，在三个尺度上计算MS-SSIM。