8--转置卷积

        卷积核汇聚等方法都是下采样，会使得图像变小，卷积导致的图像变小是为了提取特征，而池化下采样是为了降低特征维度。但在像素级分类的语义分割中，需要使得输入和输出图像维度相同，但在卷积神经网络中空间维度（图片的高和宽）会变小，这里可以使用转置卷积这类上采样方法来增加特征图的空间维度。

6.1 基本运算

        如下图所示，假设步幅为1且没有填充。卷积核依次对输入的每个元素进行内积运算，最后将每个结果进行相加得到转置卷积的输出。X为输入，Y为输出，h和w分别是核张量K的高和宽。

        对输入矩阵X和卷积核矩阵K实现基本的转置卷积运算，这里转置卷积通过卷积核“广播”输入元素，从而产生大于输入的输出。

def trans_conv(X,K):
    h, w = K.shape
    Y = torch.zeros((X.shape[0]+h-1,X.shape[1]+w-1))
    for i in range(X.shape[0]):
        for j in range(X.shape[1]):
            Y[i:i+h,j:j+w] += X[i,j]*k
    return Y

#当x和k为四维张量时，可以使用nn.ConvTranspose2d
X = torch.tensor([[0.0, 1.0], [2.0, 3.0]])
K = torch.tensor([[0.0, 1.0], [2.0, 3.0]])
X, K = X.reshape(1, 1, 2, 2), K.reshape(1, 1, 2, 2)
tconv = nn.ConvTranspose2d(1, 1, kernel_size=2, bias=False)
tconv.weight.data = K
tconv(X)

输出：
tensor([[[[ 0.,  0.,  1.],
          [ 0.,  4.,  6.],
          [ 4., 12.,  9.]]]], grad_fn=<ConvolutionBackward0>)

6.2 填充和步幅和多通道

         与常规卷积不同，在转置卷积中，填充被应用于的输出（常规卷积将填充应用于输入）。 例如，当将高和宽两侧的填充数指定为1时，转置卷积的输出中将删除第一和最后的行与列。

tconv = nn.ConvTranspose2d(1, 1, kernel_size=2, padding=1, bias=False)
tconv.weight.data = K
tconv(X)

输出：
tensor([[[[4.]]]], grad_fn=<ConvolutionBackward0>)

         当步幅为2时，6.1中的计算过程如下图：

        对于多个输入和输出通道，转置卷积与常规卷积以相同方式运作。

X = torch.rand(size=(1, 10, 16, 16))
conv = nn.Conv2d(10, 20, kernel_size=5, padding=2, stride=3)
tconv = nn.ConvTranspose2d(20, 10, kernel_size=5, padding=2, stride=3)
tconv(conv(X)).shape == X.shape

#输出：
True

6.3 通过矩阵变换来实现 

        可以使用矩阵乘法来实现卷积。转置卷积层能够交换卷积层的正向传播函数和反向传播函数。实现代码如下，注意这里最后只是实现了形状大小是一样的，实际里面的值已经发生改变。

X = torch.arange(9.0).reshape(3, 3)
K = torch.tensor([[1.0, 2.0], [3.0, 4.0]])
Y = d2l.corr2d(X, K)

def kernel2matrix(K):
    k, W = torch.zeros(5), torch.zeros((4, 9))
    k[:2], k[3:5] = K[0, :], K[1, :]
    W[0, :5], W[1, 1:6], W[2, 3:8], W[3, 4:] = k, k, k, k
    return W

W = kernel2matrix(K)
Z = trans_conv(Y, K)
Z == torch.matmul(W.T, Y.reshape(-1)).reshape(3, 3)

#输出：
tensor([[True, True, True],
        [True, True, True],
        [True, True, True]])

        给定输入向量x和权重矩阵W，卷积的前向传播函数可以通过将其输入与权重矩阵相乘并输出向量y=Wx来实现。 由于反向传播遵循链式法则和，卷积的反向传播函数可以通过将其输入与转置的权重矩阵相乘来实现。 因此，转置卷积层能够交换卷积层的正向传播函数和反向传播函数：它的正向传播和反向传播函数将输入向量分别与和W相乘。