深度学习-计算机视觉-数据增广/图像增广

数据增广是深度学习中计算机视觉领域的一项关键技术，旨在提升模型的泛化能力和解决数据稀缺问题。它通过多种方法增加训练数据的多样性，让模型能够学习到更丰富的特征，从而在面对新数据时表现得更好。

• 大型数据集是成功应用深度神经网络的先决条件。

• 图像增广在对训练图像进行一系列的随机变化之后，生成相似但不同的训练样本，从而扩大了训练集的规模。

• 随机改变训练样本可以减少模型对某些属性的依赖，从而提高模型的泛化能力。

• 例如，我们可以以不同的方式裁剪图像，使感兴趣的对象出现在不同的位置，减少模型对于对象出现位置的依赖。同时我们还可以调整亮度、颜色等因素来降低模型对颜色的敏感度。

• 可以说，图像增广技术对于 AlexNet 的成功是必不可少的。

1. 常用方法

最常用方法：翻转（左右翻转都可以，上下翻转看数据集的情况进行）、切割、调节颜色等。

常见的数据增广方法包括：

1. 几何变换（如翻转、旋转、缩放）
2. 色彩调整（改变亮度、对比度、饱和度）
3. 噪声添加（如高斯噪声、椒盐噪声）
4. 随机裁剪和填充
5. 更高级的仿射变换和透视变换，可以模拟不同的视角和场景。

此外，还有基于深度学习的高级方法，如生成对抗网络（GAN）和 AutoAugment，后者能自动选择最佳的增广策略。

在实际应用中，需要根据具体的任务和数据集特点选择合适的增广方法。例如，对于文本图像，翻转可能不适用；而对于自动驾驶场景，透视变换可能更有价值。同时，要注意控制增广的强度，避免过度增广导致数据失真，影响模型训练效果。

• 图像增广基于现有的训练数据生成随机图像，来提高模型的泛化能力。

• 为了在预测过程中得到确切的结果，我们通常对训练样本只进行图像增广，而在预测过程中不使用带随机操作的图像增广。

• 深度学习框架提供了许多不同的图像增广方法，这些方法可以被同时应用。

2. 代码示例

代码来自《动手学深度学习》

%matplotlib inline
import torch
import torchvision
from torch import nn
from d2l import torch as d2l

d2l.set_figsize()
img = d2l.Image.open('../img/cat1.jpg')
d2l.plt.imshow(img);

大多数图像增广方法都具有一定的随机性。

为了便于观察图像增广的效果，我们下面定义辅助函数apply。

此函数在输入图像img上多次运行图像增广方法aug并显示所有结果。

def apply(img, aug, num_rows=2, num_cols=4, scale=1.5):
    Y = [aug(img) for _ in range(num_rows * num_cols)]
    d2l.show_images(Y, num_rows, num_cols, scale=scale)

2.1 翻转和裁剪

左右翻转

apply(img, torchvision.transforms.RandomHorizontalFlip())

上下翻转

apply(img, torchvision.transforms.RandomVerticalFlip())

随机裁剪
shape_aug = torchvision.transforms.RandomResizedCrop((200, 200), scale=(0.1, 1), ratio=(0.5, 2))

apply(img, shape_aug)

2.2 改变颜色

另一种增广方法是改变颜色。

可以改变图像颜色的四个方面：

亮度（brightness）、对比度（contrast）、饱和度（saturation）和 色调（hue）。

改变亮度
apply(img, torchvision.transforms.ColorJitter(brightness=0.5, contrast=0, saturation=0, hue=0))

改变色调
apply(img, torchvision.transforms.ColorJitter(brightness=0, contrast=0, saturation=0, hue=0.5))

同时随机更改图像的亮度、对比度、饱和度和色调
color_aug = torchvision.transforms.ColorJitter(brightness=0.5, contrast=0.5, saturation=0.5, hue=0.5)
apply(img, color_aug)

2.3 结合多种方法进行数据增广

多种方法

augs = torchvision.transforms.Compose([torchvision.transforms.RandomHorizontalFlip(), color_aug, shape_aug])apply(img, augs)