CIFAR10图像分类学习笔记（三）---数据加载load_cifar10

新创建一个load_cifar10源文件

需要导入的包

import glob
from torchvision import transforms
from torch.utils.data import DataLoader ,Dataset
import os
#读取工具
from PIL import Image
import numpy as np

 01同样定义10个类别的标签名数组

label_name = ["airplane",
              "automobile",
              "bird",
              "cat",
              "deer",
              "dog",
              "frog",
              "horse",
              "ship",
              "truck"
              ]

02将类别存放到字典label_dict中，并将本来对应的10个分类的字符串airplane、bird等一一对应顺序递增的从0开始递增的数字

#将类别存到字典中
label_dict={}
#将字符串全部转换成数字
for idx, name in enumerate(label_name):
    label_dict[name] = idx

 03自定义一个数据集加载的类

class MyDataset(Dataset):

类中有一个init初始化方法和两个方法，一个用于读取数据并根据transform判断是否应该对训练的数据进行数据增强，如图片的旋转、颜色增强、灰度增强等；另一个用于获取图片总共的数量

init函数：

    def __init__(self,im_list,transforms=None,loader = default_loader):#入参是所有文件列表,传入数据增强的函数
        super(MyDataset,self).__init__()
        #图像列表
        imgs = []

        for im_item in im_list:
            #"E:\CIFAR10\TRAIN\airplane\aeroplane_s_000037.png"
            im_label_name=im_item.split("\\")[-2]#倒数第二个就是标签名
            #新列表imgs[]
            imgs.append([im_item,label_dict[im_label_name]])#路径im_item,ID
        #类内变量
        self.imgs=imgs#每一个图片元素
        self.transform=transforms#数据增强方法
        self.loader=loader#数据加载（读取）方法

这其中自定义的默认default_loader如下

def default_loader(path):#采用PRL完成对图像数据的读取
    return Image.open(path).convert("RGB")

 getitem函数：

     #定义对数据的读取以及数据的增强，返回图片的数据和分类（label）
    def __getitem__(self,index):#根据索引值
        im_path,im_label=self.imgs[index]
        im_data=self.loader(im_path)

        #如果没有数据增强
        if self.transform is not None:
            im_data=self.transform(im_data)#主要定义的是训练数据集的数据增强
        return im_data,im_label

 len函数：

    def __len__(self):
        return len(self.imgs)

04拿到训练、测试数据的列表

#拿到训练数据的列表
im_train_list=glob.glob("E:/CIFAR10/TRAIN/**/*.png")#斜杠要变成这种正的原因是\是反斜杠有可能出现转义的问题
#测试数据的列表
im_test_list=glob.glob("E:/CIFAR10/TEST/**/*.png")

 05拿到训练、测试数据的数据集，并对数据集进行读取

train_dataset = MyDataset(im_train_list,transforms = train_transform)
test_dataset=MyDataset(im_test_list,transforms.ToTensor)#不进行数据增强
#对数据集读取
train_dataloader=DataLoader(dataset=train_dataset,batch_size=6,shuffle=True,num_workers=4)
test_dataloader=DataLoader(dataset=test_dataset,batch_size=6,shuffle=False,num_workers=4)

这其中的方法要自己组合定义如下：

train_transform=transforms.Compose([
    transforms.RandomResizedCrop((28,28)),#调用完这个方法尺寸会变小到28,28,原来是32*32
    transforms.RandomHorizontalFlip(),#默认概率0.5
    transforms.RandomVerticalFlip(),#翻转后数据label会发生变化，需要修改相应的label
    transforms.RandomRotation(90),#旋转角度在-90和90之间
    transforms.RandomGrayscale(0.1),#随机转换成灰度，概率为0.1
    transforms.ColorJitter(0.3,0.3,0.3,0.3),#颜色增强
    #将PRL的数据转换为网络输入的数据
    transforms.ToTensor()
])

06最后输出打印训练集和测试集的数量

print("训练集数量",len(train_dataset))
print("测试集数量",len(test_dataset))

得到的结果是：