DataSet 和 DataLoader --加载数据集和引入Mini-Batch

​
加载数据集
数据集
包括DataSet以及DataLoader两部分，是用于加载的数据集包括数据和索引两部分，而DataLoader是用于引入数据集的Mini-Batch

Mini-Batch
均衡于算法的时间复杂度（加载全部数据训练更快）以及算法的准确度（加载单个数据训练更准）

在外层循环中，每一层是一个epoch（训练周期），在内层循环中，每一次是一个Mini-Batch（Batch的迭代）

python

for epoch in range(training_epochs):
for i in range(total_batch):

常用术语
Epoch：所有的样本都进行了一次前馈计算和反向传播即为一次epoch

Batch-Size：每次训练的时候所使用的样本数量

Iterations：batch分的次数

DataLoader
核心参数
batch_size,shuffle(洗牌，用于打乱顺序)

核心功能
通过获得DataSet的索引以及数据集大小，来自动得生成小批量训练集

DataLoader先对数据集进行洗牌，再将数据集按照Batch_Size的长度划分为小的Batch，并按照Iterations进行加载，以方便通过循环对每个Batch进行操作



Dataloader的工作过程

代码实例
在构造数据集时，两种对数据加载到内存中的处理方式如下：

加载所有数据到dataset，每次使用时读索引，适用于数据量小的情况
只对dataset进行初始化，仅存文件名到列表，每次使用时再通过索引到内存中去读取
python 3.8.5

​

1. import torch
   
2. import numpy as np
   
3. #DataSet是抽象类，无法实例化
   
4. from torch.utils.data import Dataset
   
5. #DataLoader可实例化
   
6. from torch.utils.data import DataLoader
   
7. 
   
8. class DiabetesDataset(Dataset):
   
9. def __init__(self,filepath):
   
10. xy = np.loadtxt(filepath, delimiter=',', dtype=np.float32)
    
11. #获得数据集长度
    
12. self.len=xy.shape[0]
    
13. self.x_data = torch.from_numpy(xy[:, :-1])
    
14. self.y_data = torch.from_numpy(xy[:, [-1]])
    
15. #获得索引方法
    
16. def __getitem__(self, index):
    
17. return self.x_data[index], self.y_data[index]
    
18. #获得数据集长度
    
19. def __len__(self):
    
20. return self.len
    
21. 
    
22. dataset = DiabetesDataset('diabetes.csv')
    
23. #num_workers表示多线程的读取
    
24. train_loader = DataLoader(dataset=dataset,batch_size=32,shuffle=True,num_workers=2)
    
25. 
    
26. class Model(torch.nn.Module):
    
27. def __init__(self):
    
28. super(Model, self).__init__()
    
29. self.linear1 = torch.nn.Linear(8, 6)
    
30. self.linear2 = torch.nn.Linear(6, 4)
    
31. self.linear3 = torch.nn.Linear(4, 1)
    
32. self.sigmoid = torch.nn.Sigmoid()
    
33. 
    
34. def forward(self, x):
    
35. x = self.sigmoid(self.linear1(x))
    
36. x = self.sigmoid(self.linear2(x))
    
37. x = self.sigmoid(self.linear3(x))
    
38. return x
    
39. 
    
40. model = Model()
    
41. 
    
42. criterion = torch.nn.BCELoss(size_average=True)
    
43. 
    
44. optimizer = torch.optim.SGD(model.parameters(), lr=0.1)
    
45. 
    
46. if __name__ =='__main__':
    
47. for epoch in range(100):
    
48. #enumerate:可获得当前迭代的次数
    
49. for i,data in enumerate(train_loader,0):
    
50. #准备数据dataloader会将按batch_size返回的数据整合成矩阵加载
    
51. inputs, labels = data
    
52. #前馈
    
53. y_pred = model(inputs)
    
54. loss = criterion(y_pred, labels)
    
55. print(epoch, i, loss.item())
    
56. #反向传播
    
57. optimizer.zero_grad()
    
58. loss.backward()
    
59. #更新
    
60. optimizer.step()

复制代码