【torch.nn.L1Loss()】平均绝对值误差 MAE(Mean Abs Error): f (x) 和 y 之间差的绝对值的平均值
具体数学计算公式: Loss = 1 n ∑ i = 0 n ∣ f ( x i ) − y i ∣ \text{Loss}=\frac{1}{n}\sum^n_{i=0} |f(x_i)-y_i| Loss=n1∑i=0n∣f(xi)−yi∣
注:L1 损失, 主要用于回归问题和简单的模型,所以很少使用
【torch.nn.MSELoss()】平均平方误差 MSE(Mean Squared Error): f (x) 和 y 之间差的平方的平均值
具体数学计算公式: Loss = 1 n ∑ i = 0 n ( f ( x i ) − y i ) 2 \text{Loss}=\frac{1}{n}\sum^n_{i=0} (f(x_i)-y_i)^2 Loss=n1∑i=0n(f(xi)−yi)2: F.mse_loss(f(x), y)
具体数学计算公式: − ∑ y i j log ( f ( x i ) j ) -\sum y_{ij}\log(f(x_i)_j) −∑yijlog(f(xi)j), 注意其中 f ( x i ) f(x_i) f(xi) 表示模型预测出的概率值如 [0.1, 0.7, 0.2]: F.cross_entropy(直接传入 logits (已打包了 softmax))
通常和 softmax (soft version of max S ( y i ) = e y i ∑ e y i S(y_i) = \frac{e^{y_i}}{\sum e^{y_i}} S(yi)=∑eyieyi: F.softmax(y)) 搭配使用 (softmax 负责产生上述概率输出)