在深度学习的世界里，有一个看似简单却让无数开发者困惑的现象：
“为什么在训练时模型表现良好，但设置
model.eval()后，模型的性能却显著下降？”
这是一个让人抓耳挠腮的问题，几乎每一个使用 PyTorch 的研究者或开发者，在某个阶段都可能遭遇这个“陷阱”。更有甚者，模型在训练集上表现惊艳，结果在验证集一跑，其泛化能力显著不足。是不是 model.eval() 有 bug？是不是我们不该调用它？是不是我的模型结构有问题？
这篇文章将带你从理论推导、代码实践、系统架构、运算机制多个维度，深刻剖析 PyTorch 中 model.eval() 的真正机理，探究它背后的机制与误区，最终回答这个困扰无数开发者的问题：
“为什么在设置 model.eval() 之后，PyTorch 模型的性能会很差？”
1. 走进 model.eval() ：它到底做了什么？
我们从一个简单的例子出发：
import torch
import torch.nn as nn
import torch.nn.functional as F
class SimpleNet(nn.Module):
def __init__(self):
super(SimpleNet, self).__init__()
self.bn = nn.BatchNorm1d(10)
self.dropout = nn.Dropout(p=0.5)
self.fc = nn.Linear(10, 2)
def forward(self, x):
x = self.bn(x)
x = self.dropout(x)
x = self.fc(x)
return x
net = SimpleNet()
net.train()
此时模型处于训练模式。如果我们打印 net.training，会得到：
>>> net.training
True
当我们调用：
net.eval()
此时模型切换为评估模式，所有子模块的 training 状态也被设置为 False。
>>> net.training
False
>>> net.bn.training
False
>>> net.dropout.training
False
那么 eval() 到底改变了什么？
所有 BatchNorm 层 会停掉更新其内部的
running_mean和running_var，而是使用它们进行归一化。所有 Dropout 层 会停掉随机丢弃神经元，即变为恒等操作。
这意味着模型在 eval() 模式下的前向传播将非常不同于训练模式。这也是性能变化的第一个线索。
2. 训练模式与评估模式的根本性差异
2.1 BatchNorm 的行为差异
在训练模式下，BatchNorm 的行为如下：
output = (x - batch_mean) / sqrt(batch_var + eps)
并且会更新：
running_mean = momentum * running_mean + (1 - momentum) * batch_mean
running_var = momentum * running_var + (1 - momentum) * batch_var
在评估模式下：
output = (x - running_mean) / sqrt(running_var + eps)
这意味着，评估时完全不依赖当前输入的统计量，而是依赖训练过程中累积下来的全局统计量。
2.2 Dropout 的行为差异
# 训练中
output = x * Bernoulli(p)
# 评估中
output = x
这导致模型在训练时学会了对不同的神经元组合进行平均，而在测试时仅使用一种“确定性”的路径。
3. BatchNorm：评估模式性能下降的主要影响因素
假设你训练了一个 CNN 网络，使用了多个 BatchNorm 层，并且你的 batch size 设置为 4 或更小。你训练时模型准确率高达 95%，但是一旦调用 eval()，准确率掉到了 60%。
为什么？
3.1 小 Batch Size 的问题
BatchNorm 的核心假设是：一个 mini-batch 的统计特征可以近似整个数据集的统计特征。当 batch size 很小时，这个假设不成立，导致 running_mean 和 running_var 极不准确。
3.2 可视化验证
import matplotlib.pyplot as plt
print(net.bn.running_mean)
print(net.bn.running_var)
你会发现，在小 batch size 下，这些值可能严重偏离真实数据的分布。
3.3 解决方案
使用 GroupNorm 或 LayerNorm 替代 BatchNorm，它们对 batch size 不敏感。
在训练时使用较大的 batch size。
在训练后重新计算 BatchNorm 的 running statistics。
# 重新计算 BN 的 running_mean 与 running_var
def update_bn_stats(model, dataloader):
model.train()
with torch.no_grad():
for images, _ in dataloader:
model(images)
# 使用训练集执行一次前向传播
update_bn_stats(net, train_loader)
4. Dropout 的双重特性
Dropout 是训练中的一种正则化机制，但在测试时它的行为完全不同，可能导致模型推理路径发生大幅变化。
4.1 为什么 Dropout 影响性能？
在训练时：
x = F.dropout(x, p=0.5, training=True)
模型学会了在缺失一部分神经元的条件下也能推断。而评估时：
x = F.dropout(x, p=0.5, training=False)
这会导致所有神经元都被使用，激活值整体偏移，性能下降。
4.2 MC-Dropout：一种解决方法
def enable_dropout(model):
for m in model.modules():
if m.__class__.__name__.startswith('Dropout'):
m.train()
# 测试时启用 Dropout
enable_dropout(model)
preds = [model(x) for _ in range(10)]
mean_pred = torch.mean(torch.stack(preds), dim=0)
这种方法称为 Monte Carlo Dropout，可以用于不确定性估计，也在一定程度上缓解 Dropout 导致的性能问题。
5. 训练与测试数据分布差异影响
评估模式性能下降，有时并不是 eval() 的错，而是 训练与测试数据分布不一致。
5.1 典型例子：图像增强
训练时你使用：
transforms.Compose([
transforms.RandomCrop(32),
transforms.RandomHorizontalFlip(),
transforms.ToTensor()
])
测试时你使用：
transforms.Compose([
transforms.CenterCrop(32),
transforms.ToTensor()
])
如果训练和测试数据分布差异过大，BatchNorm 的 running_mean/var 就会“失效”。
6. 常见错误代码与最佳实践
错误示例一：没有切换模式
# 忘记设置 eval 模式
model(train_data)
model(test_data) # 仍在 train 模式，BN/Dropout 错误
错误示例二：训练和验证共享 dataloader
train_loader = DataLoader(dataset, batch_size=4, shuffle=True)
val_loader = train_loader # 错误，共享数据增强
最佳实践
model.eval()
with torch.no_grad():
for images, labels in val_loader:
outputs = model(images)
7. 如何正确使用 eval()？
始终在验证前调用
eval()验证时关闭梯度计算
确保 BatchNorm 的统计量合理
尝试使用
LayerNorm等替代方案在有 Dropout 的网络中可以使用 MC-Dropout 方法
8. 从系统设计角度看评估模式的陷阱
model.eval() 并不是“性能下降”的主要原因，它只是执行了你告诉它该做的事情。
问题出在：
你没有正确地初始化 BN 的统计量
你训练数据分布有偏
你误用了 Dropout 或者 batch size 太小
换句话说：模型评估的失败，是训练设计的失败
9. 实战案例：ImageNet 模型测试评估结果异常的根源
许多 ImageNet 模型在训练时 batch size 为 256，测试时 batch size 为 32 或更小。这会导致 BN 统计差异极大。
解决方法：
使用 EMA 平滑 BN 参数
使用 Fixup 初始化等替代 BN 的方案
再训练一遍最后几层 + BN
10. 结语
model.eval() 本身是一个中立的函数，它只做了两件事：
停掉 Dropout
启用 BatchNorm 的推理模式
它的行为是完全合理的。性能下降的根源，不在 eval()，而在于我们对模型训练、验证流程的理解不够深入。
理解这背后的机理，我们才能真正掌握深度学习的本质。