回调函数
回调函数是作为参数传递给其他函数的函数，其目的是在某个特定事件发生时被调用执行。这种机制允许代码在运行时动态指定需要执行的逻辑，实现了代码的灵活性和可扩展性。
回调函数的核心价值在于：
1. 解耦逻辑：将通用逻辑与特定处理逻辑分离，使代码更模块化。
2. 事件驱动编程：在异步操作、事件监听（如点击按钮、网络请求完成）等场景中广泛应用。
3. 延迟执行：允许在未来某个时间点执行特定代码，而不必立即执行。
# 定义一个回调函数
def handle_result(result):
"""处理计算结果的回调函数"""
print(f"计算结果是: {result}")
# 定义一个接受回调函数的函数
def calculate(a, b, callback): # callback是一个约定俗成的参数名
"""
这个函数接受两个数值和一个回调函数，用于处理计算结果。
执行计算并调用回调函数
"""
result = a + b
callback(result) # 在计算完成后调用回调函数
# 使用回调函数
calculate(3, 5, handle_result) # 输出: 计算结果是: 8lamda匿名函数
在hook中常常用到lambda函数，它是一种匿名函数（没有正式名称的函数），最大特点是用完即弃，无需提前命名和定义。它的语法形式非常简约，仅需一行即可完成定义，格式如下：
lambda 参数列表: 表达式
- 参数列表：可以是单个参数、多个参数或无参数。
- 表达式：函数的返回值（无需 return 语句，表达式结果直接返回）。
# 定义匿名函数：计算平方
square = lambda x: x ** 2
# 调用
print(square(5)) # 输出: 25hook函数
模块钩子 (Module Hooks)
模块钩子允许我们在模块的输入或输出经过时进行监听。PyTorch 提供了两种模块钩子：
- `register_forward_hook`：在前向传播时监听模块的输入和输出
- `register_backward_hook`：在反向传播时监听模块的输入梯度和输出梯度
前向钩子 (Forward Hook)
# 定义前向钩子函数 - 用于在模型前向传播过程中获取中间层信息
def forward_hook(module, input, output):
"""
前向钩子函数，会在模块每次执行前向传播后被自动调用
参数:
module: 当前应用钩子的模块实例
input: 传递给该模块的输入张量元组
output: 该模块产生的输出张量
"""
print(f"钩子被调用！模块类型: {type(module)}")
print(f"输入形状: {input[0].shape}") # input是一个元组，对应 (image, label)
print(f"输出形状: {output.shape}")
# 保存卷积层的输出用于后续分析
# 使用detach()避免追踪梯度，防止内存泄漏
conv_outputs.append(output.detach())
# 在卷积层注册前向钩子
# register_forward_hook返回一个句柄，用于后续移除钩子
hook_handle = model.conv.register_forward_hook(forward_hook)
# 创建一个随机输入张量 (批次大小=1, 通道=1, 高度=4, 宽度=4)
x = torch.randn(1, 1, 4, 4)
# 执行前向传播 - 此时会自动触发钩子函数
output = model(x)
# 释放钩子 -防止在后续模型使用中持续调用钩子造成意外行为或内存泄漏
hook_handle.remove()反向钩子 (Backward Hook)
# 定义反向钩子函数
def backward_hook(module, grad_input, grad_output):
# 模块：当前应用钩子的模块
# grad_input：模块输入的梯度
# grad_output：模块输出的梯度
print(f"反向钩子被调用！模块类型: {type(module)}")
print(f"输入梯度数量: {len(grad_input)}")
print(f"输出梯度数量: {len(grad_output)}")
# 保存梯度供后续分析
conv_gradients.append((grad_input, grad_output))
# 在卷积层注册反向钩子
hook_handle = model.conv.register_backward_hook(backward_hook)
# 创建一个随机输入并进行前向传播
x = torch.randn(1, 1, 4, 4, requires_grad=True)
output = model(x)
# 定义一个简单的损失函数并进行反向传播
loss = output.sum()
loss.backward()
# 释放钩子
hook_handle.remove()张量钩子 (Tensor Hooks)
除了模块钩子，PyTorch 还提供了张量钩子，允许我们直接监听和修改张量的梯度。张量钩子有两种：
- `register_hook`：用于监听张量的梯度
- `register_full_backward_hook`：用于在完整的反向传播过程中监听张量的梯度（PyTorch 1.4+）
# 创建一个需要计算梯度的张量
x = torch.tensor([2.0], requires_grad=True)
y = x ** 2
z = y ** 3
# 定义一个钩子函数，用于修改梯度
def tensor_hook(grad):
print(f"原始梯度: {grad}")
# 修改梯度，例如将梯度减半
return grad / 2
# 在y上注册钩子
hook_handle = y.register_hook(tensor_hook)
# 计算梯度
z.backward()
print(f"x的梯度: {x.grad}")
# 释放钩子
hook_handle.remove()@浙大疏锦行