Focal Loss 原理详解及 PyTorch 代码实现

介绍

一、Focal Loss 背景

Focal Loss 是为解决类别不平衡问题设计的损失函数，通过引入 gamma 参数降低易分类样本的权重，使用 alpha 参数调节正负样本比例。在目标检测等类别不平衡场景中表现优异。

二、代码逐行解析

1. 类定义与初始化

class FocalLoss(nn.Module):
    """应用 Focal Loss 通过 gamma 和 alpha 参数改进 BCEWithLogitsLoss 以处理类别不平衡"""
    
    def __init__(self, loss_fcn, gamma=1.5, alpha=0.25):
        super().__init__()
        self.loss_fcn = loss_fcn  # 必须使用 nn.BCEWithLogitsLoss()
        self.gamma = gamma        # 调节难易样本权重的指数参数
        self.alpha = alpha        # 平衡正负样本比例的权重系数
        
        # 修改原损失函数的 reduction 为 'none' 进行逐元素计算
        self.reduction = loss_fcn.reduction
        self.loss_fcn.reduction = "none"

	def forward(self, pred, true):
	    # 计算基础交叉熵损失
	    loss = self.loss_fcn(pred, true)
	    
	    # 通过 sigmoid 获取概率预测值（范围0-1）
	    pred_prob = torch.sigmoid(pred)
	    
	    # 计算 p_t（真实类别对应的预测概率）（正确分类的概率）
	    p_t = true * pred_prob + (1 - true) * (1 - pred_prob)
	    
	    # 计算 alpha 因子：正样本乘 alpha，负样本乘 (1-alpha) （类别权重）
	    alpha_factor = true * self.alpha + (1 - true) * (1 - self.alpha)
	    
	    # 计算调制因子：难分类样本权重更大 （困难样本权重）
	    modulating_factor = (1.0 - p_t) ** self.gamma
	    
	    # 组合得到最终的 Focal Loss
	    loss *= alpha_factor * modulating_factor
	    
	    # 根据 reduction 设置返回结果
	    if self.reduction == "mean":
	        return loss.mean()
	    elif self.reduction == "sum":
	        return loss.sum()
	    else:  # 'none'
	        return loss

三、核心参数作用

1. Gamma (γ)：

   • γ > 0 时，降低易分类样本（p_t 接近 1）的损失权重
   • 典型取值范围：0.5-5.0
   • 示例：当 p_t=0.9，γ=2 → 调制因子 = 0.01

2. Alpha (α)：

   • 调节正负样本权重比例
   • α 接近 1 时强调正样本
   • α 接近 0 时强调负样本

四、使用示例

# 初始化
criterion = FocalLoss(
    loss_fcn=nn.BCEWithLogitsLoss(),
    gamma=2.0,
    alpha=0.75
)

# 计算损失
pred = model(inputs)
loss = criterion(pred, targets)

五、应用场景

• 目标检测（如 RetinaNet）
• 医学图像分析
• 任何存在严重类别不平衡的分类任务

六、总结

Focal Loss 通过两个关键参数实现了：

1. 降低大量易分类样本的损失贡献
2. 平衡正负样本的权重比例
3. 改善模型对困难样本的学习能力