(1)通道选择 这里要先解释一下: (1)通道剪枝 那我们实际做法不是上面直接对所有层都添加L1正则项,而是仅仅对BN层权重添加L1正则项。通道剪枝具体步骤如下: 1.BN层权重添加L1正则项,进行稀疏训练 2.对BN层权重的scale factor进行排序,对scale factor低于阈值的通道进行裁剪,得到剪枝模型 3.对剪枝模型进行finetune 注:进行finetune的目的是因为剪枝完整个网络结构发生了变化,之前的训练的模型无法再加载进入,必须要finetune(或者这里用重新训练