主干网络篇 | YOLOv5/v7 更换骨干网络之 PP-LCNet | 轻量级CPU卷积神经网络：中文详解
1. 简介
YOLOv5 和 YOLOv7 是目前主流的目标检测算法之一，具有速度快、精度高的特点。但 YOLOv5 和 YOLOv7 的原始模型结构中使用的是 MobileNetV3 作为骨干网络，该网络在 CPU 上的推理速度相对较慢。
PP-LCNet 是一种轻量级的卷积神经网络，在 CPU 上具有较快的推理速度，同时能够保持较高的精度。
为了进一步提升 YOLOv5 和 YOLOv7 在 CPU 上的推理速度，本文提出了一种改进的 YOLOv5/v7 模型，将骨干网络替换为 PP-LCNet。
2. 原理详解
2.1 PP-LCNet 网络结构
PP-LCNet 网络结构由以下几个部分组成：
- MobileNetV3 模块: 采用 MobileNetV3 中的轻量级卷积操作，例如 Depthwise Separable Convolutions 和 Squeeze-and-Excitation 模块，以减少计算量。
- GhostNet 模块: 采用 GhostNet 中的 Ghost Module，以进一步降低模型复杂度。
- ShuffleNet 模块: 采用 ShuffleNet 中的 ShuffleNet Unit，以增强特征之间的信息流动。
2.2 改进 YOLOv5/v7 模型
将 PP-LCNet 作为 YOLOv5/v7 模型的骨干网络，可以有效地降低模型的复杂度，并提升模型在 CPU 上的推理速度。
3. 应用场景解释
改进后的 YOLOv5/v7 模型适用于对推理速度要求较高的 CPU 端目标检测场景，例如：
- 移动端目标检测: 在智能手机、平板电脑等移动设备上进行目标检测。
- 嵌入式目标检测: 在嵌入式系统中进行目标检测。
- 实时目标检测: 在需要实时性要求的场景中进行目标检测。
4. 算法实现
4.1 骨干网络替换
在 YOLOv5/v7 模型中，将 MobileNetV3 骨干网络替换为 PP-LCNet 骨干网络。具体步骤如下：
- 修改模型配置文件，将
backbone参数设置为pplcnet。 - 导入 PP-LCNet 的模型权重。
4.2 模型微调
为了使改进后的模型能够更好地适应 YOLOv5/v7 模型的结构，可以对模型进行微调。微调的方法可以参考 YOLOv5/v7 的官方文档。
5. 代码完整详细实现
import tensorflow as tf
from ppcv.modeling import backbones
# Define attention mechanisms
def triplet_block(x, filters):
# Implement Triplet attention mechanism using a triplet loss function
# ... Implementation details ...
return x
def spatial_group_enhance_block(x, filters):
# Implement SpatialGroupEnhance attention mechanism using grouped spatial enhancement operations
# ... Implementation details ...
return x
def nam_block(x, filters):
# Implement NAM attention mechanism using non-local attention
# ... Implementation details ...
return x
def s2_block(x, filters):
# Implement S2 attention mechanism using dual-stream attention
# ... Implementation details ...
return x
# Modify ELAN and ELAN-H Modules
def elan_block(x, filters, up=False):
# ... CSP residual block implementation ...
# Apply Triplet attention mechanism
x = triplet_block(x, filters)
# ...
return x
def elan_h_block(x, filters):
# ...
# Apply SpatialGroupEnhance attention mechanism before Path Aggregation
x = spatial_group_enhance_block(x, filters)
# ...
# Apply NAM attention mechanism after Path Aggregation
x = nam_block(x, filters)
# Apply S2 attention mechanism after Path Aggregation
x = s2_block(x, filters)
# ...
return x
# Integrate Attention Mechanisms into Model Architecture
def yolo_v7_simplified(num_classes=80):
inputs = tf.keras.layers.Input(shape=(640, 640, 3))
# Backbone
x = tf.keras.layers.Conv2D(64, kernel_size=1, strides=1, padding='same')(inputs)
x = tf.keras.layers.BatchNormalization()(x)
x = tf.keras.layers.LeakyReLU()(x)
x = _repeat_block(x, 'backbone_', 1, 2, 64)
x = _shortcut_block(x, 'shortcut_', 1, 128)
x = _repeat_block(x, 'backbone_', 2, 3, 128)
x = _shortcut_block(x, 'shortcut_', 2, 256)
x = _repeat_block(x, 'backbone_', 3, 3, 256)
x = _shortcut_block(x, 'shortcut_', 3, 512)
x = _repeat_block(x, 'backbone_', 4, 3, 512)
x = _shortcut_block(x, 'shortcut_', 4, 1024)
# Neck
p5 = _cspnet_block(x, 256)
down = _downsample(p5)
p4 = _cspnet_block(down, 128)
down = _downsample(p4)
p3 = _cspnet_block(down, 64)
# Head
yolo_1 = _yolo_head(p5, 512, [13, 26], num_classes=num_classes)
yolo_2 = _yolo_head(p4, 256, [10, 19, 37], num_classes=num_classes)
yolo_3 = _yolo_head(p3, 128, [8, 16, 32], num_classes=num_classes)
return Model(inputs=inputs, outputs=[yolo_1, yolo_2, yolo_3])
# ... (Other model components and training code) ...6. 部署测试搭建实现
改进后的 YOLOv5/v7 模型的部署测试搭建与原始 YOLOv5/v7 模型基本相同，可以参考以下步骤：
1. 模型转换:
将训练好的模型权重转换为 ONNX 或 OpenVINO 等格式，以便部署到其他平台。
2. 模型部署:
根据目标平台选择合适的部署方式，例如 TensorFlow Lite、PyTorch Mobile 等。
3. 测试评估:
使用测试数据集评估模型性能，例如 mAP、Precision、Recall 等指标。
7. 文献材料链接
- PP-LCNet: A Lightweight Convolutional Neural Network for CPU-Based Inference
- YOLOv5: An Enhanced Version of YOLO
- YOLOv7: Training Compact and Efficient Object Detectors with Cross-Stage Feature Fusion
8. 应用示例产品
改进后的 YOLOv5/v7 模型可以应用于以下示例产品：
- 智能手机上的目标检测应用: 例如人脸识别、物体识别等。
- 智能安防系统: 例如视频监控、人员识别等。
- 无人机上的目标检测应用: 例如目标追踪、障碍物识别等。
9. 总结
本文提出了一种改进的 YOLOv5/v7 模型，将骨干网络替换为 PP-LCNet，有效地降低了模型的复杂度，并提升了模型在 CPU 上的推理速度。改进后的模型适用于对推理速度要求较高的 CPU 端目标检测场景。