RK3568 NPU RKNN（四）：RKNN-ToolKit2性能和内存评估

1、前言

本文仅记录本人学习过程，不具备教学指导意义。

2、目标

使用野火提供的示例程序，体验 RKNN-ToolKit2 在PC端使用连板推理，进行性能和内存评估。

3、完整的测试程序

from rknn.api import RKNN

RKNN_MODEL = 'yolov5s.rknn'
IMG_PATH = './bus.jpg'
DATASET = './dataset.txt'

if __name__ == '__main__':
    # 创建RKNN
    # 如果测试遇到问题，请开启verbose=True，查看调试信息。
    #rknn = RKNN(verbose=True)
    rknn = RKNN()
    
    # 导入RKNN模型，path参数指定模型路径
    print('--> Loading model')
    ret = rknn.load_rknn(path=RKNN_MODEL)
    if ret != 0:
        print('Load model failed!')
        exit(ret)
    print('done')

    # 初始化运行时环境，指定连接的板卡NPU平台,
    # perf_debug开启进行性能评估时开启debug模式，eval_mem进入内存评估模式
    print('--> Init runtime environment')
    ret = rknn.init_runtime(target='rk3588', device_id='4c52ebe8f0ee8e63', perf_debug=True, eval_mem=True)
    if ret != 0:
        print('Init runtime environment failed!')
        exit(ret)
    print('done')

    # 模型性能进行评估，默认is_print是true，打印内存使用情况
    print('--> eval_perf')
    rknn.eval_perf()
    print('done')

    # 调试，模型性能进行评估,默认is_print是true，打印内存使用情况
    print('--> eval_memory')
    rknn.eval_memory()
    print('done')
    
    rknn.release()

4、运行测试程序

这里电脑使用usb type-c线和板卡otg接口连接。同时板卡需要先开启rknn_server服务：

cat@lubancat:/ rknn_server &

电脑端执行程序：

cd lubancat_ai_manual_code/dev_env/rknn_toolkit2/examples/evaluation/yolov5
python3 test.py

程序执行之初，会打印板卡端rknn_server和rknnrt的版本，请确保版本一致：

rknn_server和rknnrt获取方式：

# 1. 从野火提供的工程源码中获取
# 在 lubancat_ai_manual_code/dev_env/rknpu2/runtime/ 目录下

# 2. 在官网获取：
# 在 https://github.com/airockchip/rknn-toolkit2/tree/master/rknpu2/runtime 目录下

程序运行结束：

5、程序拆解

1. 加载 rknn 模型

ret = rknn.load_rknn(path=RKNN_MODEL)

• RKNN_MODEL 指向模型文件路径（例：yolov5s.rknn）。

2. 初始化运行环境

ret = rknn.init_runtime(target='rk3588', device_id='4c52ebe8f0ee8e63', perf_debug=True, eval_mem=True)

• 初始化 RKNN 推理环境。
  • target：指定连接的平台为rk3588
  • device_id：指定连接的平台的adb device id
  • perf_debug：开启进行性能评估时开启debug模式
  • eval_mem：eval_mem进入内存评估模式

3. 模型性能评估

rknn.eval_perf()

• 评估模型性能。
• 模型必须运行在与 PC 连接的 RK3566 / RK3568 / RK3588 / RV1103 / RV1106 上。如果初始化运行环境时设置 perf_debug 为 False，则获得的是模型在硬件上运行的总时间；如果设置 perf_debug为 True，除了返回总时间外，还将返回每一层的耗时情况。

4. 获取内存使用情况

rknn.eval_memory()

• 获取模型在硬件平台运行时的内存使用情况。模型必须运行在与 PC 连接的 RK3566 / RK3568 / RK3588 / RV1103 / RV1106 上。

6、总结

参考文章：

https://doc.embedfire.com/linux/rk356x/Ai/zh/latest/lubancat_ai/env/toolkit2.html#id9