3. RKNN Toolkit Lite

RKNN Toolkit Lite 是 RKNN Toolkit 的精简版本,为用户提供在 PC、RK3399Pro、RK1808、RK1806、V1109、RV1126 上进行模型推理的开发套件。用户通过该 SDK 提供的 Python 接口可以方便、快速地完成 AI 应用的开发和部署。相比 RKNN Toolkit 繁杂且费时的安装过程, RKNN Toolkit Lite 安装过程只需十分钟不到。

3.1. 安装

  • OS: Ubuntu18.04 / Debian 10

  • OpenCV version: 3.4.15

  • Board: RK3399pro

  • NPU driver:firefly-3399pronpu-driver_1.7.1_arm64.deb

  1. 搭建python3.7虚拟环境

    # 依次安装gcc和cmake等编译环境
    # 安装python3.7-tk 和 python3.7-dev
    # 安装virtualenv虚拟环境
    sudo apt install gcc cmake git build-essential \
    python3-tk python3.7-dev \
    virtualenv
    
  2. 创建python3.7虚拟环境

    virtualenv -p /usr/bin/python3.7m /home/firefly/venv
    # 使用虚拟环境,如果想退出可以在终端输入 deactivate
    source /home/firefly/venv/bin/activate
    
  3. 安装rknn_toolkit_lite-1.7.1-cp37-cp37m-linux_aarch64.whl

    mkdir /home/firefly/wrok
    cd /home/firefly/wrok
    git clone https://github.com/rockchip-linux/rknn-toolkit.git
    pip3 install /home/firefly/work/rknn-toolkit/rknn-toolkit-lite/packages/rknn_toolkit_lite-1.7.1-cp37-cp37m-linux_aarch64.whl -i https://mirrors.aliyun.com/pypi/simple/
    

3.2. 测试

测试过程需要OpenCV支持,OpenCV的安装可参考《Opencv 编译和安装》

  1. 安装3399pro的NPU驱动:firefly-3399pronpu-driver_1.7.1_arm64.deb

    sudo apt update
    sudo apt install firefly-3399pronpu-driver
    # reboot
    sudo reboot
    
  2. 运行测试代码

    cd /home/firefly/work/rknn-toolkit/rknn-toolkit-lite/examples/inference_with_lite/
    source /home/firefly/venv/bin/activate
    python3 test.py