Nanodet模型部署(ncnn,openvino)/YOLOX部署(TensorRT)
阅读原文时间:2023年07月11日阅读:3

Nanodet模型部署(ncnn,openvino)

step1: 参考链接

step2: 步骤补充

  • 以openvino官方文档为主要参考
  1. 进入openvino官方文档后点击[Install Package]
  2. 然后开始官方文档的step1进行选择下载形如[l_openvino_toolkit_p_2021.4.752.tgz]
    • 选择Linux -> Online & Offline -> 2021 4.2 LTS -> offline (注意选择Version Type时候注意,如果是低点版本可能在Ubuntu20.04上安装protuf(好像是这个名字)会包g++不对) ->然后随便填邮箱,国家即可下载
  3. 后续对比上面三个官方文档(openvino官方文档为主)一步一步即可
  4. openvino将onnx转换成适合openvino的格式是nanodet.xml nanodet.bin nanodet.maping

step3: 使用CLion进行阅读调试代码(Debug)

  1. 先进入clion.sh位置(/home/zranguai/software/CLion-2021.3.2/clion-2021.3.2/bin) 然后sh clion.sh
  2. source /opt/intel/openvino_2021/bin/setupvars.sh
  3. 选择nanodet的demo_openvino项目
  4. 左上角Edit Configuration进行配置main.cpp的参数(例如Program arguments 3 0)进行Debug调试

step1: 参考链接

step2: 步骤补充

  • 以mmdeploy安装指南为主要参考
  • 如果需要安装opencv可以参考opencv安装教程
  • 或者上面openvino的GiantPandaCV里也有已经编译好的opencv
  • 在编译好的ncnn里面运行onnx2ncnn产生.param 和 .bin(/home/zranguai/C_C++_Code/C_C++_deploy/ncnn/build/tools下)
  • 使用ncnnoptimize优化ncnn模型(/home/zranguai/C_C++_Code/C_C++_deploy/ncnn/build/)
  • ncnn将onnx转换成适合ncnn的格式是 nanodet.param nanodet.bin

step3: 使用CLion进行阅读调试代码(Debug)

  1. 先进入clion.sh位置(/home/zranguai/software/CLion-2021.3.2/clion-2021.3.2/bin) 然后sh clion.sh
  2. export VULKAN_SDK=(pwd)/1.2.176.1/x86_64 -->其中是mmdeploy官方文档安装vulkansdk的
    • 例如 export VULKAN_SDK=/home/zranguai/C_C++_Code/C_C++_deploy/1.2.176.1/x86_64
  3. export ncnn_DIR=YOUR_NCNN_PATH/build/install/lib/cmake/ncnn
    • 例如 export cnn_DIR=/home/zranguai/C_C++_Code/C_C++_deploy/ncnn/build/install/lib/cmake/ncnn
  4. 配置参数进行Debug阅读代码即可

step1: 参考链接

step2步骤补充

  1. TensorRT安装时操作系统,cuda, cudnn需要对上
  2. 安装mmdeploy上将环境变量导入到~/.bashrc
  3. 在yolox是make遇到问题解决方案: (https://github.com/Megvii-BaseDetection/YOLOX/issues/768)
  4. 在yolox的CMakeLists.txt需要更改cuda,cudnn, TensorRT路径
  5. 转换成适合TensorRT的格式是model_trt.engine

使用CLion进行阅读调试代码(Debug)

  • 这里因为之前将环境导入~/.bashrc,and yolox的CMakeLists.txt有路径所以直接打开即可
  • 配置路径进行调试
    • /home/zranguai/Cv-Code/detection/YOLOX-0.2.0/YOLOX_outputs/yolox_s/model_trt.engine -i /home/zranguai/Cv-Code/detection/YOLOX-0.2.0/assets/dog.jpg

手机扫一扫

移动阅读更方便

阿里云服务器
腾讯云服务器
七牛云服务器

你可能感兴趣的文章