学校做网站方案,如何制作网站板块,网站建设建立好如何盈利,发来贵州省建设厅网站文章目录 序言正文1 安装PPLCV2 TensorRT环境相关3 编译MMDeploy4 编译SDK结束 序言
本文主要针对在编译安装OpenMMLab团队的MMDeploy模型部署工具时遇到的“难以下手”的问题。 由于OpenMMLab的用户中很大一部分都是具有快速开发需求的人#xff0c;或者说其实相当部分OpenM… 文章目录 序言正文1 安装PPLCV2 TensorRT环境相关3 编译MMDeploy4 编译SDK结束 序言
本文主要针对在编译安装OpenMMLab团队的MMDeploy模型部署工具时遇到的“难以下手”的问题。 由于OpenMMLab的用户中很大一部分都是具有快速开发需求的人或者说其实相当部分OpenMMlab开源算法体系的用户都没有特别扎实的代码基础或者理论基础比如说我在面对MMDeploy这个相对于OpenMMLab其他算法库而言复杂了许多的代码库时会有一些畏难情绪。 此外由于很多时候接触Cpp比较少对于其中的编译安装有很多不理解的地方环境变量稍稍一变动就高不明白了本文主要对于一些我之前作不来但是现在能做的地方进行分享与展示。
正文
首先参考教程(https://github.com/open-mmlab/mmdeploy/blob/main/docs/zh_cn/01-how-to-build/linux-x86_64.md)
如果教程由于在GitHub上你访问起来有困难那么请移步官方中文文档
现摘取其中容易出问题的地方进行讲解。
跟着教程走一般都不会有问题关键点在于“不换终端”当然如果你看了下面的文字知道发生了什么之后你换终端也没有什么事。
1 安装PPLCV
教程中所给代码
git clone https://github.com/openppl-public/ppl.cv.git
cd ppl.cv
export PPLCV_DIR$(pwd)
git checkout tags/v0.7.0 -b v0.7.0
./build.sh cuda这里首先需要注意的是export PPLCV_DIR$(pwd)这一步这是为了添加ppl.cv这个包的环境变量。 linux的环境变量如果直接这样运行命令的话就是临时添加如果你另起一个终端或者是使用source ~/.bashrc之类的命令刷新了环境变量那么这一步就需要重做了。
其余在这个教程中涉及到这种什么什么“DIR”的也是一样的道理。
2 TensorRT环境相关
因为我是在Nvidia显卡上进行模型部署所以下面也主要依托这个来讲。
cd /the/path/of/tensorrt/tar/gz/file
tar -zxvf TensorRT-8.2.3.0.Linux.x86_64-gnu.cuda-11.4.cudnn8.2.tar.gz
pip install TensorRT-8.2.3.0/python/tensorrt-8.2.3.0-cp37-none-linux_x86_64.whl
export TENSORRT_DIR$(pwd)/TensorRT-8.2.3.0
export LD_LIBRARY_PATH$TENSORRT_DIR/lib:$LD_LIBRARY_PATH
pip install pycuda这是教程中用于安装TensorRT包的命令。 只要选择和自己的cuda版本相应的就可以了。 如果你已经在做模型部署却连cuda都没有下载的话那么请浏览器搜索引擎搜索Nvidia Cuda进入下载页面根据你的环境进行选择然后选择run脚本安装的方式安装cuda。 不要装deb包不要装deb包不要装deb包 装deb包会连同你的驱动一起重装一般而言是不合适的而且这种库用APT或者YUM装心里有点不踏实。 确认cuda装好了就是我刚刚说的选择合适版本的TensorRT包就可以了选择Tar包安装没你以为的比Deb包麻烦知道文件都放在哪里的感觉令人安心。 截至1月20日该文编辑时间已经有cuda12.2了但是没有与该版本对应的TensorRT版本别担心实测12.1能用的就行换句话说最新的能用。 下面的两步中一个又是设置TENSORRT_DIR环境变量的后面的cudnn安装也要设置这个。这是为了编译MMDeploy的内容才这么做的一般来说项目里面不会这么做可能只是会在CMakeLists中通过set方法在文件内定义一下。这里用这个方式传入库的信息其实已经非常简化了流程了而下面的第二条环境变量指令是将库文件所在引入环境变量是常见的配置TensorRT环境的步骤。
我之前就装过所以仅仅进行export TENSORRT_DIR/opt/TensorRT-8.9.1.6这是我安装TensorRT的位置另一条指令则写入了.bashrc文件。
注意不要忘记装pycuda。
然后是安装Cudnn这个深度学习加速库。命令上也是差不多的。 对于之前装过Cudnn的人来说一般来说就和cuda的库文件放在一起的。也就是/usr/local/cuda中准确的应该要加版本号不过一般都有软链接应该是运行装cuda的时候自带的设置软链接。从而我们也可以粗略得出一种管理多版本cuda的方法——应该可以通过临时改换软链接的指向来确定当前使用的cuda环境。当然这样做在写CMake的时候还不如直接接上版本号来得方便。
后面接着说了如果想永久有效的话就写入当前所用shell的配置文件不一定就是.bashrc哦也许你是别的shell。不过如果你不知道这个的话你多半就是.bashrc了。
3 编译MMDeploy
也是有一个设置环境变量的过程。没啥难度。
不过另一个需要注意的地方是MMDeploy中是有子模块的不过因为是放在一个文件夹“ThirdPart”还是什么名字之下的你克隆的时候可能没有看见。
在克隆仓库时克隆子模块则加上--recursive参数如果已经克隆了仓库但没有克隆子模块则运行
git submodule update来更新子模块。
4 编译SDK
如果你前面都没什么问题最后模型也转换出来了但是最后你没办法完成推理那么多半是SDK编译不对
cd ${MMDEPLOY_DIR}
mkdir -p build cd build
cmake .. \-DCMAKE_CXX_COMPILERg-7 \-DMMDEPLOY_BUILD_SDKON \-DMMDEPLOY_BUILD_EXAMPLESON \-DMMDEPLOY_BUILD_SDK_PYTHON_APION \-DMMDEPLOY_TARGET_DEVICEScuda;cpu \-DMMDEPLOY_TARGET_BACKENDStrt \-Dpplcv_DIR${PPLCV_DIR}/cuda-build/install/lib/cmake/ppl \-DTENSORRT_DIR${TENSORRT_DIR} \-DCUDNN_DIR${CUDNN_DIR}make -j$(nproc) make install以TensorRT的推理的SDK的编译为例需要注意的地方就是这几个主目录另外是-DCMAKE_CXX_COMPILERg-7 \这个参数里面的7需要根据你自己的版本进行修改比如我是9。 如果出现什么找不到库之类的情况那么应该就是你的哪个环境变量掉了。你可以使用echo命令来看它到底指向哪里或者并不存在例如
echo ${PPLCV_DIR}应该返回该变量的路径。
也就是说其实如果你没有设置这些环境变量但是你记得这些库的路径的话这几个编译选项就直接传入你的库路径也是一样的使用设置环境变量的方式是为了简化流程与降低环境的安装难度但是如果你觉得这样更加麻烦的话当然就不需要这么做了。
结束
如果出现其他问题欢迎留言讨论。
