淘宝客网站名,智能硬件开发流程,网站建设网站软件,云南云南省城乡建设厅网站NNCF介绍
OpenVINO2023版本衍生出了一个新支持工具包NNCF(Neural Network Compression Framework – 神经网络压缩框架)#xff0c;通过对OpenVINO IR格式模型的压缩与量化更好的提升模型在OpenVINO框架上部署的推理性能#xff0c;github。
https://github.com/openvinoto…NNCF介绍
OpenVINO2023版本衍生出了一个新支持工具包NNCF(Neural Network Compression Framework – 神经网络压缩框架)通过对OpenVINO IR格式模型的压缩与量化更好的提升模型在OpenVINO框架上部署的推理性能github。
https://github.com/openvinotoolkit/nncf安装NNCF
pip install nncfNNCF关键特性
训练后压缩算法支持权重压缩与量化训练时压缩算法支持感知量化、混合精度量化、二值、稀疏、过滤剪枝、运动剪枝等算法。图示如下
YOLOv8量化压缩
基于NNCF实现YOLOv8预训练模型的训练后量化压缩PTQ实现INT8量化YOLOv8模型生成。首先需要使用YOLOv8命令行工具导出OpenVINO格式模型命令行如下 yolo export modelyolov8n.pt formatopenvino 然后基于YOLOv8框架的函数构建一个YOLOv8模型对应的COCO数据集的Validator相关的代码如下 官方给出的代码里面是有个ValidatorClass但是我发现YOLOv8框架早已经不支持这里其实主要是构建自己的Dataset跟DataLoader而已简单粗暴的点是可以自己直接构建就是要写点代码。我发现了YOLOv8框架里面有个DetectionValidator是可以用的于是我就用这个然后直接给一个图像文件夹就可以获取dataloader实例了。准备好验证数据以后就是最后一步了启动模型INT8量化相关的代码如下 这样就可以完成PTQ量化模型的生成。最后这部分的代码其实在GITHUB的官方教程上是有说明跟给出的我这里再贴一下 就是说实际上针对自定义数据集你自己构建一个DataLoader即可。 量化版YOLOv8推理测试
基于YOLOv8 INT8量化模型OpenVINO C SDK在不同的部署与加速方式下最终的测试结果如下 从此我又相信YOLOv8OpenVINO了。
特别说明
OpenVINO20023.1版本测试。 学会使用最新版本OpenVINO框架实现模型加速请看本人新书 《OpenCV应用开发入门、进阶与工程化实践》 第十五章相关内容
