哈密市建设局网站,网络运维和网站开发哪个好,网站开发步骤,自己搭建appquickrun 是一款rk3588 rknn多模型高效高并发部署软件
软件框架
采用session思想#xff0c;可以定义多个session满足不同模型的义务需求。比如充电桩检测#xff0c;垃圾分类#xff0c;悬崖检测#xff0c;模型共用一个摄像头#xff0c;采用yolov5的模型。
采用消息…quickrun 是一款rk3588 rknn多模型高效高并发部署软件
软件框架
采用session思想可以定义多个session满足不同模型的义务需求。比如充电桩检测垃圾分类悬崖检测模型共用一个摄像头采用yolov5的模型。
采用消息队列存放照片数据是为了防止丢帧以及高效并发一般情况下采集照片数据25fps前后处理推理时间40ms25fps所以基本取消息和存消息时间相等。由于是模型是640*640 输入摄像头是640 * 480输入解码用cv::imdecode, rgb 格式输入模型使用rga加速等比例缩放。由于三个模型设置三个session的独立线程之间相互独立互不干扰。
模型输出
rk3588 yolov5模型输出注意转换为onnx的时候在forward 层去掉cat的操作直接输出2020404080*80三个特征图
性能
一个模型占用npu1.2Tcpu40%前处理推理后处理画框), 推理时间20ms。使用perf top -p 查看cpu使用率并且可以精确到具体某一个函数的cpu使用率
源码地址 https://github.com/dreamflyforever/quickrun
