百度官网推广平台,石家庄抖音优化,优秀设计网站推荐,甘肃省建设工程网站疲劳驾驶检测和识别4#xff1a;C实现疲劳驾驶检测和识别(含源码#xff0c;可实时检测)
目录
疲劳驾驶检测和识别4#xff1a;C实现疲劳驾驶检测和识别(含源码#xff0c;可实时检测)
1.疲劳驾驶检测和识别方法
2.人脸检测方法
3.疲劳驾驶识别模型(Python)
#xf…疲劳驾驶检测和识别4C实现疲劳驾驶检测和识别(含源码可实时检测)
目录
疲劳驾驶检测和识别4C实现疲劳驾驶检测和识别(含源码可实时检测)
1.疲劳驾驶检测和识别方法
2.人脸检测方法
3.疲劳驾驶识别模型(Python)
1 疲劳驾驶识别模型的训练
2 将Pytorch模型转换ONNX模型
3 将ONNX模型转换为TNN模型
4.疲劳驾驶识别模型C/C部署
1项目结构
2配置开发环境(OpenCVOpenCLbase-utilsTNN)
3部署TNN模型
4CMake配置
5main源码
6源码编译和运行
7Demo测试效果
5.项目源码下载 这是项目《疲劳驾驶检测和识别》系列之《C实现疲劳驾驶检测和识别(含源码可实时检测)》主要分享将Python训练后的疲劳驾驶检测和识别模型(mobilenet_v2)部署到C/C平台。我们将开发一个简易的、可实时运行的疲劳驾驶检测和识别的C/C Demo。准确率还挺高的采用轻量级mobilenet_v2模型的疲劳驾驶检测和识别准确率也可以高达97.86%左右基本满足业务性能需求。C/C 版本的疲劳驾驶检测和识别模型推理支持CPU和GPU加速开启GPU(OpenCL)加速,可以达到实时的检测识别效果基本满足业务的性能需求。 先展示一下C/C版本的疲劳驾驶检测和识别Demo效果(不同类别使用不同颜色表示) 【尊重原创转载请注明出处】 https://blog.csdn.net/guyuealian/article/details/131834980 更多项目《疲劳驾驶检测和识别》系列文章请参考
疲劳驾驶检测和识别1 疲劳驾驶检测和识别数据集(含下载链接)https://blog.csdn.net/guyuealian/article/details/131718648疲劳驾驶检测和识别2Pytorch实现疲劳驾驶检测和识别(含疲劳驾驶数据集和训练代码)https://blog.csdn.net/guyuealian/article/details/131834946 疲劳驾驶检测和识别3Android实现疲劳驾驶检测和识别(含源码可实时检测)https://blog.csdn.net/guyuealian/article/details/131834970 疲劳驾驶检测和识别4C实现疲劳驾驶检测和识别(含源码可实时检测)https://blog.csdn.net/guyuealian/article/details/131834980 1.疲劳驾驶检测和识别方法
疲劳驾驶检测和识别方法有多种实现方案这里采用最常规的方法基于人脸检测疲劳驾驶分类识别方法即先采用通用的人脸检测模型进行人脸检测定位人体区域然后按照一定规则裁剪人脸检测区域再训练一个疲劳驾驶行为识别分类器完成疲劳驾驶检测和识别任务
这样做的好处是可以利用现有的人脸检测模型进行人脸检测而无需重新标注疲劳驾驶的人脸检测框可减少人工标注成本低而疲劳驾驶分类数据相对而言比较容易采集分类模型可针对性进行优化。 当然也可以直接基于目标检测的方法直接检测疲劳驾驶和非疲劳驾驶Python版本的项目提供了疲劳驾驶目标检测的数据集 2.人脸检测方法
本项目人脸检测训练代码请参考https://github.com/Linzaer/Ultra-Light-Fast-Generic-Face-Detector-1MB
这是一个基于SSD改进且轻量化后人脸检测模型很slim整个模型仅仅1.7M左右在普通Android手机都可以实时检测。人脸检测方法在网上有一大堆现成的方法可以使用完全可以不局限我这个方法。
关于人脸检测的方法可以参考我的博客
行人检测和人脸检测和人脸关键点检测C/Android源码人脸检测和行人检测2YOLOv5实现人脸检测和行人检测(含数据集和训练代码) 3.疲劳驾驶识别模型(Python)
1 疲劳驾驶识别模型的训练
本篇博文不含python版本的疲劳驾驶识别分类模型以及相关训练代码关于疲劳驾驶识别模型的训练方法请参考本人另一篇博文疲劳驾驶检测和识别2Pytorch实现疲劳驾驶检测和识别(含疲劳驾驶数据集和训练代码)https://blog.csdn.net/guyuealian/article/details/131834946
2 将Pytorch模型转换ONNX模型
目前CNN模型有多种部署方式可以采用TNNMNN,NCNN以及TensorRT等部署工具鄙人采用TNN进行C/C端上部署。部署流程可分为四步训练模型-将模型转换ONNX模型-将ONNX模型转换为TNN模型-C/C部署TNN模型。
训练好Pytorch模型后我们需要先将模型转换为ONNX模型以便后续模型部署。
原始项目提供转换脚本你只需要修改model_file为你模型路径即可 convert_torch_to_onnx.py实现将Pytorch模型转换ONNX模型的脚本 python libs/convert/convert_torch_to_onnx.py This code is used to convert the pytorch model into an onnx format model.import sys
import ossys.path.insert(0, os.getcwd())
import torch.onnx
import onnx
from classifier.models.build_models import get_models
from basetrainer.utils import torch_toolsdef build_net(model_file, net_type, input_size, num_classes, width_mult1.0)::param model_file: 模型文件:param net_type: 模型名称:param input_size: 模型输入大小:param num_classes: 类别数:param width_mult::return:model get_models(net_type, input_size, num_classes, width_multwidth_mult, is_trainFalse, pretrainedFalse)state_dict torch_tools.load_state_dict(model_file)model.load_state_dict(state_dict)return modeldef convert2onnx(model_file, net_type, input_size, num_classes, width_mult1.0, devicecpu, onnx_typedefault):model build_net(model_file, net_type, input_size, num_classes, width_multwidth_mult)model model.to(device)model.eval()model_name os.path.basename(model_file)[:-len(.pth)] .onnxonnx_path os.path.join(os.path.dirname(model_file), model_name)# dummy_input torch.randn(1, 3, 240, 320).to(cuda)dummy_input torch.randn(1, 3, input_size[1], input_size[0]).to(device)# torch.onnx.export(model, dummy_input, onnx_path, verboseFalse,# input_names[input],output_names[scores, boxes])do_constant_folding Trueif onnx_type default:torch.onnx.export(model, dummy_input, onnx_path, verboseFalse, export_paramsTrue,do_constant_foldingdo_constant_folding,input_names[input],output_names[output])elif onnx_type det:torch.onnx.export(model,dummy_input,onnx_path,do_constant_foldingdo_constant_folding,export_paramsTrue,verboseFalse,input_names[input],output_names[scores, boxes, ldmks])elif onnx_type kp:torch.onnx.export(model,dummy_input,onnx_path,do_constant_foldingdo_constant_folding,export_paramsTrue,verboseFalse,input_names[input],output_names[output])onnx_model onnx.load(onnx_path)onnx.checker.check_model(onnx_model)print(onnx_path)if __name__ __main__:net_type mobilenet_v2width_mult 1.0input_size [128, 128]num_classes 2model_file work_space/mobilenet_v2_1.0_CrossEntropyLoss/model/best_model_022_98.1848.pthconvert2onnx(model_file, net_type, input_size, num_classes, width_multwidth_mult)3 将ONNX模型转换为TNN模型
目前CNN模型有多种部署方式可以采用TNNMNN,NCNN以及TensorRT等部署工具鄙人采用TNN进行C/C端上部署
TNN转换工具 1将ONNX模型转换为TNN模型请参考TNN官方说明TNN/onnx2tnn.md at master · Tencent/TNN · GitHub2一键转换懒人必备一键转换 Caffe, ONNX, TensorFlow 到 NCNN, MNN, Tengine (可能存在版本问题这个工具转换的TNN模型可能不兼容建议还是自己build源码进行转换2022年9约25日测试可用)
4.疲劳驾驶识别模型C/C部署
项目IDE开发工具使用CLion相关依赖库主要有OpenCVbase-utils以及TNN和OpenCL(可选)其中OpenCV必须安装OpenCL用于模型加速base-utils以及TNN已经配置好无需安装
项目仅在Ubuntu18.04进行测试Windows系统下请自行配置好开发环境。
1项目结构
2配置开发环境(OpenCVOpenCLbase-utilsTNN)
项目IDE开发工具使用CLion相关依赖库主要有OpenCVbase-utils以及TNN和OpenCL(可选)其中OpenCV必须安装OpenCL用于模型加速base-utils以及TNN已经配置好无需安装 项目仅在Ubuntu18.04进行测试Windows系统下请自行配置和编译 安装OpenCV图像处理
图像处理如读取图片图像裁剪等都需要使用OpenCV库进行处理
安装教程Ubuntu18.04安装opencv和opencv_contrib_AI吃大瓜的博客-CSDN博客_opencv opencv_contrib ubuntu OpenCV库使用opencv-4.3.0版本opencv_contrib库暂时未使用可不安装 安装OpenCL模型加速 安装教程Ubuntu16.04 安装OpenCVOpenCL_xiaozl_284的博客-CSDN博客_clinfo源码下载 OpenCL用于模型GPU加速若不使用OpenCL进行模型推理加速纯C推理模型速度会特别特别慢 base-utilsC库
GitHubhttps://github.com/PanJinquan/base-utils 无需安装项目已经配置了 base_utils是个人开发常用的C库集成了C/C OpenCV等常用的算法 TNN模型推理
GitHubhttps://github.com/Tencent/TNN 无需安装项目已经配置了 由腾讯优图实验室开源的高性能、轻量级神经网络推理框架同时拥有跨平台、高性能、模型压缩、代码裁剪等众多突出优势。TNN框架在原有Rapidnet、ncnn框架的基础上进一步加强了移动端设备的支持以及性能优化同时借鉴了业界主流开源框架高性能和良好拓展性的特性拓展了对于后台X86, NV GPU的支持。手机端 TNN已经在手机QQ、微视、P图等众多应用中落地服务端TNN作为腾讯云AI基础加速框架已为众多业务落地提供加速支持。 3部署TNN模型
项目实现了C/C版本的车牌检测和车牌识别车牌检测模型YOLOv5和车牌识别模型PlateNet模型推理采用TNN部署框架支持多线程CPU和GPU加速推理图像处理采用OpenCV库模型加速采用OpenCL在普通设备即可达到实时处理。 如果你想在这个 Demo部署你自己训练的车牌检测模型YOLOv5和车牌识别模型PlateNet你可将训练好的Pytorch模型转换ONNX 再转换成TNN模型然后把原始的模型替换成你自己的TNN模型即可。 4CMake配置
这是CMakeLists.txt其中主要配置OpenCVOpenCLbase-utilsTNN这四个库Windows系统下请自行配置和编译 cmake_minimum_required(VERSION 3.5)
project(Detector)add_compile_options(-fPIC) # fix Bug: can not be used when making a shared object
set(CMAKE_CXX_FLAGS -Wall -stdc11 -pthread)
#set(CMAKE_CXX_FLAGS_RELEASE -O2 -DNDEBUG)
#set(CMAKE_CXX_FLAGS_DEBUG -g)if (NOT CMAKE_BUILD_TYPE AND NOT CMAKE_CONFIGURATION_TYPES)# -DCMAKE_BUILD_TYPEDebug# -DCMAKE_BUILD_TYPEReleasemessage(STATUS No build type selected, default to Release)set(CMAKE_BUILD_TYPE Release CACHE STRING Build type (default Debug) FORCE)
endif ()# opencv set
find_package(OpenCV REQUIRED)
include_directories(${OpenCV_INCLUDE_DIRS} ./src/)
#MESSAGE(STATUS OpenCV_INCLUDE_DIRS ${OpenCV_INCLUDE_DIRS})# base_utils
set(BASE_ROOT 3rdparty/base-utils) # 设置base-utils所在的根目录
add_subdirectory(${BASE_ROOT}/base_utils/ base_build) # 添加子目录到build中
include_directories(${BASE_ROOT}/base_utils/include)
include_directories(${BASE_ROOT}/base_utils/src)
MESSAGE(STATUS BASE_ROOT ${BASE_ROOT})# TNN set
# Creates and names a library, sets it as either STATIC
# or SHARED, and provides the relative paths to its source code.
# You can define multiple libraries, and CMake buil ds it for you.
# Gradle automatically packages shared libraries with your APK.
# build for platform
# set(TNN_BUILD_SHARED OFF CACHE BOOL FORCE)
if (CMAKE_SYSTEM_NAME MATCHES Android)set(TNN_OPENCL_ENABLE ON CACHE BOOL FORCE)set(TNN_ARM_ENABLE ON CACHE BOOL FORCE)set(TNN_BUILD_SHARED OFF CACHE BOOL FORCE)set(TNN_OPENMP_ENABLE ON CACHE BOOL FORCE) # Multi-Thread#set(TNN_HUAWEI_NPU_ENABLE OFF CACHE BOOL FORCE)add_definitions(-DTNN_OPENCL_ENABLE) # for OpenCL GPUadd_definitions(-DTNN_ARM_ENABLE) # for Android CPUadd_definitions(-DDEBUG_ANDROID_ON) # for Android Logadd_definitions(-DPLATFORM_ANDROID)
elseif (CMAKE_SYSTEM_NAME MATCHES Linux)set(TNN_OPENCL_ENABLE ON CACHE BOOL FORCE)set(TNN_CPU_ENABLE ON CACHE BOOL FORCE)set(TNN_X86_ENABLE OFF CACHE BOOL FORCE)set(TNN_QUANTIZATION_ENABLE OFF CACHE BOOL FORCE)set(TNN_OPENMP_ENABLE ON CACHE BOOL FORCE) # Multi-Threadadd_definitions(-DTNN_OPENCL_ENABLE) # for OpenCL GPUadd_definitions(-DDEBUG_ON) # for WIN/Linux Logadd_definitions(-DDEBUG_LOG_ON) # for WIN/Linux Logadd_definitions(-DDEBUG_IMSHOW_OFF) # for OpenCV showadd_definitions(-DPLATFORM_LINUX)
elseif (CMAKE_SYSTEM_NAME MATCHES Windows)set(TNN_OPENCL_ENABLE ON CACHE BOOL FORCE)set(TNN_CPU_ENABLE ON CACHE BOOL FORCE)set(TNN_X86_ENABLE ON CACHE BOOL FORCE)set(TNN_QUANTIZATION_ENABLE OFF CACHE BOOL FORCE)set(TNN_OPENMP_ENABLE ON CACHE BOOL FORCE) # Multi-Threadadd_definitions(-DTNN_OPENCL_ENABLE) # for OpenCL GPUadd_definitions(-DDEBUG_ON) # for WIN/Linux Logadd_definitions(-DDEBUG_LOG_ON) # for WIN/Linux Logadd_definitions(-DDEBUG_IMSHOW_OFF) # for OpenCV showadd_definitions(-DPLATFORM_WINDOWS)
endif ()
set(TNN_ROOT 3rdparty/TNN)
include_directories(${TNN_ROOT}/include)
include_directories(${TNN_ROOT}/third_party/opencl/include)
add_subdirectory(${TNN_ROOT}) # 添加外部项目文件夹
set(TNN -Wl,--whole-archive TNN -Wl,--no-whole-archive)# set TNN library
MESSAGE(STATUS TNN_ROOT ${TNN_ROOT})# Detector
include_directories(src)
set(SRC_LISTsrc/object_detection.cppsrc/classification.cppsrc/Interpreter.cpp)
add_library(dmcv SHARED ${SRC_LIST})
target_link_libraries(dmcv ${OpenCV_LIBS} base_utils)
MESSAGE(STATUS DIR_SRCS ${SRC_LIST})add_executable(Detector src/main.cpp)
#add_executable(Detector src/main_for_detect.cpp)
#add_executable(Detector src/main_for_yolov5.cpp)
target_link_libraries(Detector dmcv ${TNN} -lpthread) 5main源码
主程序中函数main实现提供了疲劳驾驶识别的使用方法支持图片视频和摄像头测试 test_image_file(); // 测试图片文件 test_video_file(); // 测试视频文件 test_camera(); //测试摄像头 //
// Created by Pan on 2020/6/24.
//#include object_detection.h
#include classification.h
#include iostream
#include string
#include vector
#include file_utils.h
#include image_utils.husing namespace dl;
using namespace vision;
using namespace std;const int num_thread 1; // 开启CPU线程数目
DeviceType device GPU; // 选择运行设备CPU/GPU
// 人脸检测模型
const char *det_model_file (char *) ../data/tnn/face/rfb-face-mask-320-320_sim.opt.tnnmodel;
const char *det_proto_file (char *) ../data/tnn/face/rfb-face-mask-320-320_sim.opt.tnnproto;
ObjectDetectionParam model_param FACE_MODEL;//模型参数
// 疲劳驾驶分类模型
const char *cls_model_file (char *) ../data/tnn/drowsy/mobilenet_v2_112_112.tnnmodel;
const char *cls_proto_file (char *) ../data/tnn/drowsy/mobilenet_v2_112_112.tnnproto;
ClassificationParam ClassParam DROWSY_MODEL;//模型参数// 设置检测阈值
const float scoreThresh 0.5;
const float iouThresh 0.3;
ObjectDetection *detector new ObjectDetection(det_model_file,det_proto_file,model_param,num_thread,device);Classification *classifier new Classification(cls_model_file,cls_proto_file,ClassParam,num_thread,device);/**** 测试图片文件*/
void test_image_file() {//测试图片的目录string image_dir ../data/test_image;std::vectorstring image_list get_files_list(image_dir);for (string image_path:image_list) {cv::Mat bgr_image cv::imread(image_path);if (bgr_image.empty()) continue;FrameInfo resultInfo;// 进行人脸检测detector-detect(bgr_image, resultInfo, scoreThresh, iouThresh);// 进行图像分类classifier-detect(bgr_image, resultInfo);// 可视化检测结果classifier-visualizeResult(bgr_image, resultInfo);}delete detector;detector nullptr;delete classifier;classifier nullptr;printf(FINISHED.\n);
}/**** 测试视频文件* return*/
int test_video_file() {//测试视频文件string video_file ../data/video/video-test.mp4;cv::VideoCapture cap;bool ret get_video_capture(video_file, cap);cv::Mat frame;while (ret) {cap frame;if (frame.empty()) break;FrameInfo resultInfo;// 进行人脸检测detector-detect(frame, resultInfo, scoreThresh, iouThresh);// 进行图像分类classifier-detect(frame, resultInfo);// 可视化检测结果classifier-visualizeResult(frame, resultInfo, 20);}cap.release();delete detector;detector nullptr;delete classifier;classifier nullptr;printf(FINISHED.\n);return 0;}/**** 测试摄像头* return*/
int test_camera() {int camera 0; //摄像头ID号(请修改成自己摄像头ID号)cv::VideoCapture cap;bool ret get_video_capture(camera, cap);cv::Mat frame;while (ret) {cap frame;if (frame.empty()) break;FrameInfo resultInfo;// 进行人脸检测detector-detect(frame, resultInfo, scoreThresh, iouThresh);// 进行图像分类classifier-detect(frame, resultInfo);// 可视化检测结果classifier-visualizeResult(frame, resultInfo, 20);}cap.release();delete detector;detector nullptr;delete classifier;classifier nullptr;printf(FINISHED.\n);return 0;}int main() {test_image_file(); // 测试图片文件//test_video_file(); // 测试视频文件//test_camera(); //测试摄像头return 0;
}6源码编译和运行
编译脚本或者直接bash build.sh #!/usr/bin/env bash
if [ ! -d build/ ];thenmkdir build
elseecho exist build
fi
cd build
cmake ..
make -j4
sleep 1
./demo 如果你要测试CPU运行的性能请修改src/main.cpp DeviceType device CPU; 如果你要测试GPU运行的性能请修改src/main.cpp 需配置好OpenCL DeviceType device GPU; PS纯CPU C推理模式比较耗时需要几秒的时间而开启OpenCL加速后GPU模式耗时仅需十几毫秒性能极大的提高。
7Demo测试效果 C版本与Python版本的结果几乎是一致,下面是疲劳驾驶识别效果展示其中不同类别用不同颜色表示了 5.项目源码下载
C实现疲劳驾驶识别项目源码下载地址C实现疲劳驾驶检测和识别(含源码可实时检测)
整套项目源码内容包含 提供C/C版本的人脸检测模型提供C/C版本的疲劳驾驶识别分类模型C源码支持CPU和GPU开启GPU(OpenCL)可以实时检测和识别纯CPU推理速度很慢模型加速需要配置好OpenCLGPU推理约15ms左右项目配置好了base-utils和TNN而OpenCV和OpenCL需要自行编译安装C/C Demo支持图片视频摄像头测试 Android疲劳驾驶检测和识别APP Demo体验https://download.csdn.net/download/guyuealian/88088257
如果你需要疲劳驾驶检测和识别的训练代码请参考《疲劳驾驶检测和识别2Pytorch实现疲劳驾驶检测和识别(含疲劳驾驶数据集和训练代码)》https://blog.csdn.net/guyuealian/article/details/131834946
