布吉个人网站建设,网站情况建设说明书,江西省住房建设厅网站,公司网站建设的方案在商超等人流量较为密集的场景下经常会报道出现一些行人在扶梯上摔倒、受伤等问题#xff0c;随着AI技术的快速发展与不断普及#xff0c;越来越多的商超、地铁等场景开始加装专用的安全检测预警系统#xff0c;核心工作原理即使AI模型与摄像头图像视频流的实时计算#xf…在商超等人流量较为密集的场景下经常会报道出现一些行人在扶梯上摔倒、受伤等问题随着AI技术的快速发展与不断普及越来越多的商超、地铁等场景开始加装专用的安全检测预警系统核心工作原理即使AI模型与摄像头图像视频流的实时计算通过对行为扶梯上的行为进行实时检测识别来对出现的危险行为进行快速预警响应避免后续出现严重的后果。本文的主要目的就是想要基于商超扶梯场景来开发构建行人安全行为检测识别系统探索分析基于AI科技提升安全保障的可行性本文是AI助力商超扶梯等场景安全提升的第八篇文章前文系列如下
《科技提升安全基于SSD开发构建商超扶梯场景下行人安全行为姿态检测识别系统》
https://blog.csdn.net/Together_CZ/article/details/134892776《科技提升安全基于YOLOv3开发构建商超扶梯场景下行人安全行为姿态检测识别系统》
https://blog.csdn.net/Together_CZ/article/details/134892866《科技提升安全基于YOLOv4开发构建商超扶梯场景下行人安全行为姿态检测识别系统》
https://blog.csdn.net/Together_CZ/article/details/134893058《科技提升安全基于YOLOv5系列模型【n/s/m/l/x】开发构建商超扶梯场景下行人安全行为姿态检测识别系统》
https://blog.csdn.net/Together_CZ/article/details/134918766《科技提升安全基于YOLOv6开发构建商超扶梯场景下行人安全行为姿态检测识别系统》
https://blog.csdn.net/Together_CZ/article/details/134925452《科技提升安全基于YOLOv7【tiny/yolov7/yolov7x】开发构建商超扶梯场景下行人安全行为姿态检测识别系统》
https://blog.csdn.net/Together_CZ/article/details/134926357《科技提升安全基于YOLOv8全系列模型【n/s/m/l/x】开发构建商超扶梯场景下行人安全行为姿态检测识别系统》
https://blog.csdn.net/Together_CZ/article/details/134927317
首先看下实例效果 DETR (DEtection TRansformer) 是一种基于Transformer架构的端到端目标检测模型。与传统的基于区域提议的目标检测方法如Faster R-CNN不同DETR采用了全新的思路将目标检测问题转化为一个序列到序列的问题通过Transformer模型实现目标检测和目标分类的联合训练。
DETR的工作流程如下
输入图像通过卷积神经网络CNN提取特征图。 特征图作为编码器输入经过一系列的编码器层得到图像特征的表示。 目标检测问题被建模为一个序列到序列的转换任务其中编码器的输出作为解码器的输入。 解码器使用自注意力机制self-attention对编码器的输出进行处理以获取目标的位置和类别信息。 最终DETR通过一个线性层和softmax函数对解码器的输出进行分类并通过一个线性层预测目标框的坐标。 DETR的优点包括
端到端训练DETR模型能够直接从原始图像到目标检测结果进行端到端训练避免了传统目标检测方法中复杂的区域提议生成和特征对齐的过程简化了模型的设计和训练流程。 不受固定数量的目标限制DETR可以处理变长的输入序列因此不受固定数量目标的限制。这使得DETR能够同时检测图像中的多个目标并且不需要设置预先确定的目标数量。 全局上下文信息DETR通过Transformer的自注意力机制能够捕捉到图像中不同位置的目标之间的关系提供了更大范围的上下文信息。这有助于提高目标检测的准确性和鲁棒性。 然而DETR也存在一些缺点
计算复杂度高由于DETR采用了Transformer模型它在处理大尺寸图像时需要大量的计算资源导致其训练和推理速度相对较慢。 对小目标的检测性能较差DETR模型在处理小目标时容易出现性能下降的情况。这是因为Transformer模型在处理小尺寸目标时可能会丢失细节信息导致难以准确地定位和分类小目标。
接下来看下我们自己构建的数据集 官方项目地址在这里如下所示 可以看到目前已经收获了超过1.2w的star量还是很不错的了。
DETR整体数据流程示意图如下所示 官方也提供了对应的预训练模型可以自行使用 本文选择的预训练官方权重是detr-r50-e632da11.pth首先需要基于官方的预训练权重开发能够用于自己的 个性化数据集的权重如下所示
pretrained_weights torch.load(./weights/detr-r50-e632da11.pth)
num_class 4 1
pretrained_weights[model][class_embed.weight].resize_(num_class1,256)
pretrained_weights[model][class_embed.bias].resize_(num_class1)
torch.save(pretrained_weights,./weights/detr_r50_%d.pth%num_class)
因为这里我的类别数量为4所以num_class修改为41根据自己的实际情况修改即可。生成后如下所示 终端执行
python main.py --dataset_file coco --coco_path /0000 --epoch 100 --lr1e-4 --batch_size32 --num_workers0 --output_diroutputs --resumeweights/detr_r50_5.pth即可启动训练。训练启动如下 训练完成如下所示
Accumulating evaluation results...
DONE (t0.40s).
IoU metric: bboxAverage Precision (AP) [ IoU0.50:0.95 | area all | maxDets100 ] 0.664Average Precision (AP) [ IoU0.50 | area all | maxDets100 ] 0.915Average Precision (AP) [ IoU0.75 | area all | maxDets100 ] 0.618Average Precision (AP) [ IoU0.50:0.95 | area small | maxDets100 ] 0.112Average Precision (AP) [ IoU0.50:0.95 | areamedium | maxDets100 ] 0.301Average Precision (AP) [ IoU0.50:0.95 | area large | maxDets100 ] 0.709Average Recall (AR) [ IoU0.50:0.95 | area all | maxDets 1 ] 0.603Average Recall (AR) [ IoU0.50:0.95 | area all | maxDets 10 ] 0.743Average Recall (AR) [ IoU0.50:0.95 | area all | maxDets100 ] 0.759Average Recall (AR) [ IoU0.50:0.95 | area small | maxDets100 ] 0.097Average Recall (AR) [ IoU0.50:0.95 | areamedium | maxDets100 ] 0.503Average Recall (AR) [ IoU0.50:0.95 | area large | maxDets100 ] 0.898
Training time 40:13:04
接下来借助于评估模块对结果进行评估对比可视化
iter 000: mAP50 70.2, score0.636, f10.802
iter 050: mAP50 87.7, score0.862, f10.912
iter latest: mAP50 89.9, score0.901, f10.930
iter 000: mAP50 70.2, score0.636, f10.802
iter 050: mAP50 87.7, score0.862, f10.912
iter latest: mAP50 89.9, score0.901, f10.930
【Precision曲线】 精确率曲线Precision-Recall Curve是一种用于评估二分类模型在不同阈值下的精确率性能的可视化工具。它通过绘制不同阈值下的精确率和召回率之间的关系图来帮助我们了解模型在不同阈值下的表现。 精确率Precision是指被正确预测为正例的样本数占所有预测为正例的样本数的比例。召回率Recall是指被正确预测为正例的样本数占所有实际为正例的样本数的比例。 绘制精确率曲线的步骤如下 使用不同的阈值将预测概率转换为二进制类别标签。通常当预测概率大于阈值时样本被分类为正例否则分类为负例。 对于每个阈值计算相应的精确率和召回率。 将每个阈值下的精确率和召回率绘制在同一个图表上形成精确率曲线。 根据精确率曲线的形状和变化趋势可以选择适当的阈值以达到所需的性能要求。 通过观察精确率曲线我们可以根据需求确定最佳的阈值以平衡精确率和召回率。较高的精确率意味着较少的误报而较高的召回率则表示较少的漏报。根据具体的业务需求和成本权衡可以在曲线上选择合适的操作点或阈值。 精确率曲线通常与召回率曲线Recall Curve一起使用以提供更全面的分类器性能分析并帮助评估和比较不同模型的性能。 【Recall曲线】 召回率曲线Recall Curve是一种用于评估二分类模型在不同阈值下的召回率性能的可视化工具。它通过绘制不同阈值下的召回率和对应的精确率之间的关系图来帮助我们了解模型在不同阈值下的表现。 召回率Recall是指被正确预测为正例的样本数占所有实际为正例的样本数的比例。召回率也被称为灵敏度Sensitivity或真正例率True Positive Rate。 绘制召回率曲线的步骤如下 使用不同的阈值将预测概率转换为二进制类别标签。通常当预测概率大于阈值时样本被分类为正例否则分类为负例。 对于每个阈值计算相应的召回率和对应的精确率。 将每个阈值下的召回率和精确率绘制在同一个图表上形成召回率曲线。 根据召回率曲线的形状和变化趋势可以选择适当的阈值以达到所需的性能要求。 通过观察召回率曲线我们可以根据需求确定最佳的阈值以平衡召回率和精确率。较高的召回率表示较少的漏报而较高的精确率意味着较少的误报。根据具体的业务需求和成本权衡可以在曲线上选择合适的操作点或阈值。 召回率曲线通常与精确率曲线Precision Curve一起使用以提供更全面的分类器性能分析并帮助评估和比较不同模型的性能。 【F1值曲线】 F1值曲线是一种用于评估二分类模型在不同阈值下的性能的可视化工具。它通过绘制不同阈值下的精确率Precision、召回率Recall和F1分数的关系图来帮助我们理解模型的整体性能。 F1分数是精确率和召回率的调和平均值它综合考虑了两者的性能指标。F1值曲线可以帮助我们确定在不同精确率和召回率之间找到一个平衡点以选择最佳的阈值。 绘制F1值曲线的步骤如下 使用不同的阈值将预测概率转换为二进制类别标签。通常当预测概率大于阈值时样本被分类为正例否则分类为负例。 对于每个阈值计算相应的精确率、召回率和F1分数。 将每个阈值下的精确率、召回率和F1分数绘制在同一个图表上形成F1值曲线。 根据F1值曲线的形状和变化趋势可以选择适当的阈值以达到所需的性能要求。 F1值曲线通常与接收者操作特征曲线ROC曲线一起使用以帮助评估和比较不同模型的性能。它们提供了更全面的分类器性能分析可以根据具体应用场景来选择合适的模型和阈值设置。 loss可视化如下所示 感兴趣的话可以自行动手实践尝试下
