网站seo优化推广怎么做,京东网上商城购物,去哪找做塑料的网站,如何编辑html网页在线工具推荐#xff1a; 三维数字孪生场景工具 - GLTF/GLB在线编辑器 - Three.js AI自动纹理化开发 - YOLO 虚幻合成数据生成器 - 3D模型在线转换 - 3D模型预览图生成服务 智能交通系统#xff08;ITS#xff09;#xff0c;包括无人驾驶车辆#xff0c;尽管在道路… 在线工具推荐 三维数字孪生场景工具 - GLTF/GLB在线编辑器 - Three.js AI自动纹理化开发 - YOLO 虚幻合成数据生成器 - 3D模型在线转换 - 3D模型预览图生成服务 智能交通系统ITS包括无人驾驶车辆尽管在道路上已经逐渐成熟。如何消除各种环境因素造成的干扰进行准确高效的交通标志检测和识别是一个关键的技术难题。然而传统的视觉对象识别主要依赖于视觉特征提取例如颜色和边缘这存在局限性。卷积神经网络CNN是针对基于深度学习的视觉对象识别而设计的成功克服了传统对象识别的缺点。
在本文中我们基于我们的交通标志识别 TSR 数据集实施了一个实验来评估最新版本的 YOLOv5 的性能本项目中的实验利用UnrealSynth虚幻合成数据生成器 生成了试验的数据集。
1、介绍
近年来随着人工智能AI的爆发车载辅助驾驶系统更新了以往的驾驶模式。通过获取实时路况信息系统及时提醒驾驶员进行准确操作从而防止因驾驶员疲劳而发生车祸。除了辅助驾驶系统外自动驾驶汽车的开发还需要从数字图像中快速准确地检测交通标志。
交通标志识别TSR是从数字图像或视频帧中检测交通标志的位置并给出特定的分类。TSR方法基本上利用了视觉信息例如交通标志的形状和颜色。然而传统的TSR算法在实时测试中也存在一些弊端例如容易受到驾驶条件的限制包括照明、摄像头角度、障碍物、行驶速度等。实现多目标检测也非常困难由于识别速度慢容易遗漏视觉对象。
随着计算机硬件的不断完善人工神经网络的局限性得到了很好的缓解使机器学习进入了发展的黄金时期。深度学习是一种机器学习方法。深度神经网络模型在处理信息时模拟我们人脑的神经结构。利用该神经网络模型从道路图像中提取有效特征远优于传统的TSR算法具有提高算法鲁棒性和泛化性的潜力。
TSR的研究成果不仅避免了交通事故保护了驾驶员还有助于高效准确地检查道路上的交通标志从而减少了不必要的人力和资源。此外它还为无人驾驶和辅助驾驶提供技术支持。因此基于深度学习的研究工作具有巨大的意义对我们的日常生活具有不可估量的价值。
在本文中我们主要研究如何实现基于深度学习的准确实时TSR模型。我们的贡献体现在三个方面。首先我们收集并扩充样本图像为我们的交通标志形成一个新的数据集。其次关于最新版本的YOLOv5我们实现了我们的实验并基于我们的数据集评估了TSR性能。
2、TSR
TSR一直是近年来的研究热点。为此研究了TSR对复杂图像场景中的交通标志区域和非交通标志区域的检测TSR提取了通过交通标志模式表示的特定特征。现有的TSR方法基本上分为两类一类是基于传统方法另一类是与深度学习方法有关。
基于给定图像的颜色和形状的TSR方法的主要步骤是提取候选区域中包含的视觉信息捕获和分割图像中的交通标志并通过图案分类正确标记标志。尽管 TSR 需要颜色和形状信息但用于提高识别准确性。交通标志的照度变化或褪色问题以及交通标志的变形和遮挡仍是未解决的问题。传统的机器学习方法通常选择指定的视觉特征并利用这些特征对交通标志的类别进行分类。具体特征包括类似 Haar 的特征、HOG 特征、SIFT 特征等。
传统的TSR方法基于模板匹配需要提取和利用交通标志的不变和相似视觉特征运行匹配算法进行模式分类。这些方法的特征表示需要很好地指定由于交通标志的变化这是一个很难准确描述视觉特征的问题。
神经网络、贝叶斯分类器、随机森林和支持向量机SVM被用作分类器。然而传统机器学习方法的性能取决于指定的特征它们容易遗漏关键特征。此外对于不同的分类器需要相应的特征描述信息。因此传统的机器学习方法存在局限性其实时性相对来说没有可比性。
深度学习利用多层神经网络自动提取和学习视觉对象的特征在图像处理方面具有重要意义。CNN 模型是 TSR 最流行的深度学习方法之一。TSR算法是基于区域建议的又称两阶段检测算法其核心思想是选择性搜索其优点是检测定位性能好但代价是计算量大计算硬件性能高。
CNN 模型封装了 R-CNN、Fast R-CNN 和 Faster R-CNN。Faster R-CNN结合了边界框回归和目标分类采用端到端的方法检测视觉对象不仅提高了目标检测的准确性而且提升了目标识别的速度。道路标志通常是从驾驶员的角度来检测的在本文中我们从卫星图像的角度来观察这些标志。在中对输入图像采用引导图像滤波来去除图像伪影如雾和雾。将处理后的图像导入到建议的网络中进行模型训练。
视觉目标检测由分类和定位两个任务组成。在YOLO出现之前这两个任务在视觉对象检测中是不同的。在YOLO模型中目标检测被简单地转换为回归问题。此外YOLO遵循用于视觉目标检测的神经网络的端到端结构通过一个图像输入同时获得预测边界框的坐标、目标的置信度和目标所属类别的概率。
3、方法论
YOLO系列机型已更新至YOLOv5。视觉目标检测的准确性不断更新;回归始终被采用为核心思想。在本实验中我们以最新版本的 YOLOv5 作为 NZ-TSR 模型之一。YOLOv5 算法的结构与 YOLOv4 非常相似。整个网络模型分为输入层、骨干层、颈部和预测层四个部分。在图中详细介绍了 YOLOv5 的网络结构。 图1
在输入部分YOLOv5 和 YOLOv4 都利用马赛克方法来增强输入数据。该算法需要将输入图像归一化为固定大小图像的标准大小为 608 × 608 × 3。此外网络训练基于初始锚定框通过与实际注释框进行比对并迭代更新网络模型参数得到预测框。
骨干部分包含焦点模块和CSP模块。对焦模型的关键步骤是通过切片操作压缩输入图像的高度和宽度。对图像进行拼接将图像尺寸信息即宽度和高度整合到通道信息中以增加输入通道。在CSP模块方面YOLOv5设计了CSP模块的两个分支分别是CSP1_X和CSP2_X。其中CSP1_X模块主要用于骨干网CSP2_X主要用于颈部网络。
YOLOv5 中的颈部部分模仿 YOLOv4采用 FPNPAN 结构。特征金字塔网络FPN从上到下工作利用上采样操作来传输和融合信息以获得预测的特征图。相比之下PAN路径聚合网络是一个从下到上的特征金字塔。
4、实验
数据采集
本实验选取了多类具有较高认知度、重要安全意义的交通标志。由于真实数据的采集的成本高昂且采集难度大耗时较长。在本文中将使用UnrealSynth虚幻合成数据生成器 来生成训练所需要的数据集用户只需要将在UnrealSynth虚幻合成数据生成器中搭建虚拟场景经过对虚拟场景的简单配置就可以自动生成YOLO模型训练数据集非常的简单方便 1. 场景准备
将模型导入到场景。配置场景先关参数如生成的图片数据集的图片分辨率、生成的图片的数量等。 2. 生成数据集
设置参数后点击【确定】后会在本地目录中...\UnrealSynth\Windows\UnrealSynth\Content\UserData 生成本地合成数据集本地数据包含两个文件夹以及一个 yaml 文件images、labels、test.yaml 文件images中存放着生成的图片数据集labels中存放着生成的标注数据集。 images和labels目录下各有两个目录train 和 valtrain 目录表示训练数据目录val 表示验证数据目录标注数据的格式如下所示
0 0.68724 0.458796 0.024479 0.039815
0 0.511719 0.504167 0.021354 0.034259
0 0.550781 0.596759 0.039062 0.04537
0 0.549219 0.368519 0.023438 0.044444
0 0.47526 0.504167 0.009896 0.030556
0 0.470313 0.69537 0.027083 0.035185
0 0.570052 0.499074 0.016146 0.040741
0 0.413542 0.344444 0.022917 0.037037
0 0.613802 0.562037 0.015104 0.027778
0 0.477344 0.569444 0.017188 0.016667
synth.yaml是数据的配置文件数据格式如下
path:
train: images
val: images
test:
names:0: traffic sign
4,4 实验结果
YOLOv5模型在结果中具有出色的可视化功能。首先我们直观地显示其数据集的最终识别结果如图5图4、我们清楚地观察到 YOLOv5 实验中的 TSR 非常准确。 图4
最后YOLOv5 在数据集中的所有具体评估指标如图5所示 特别是第二列和第三列分别是用于视觉目标检测和分类的训练数据集和验证数据集的损失函数的平均值。该值越小模型的识别性能越好。 图5
通常评估实验结果最方便、最直接的方法是准确性。在本文中我们利用PR曲线来证明模型TSR性能的准确率和召回率之间的权衡。
5 结论和今后的工作
本项目旨在基于交通标志数据集探究TSR的准确性和速度。因此本文选择了YOLO系列算法的最新版本即YOLOv5来评估其性能。在这个实验中我们使用UnrealSynth虚幻合成数据生成器 通过搭建虚拟场景的方式生成了交通标志的数据集。然后我们基于具有非常强计算能力的Google Colab平台实现了精心设计的实验。从实验结果来看YOLOv5在所有类中的准确率均高达97.70%各类的平均精度均在90.00%以上。
未来我们将继续扩展我们的数据集以涵盖所有类别的交通标志。同时将包括更多新开发的视觉对象识别模型如Mask R-CNN、CapsNet和Siamese神经网络。胶囊神经网络CapsNet已被用于有效识别一类具有空间关系的交通标志。 转载基于机器深度学习的交通标志目标识别 (mvrlink.com)
