成都网站建设搭建,如何能进深圳好的设计公司网站,网站优化建设广州,深圳网站设计师培训学校收藏和点赞#xff0c;您的关注是我创作的动力 文章目录 概要 一、课题内容二、总体方案确定2.1 方案选择2.2 菠萝的视觉识别流程2.3 菠萝果叶切断机构设计流程 三 基于深度学习的菠萝检测模型3.1 卷积神经网络简介3.2 YOLO卷积神经网络3.3 图像采集与数据制作3.4 数据训练与… 收藏和点赞您的关注是我创作的动力 文章目录 概要 一、课题内容二、总体方案确定2.1 方案选择2.2 菠萝的视觉识别流程2.3 菠萝果叶切断机构设计流程 三 基于深度学习的菠萝检测模型3.1 卷积神经网络简介3.2 YOLO卷积神经网络3.3 图像采集与数据制作3.4 数据训练与检测3.5 模型评价 四 实验环境搭建4.1 KinectV2相机测量原理4.2 相机架搭建与相机安装4.3 图像处理 五 结 论目录 概要 目前视觉识别的研发是菠萝采摘机器人研究的难点。其中菠萝果叶对菠萝的遮挡是导致目前菠萝视觉识别和采摘效果不佳的一个因素。所以研究一种高准确率的菠萝识别方法以及消除菠萝果叶对菠萝识别的影响对提高菠萝采摘作业的自动化水平有促进作用。 本文使用yolov4卷积神经网络对菠萝图像进行训练得到菠萝识别模型使用菠萝图像对该模型进行测试测试图像的平均精准率可达92.65%。同在该菠萝识别模型基础上本文对菠萝深度图像进行三维点云构造获取菠萝点云的质心并对该方法获取质心的有效性进行验证。同时本文提出了一种菠萝果叶切断机构的设计可以切断菠萝果叶有利于提高菠萝视觉识别的成功率。 本设计的主要内容如下 1介绍菠萝产业发展现状、课题研究目的 2介绍课题的研究方法 3介绍卷积神经网络并进行菠萝识别模型的训练 4阐述实验环境的搭建 5阐述深度相机成像原理 6阐述菠萝点云图像的获取及处理方法 7菠萝果叶切断机构设计及零件校核 8总结。 关键词菠萝 机器视觉 深度学习 切断机构
一、课题内容 本课题设计期望达到的技术要求是算法的识别效率、识别准确率等要在现有标准上有一个提升。问答系统能基本做到进行日常问答翻译系统能准确翻译识别到的文本信息。 本课题设计使用 python3 语言构建算法以 keras开源人工神经网络库和tensorflow机器学习算法库为依赖搭建神经网络算法使用 CTC 损失函数LSTM 长短期记忆网络结构等技术构建模型文件。 本课题设计的研究目标如何让机器读取音频文件并将其转为音频信号用于识别音频信号处理时对声学特征的提取的方法不同特征对识别效果是否有影响。深层网络的搭建所用到的基本元件有哪些通过训练规划设置超参数如 learning rate学习率、iteration 迭代数、隐藏层数 L、隐藏神经元数目、使用的激活函数activation funtion。如何把隐马尔可夫模型应用到算法当中如何基于马尔科夫链将拼音转换为中文文本输出。怎样把数据集分割成训练集和测试集怎样分割数据比例能让算法效率最大化。应该选择什么优化算法加快训练模型速度。如何防止神经网络的过拟合问题如何减少梯度消失或梯度爆炸问题的影响。怎么样使算法不陷入局部最优以解决准确率不足问题声学模型和语言模型训练的选择如何确保使用的模型性能稳定又优秀模型文件的结构处理怎么样的问答系统能不能做到同一个问题能有多种或无限种答案回答的语句是否符合说话人问题的形式如果答非所问的次数过多是否有哪些方法对其进行优化翻译系统如果不使用基于网络上开源的翻译工具通过构建机器翻译神经网络算法来得出翻译翻译的完成率和准确率是 否能达标如何结合实际改进算法等等。 诸如总总问题都是本次课题设计需要解决的问题。
二、总体方案确定
2.1 方案选择
本文的主要研究目的是研究一种快速、准确的菠萝视觉识别技术考虑到菠萝果叶对菠萝识别的影响本文还将研究一种菠萝果叶切断机构用于切断菠萝果叶可以提高菠萝识别的成功率并且菠萝果叶切断机构的研究对于菠萝采摘机器人的发展也具有重要帮助主要体现在可以减少目前菠萝采摘机器人的体积使菠萝采摘机器人更适用于狭小工作环境的菠萝采摘作业情况。 目前菠萝采摘机器人中应用的菠萝识别技术主要有基于分割的方法、特征分析方法、图像识别决策分析方法、模型学习和形状匹配方法等。随着深度学习方法的快速发展深度学习方法在菠萝识别技术上有巨大优势。为此本文将研究基于深度学习的菠萝识别模型并且进一步地研究菠萝图像的点云重构方法。
2.2 菠萝的视觉识别流程
本设计中菠萝的视觉识别流程图如图5所示。
图5 机器视觉工作流程图
2.3 菠萝果叶切断机构设计流程
本切断机构的设计流程图如图6所示。
图6 切断机构设计流程图
三 基于深度学习的菠萝检测模型
3.1 卷积神经网络简介
深度学习的概念起源于对于人工神经网络的研究孙志军2012。人工神经网络是一种模仿生物的神经系统的结构及其运行模式而设计的信息处理算法模型。人工神经网络的基本单元为神经元其结构如图7所示输入信号乘上神经元中对应的权重并求和经过激活函数激活并进行输出。 受到视觉神经皮层的启发卷积神经网络Convolutional Neural NetworkCNN被提出。作为人工神经网络的一个重要的研究方向卷积神经网络的特点在于其每一层的特征都会由上一层的局部区域通过共享权值的卷积激励得到。因为这一特点卷积神经网络会比其他的神经网络方法更加适合于应用在图像的图像特征的学习与表达其典型结构如图7所示。李彦冬2016。
图7 神经元结构模型
图8 卷积神经网络典型结构李彦冬2016
3.2 YOLO卷积神经网络
为了提升深度学习识别物体的成功率以及缩短进行识别所需要的时间深度学习的神经网络框架经过不断的发展和完善。从2014年开始陆续的涌现出如YOLO(You Only Look Once), SSD(Single Shot MultiBox Detector)R-CNN(Region-CNN), Fast R-CNN, Faster R-CNN等一些比较知名的框架。YOLO网络是一种基于回归的用于目标检测的算法其在拥有较高检测精度的同时还具有较快的检测速度在很多目标检测任务中都取得了很好的效果管军霖等2020。 为此考虑到菠萝识别问题模型的复杂度相对较低并且对于识别速度具有较高要求本文采用yolov4算法进行菠萝的视觉识别由于yolov4的检测速度快、检测精度高等特点可用于菠萝的快速化、机械化、自动化采摘工作。
3.3 图像采集与数据制作
本文初步采集250个菠萝样本。其中采样标准为 (1)在田间进行菠萝采样采样工具为手机其中手机相机长宽比调为1:1,一张照片可以有1-4个菠萝 (2)对采摘后的菠萝进行采样其中菠萝放置在平面。采样工具为手机其中手机相机长宽比调为1:1,一张照片可以有1-4个菠萝菠萝距离手机距离约为600mm。 由于采样时间有限本实验采集的样本数量过少这就导致训练过程中容易产生过拟合现象。在机器学习中过拟合模型对样本数据的解析能力很强但是对非样本数据的解析能力很弱懂波等2021。机器学习中数据迭代次数与精度的关系如图9所示。 图9 图像迭代次数的与精度的关系 本实验中由于采集的菠萝图像数量少并且比较单一。所谓采集的菠萝图像比较单一指的是采集的菠萝图像均是菠萝果地里的菠萝图像。这就导致了使用本样本数据训练出来的模型只能用于识别菠萝果地里面的菠萝而在其他需要识别菠萝的工作场合中对菠萝的识别精度不高。比如菠萝采摘完之后放在传送带上传送至收集框中有时候需要使用机器视觉识别传送带上的菠萝并计数而本模型显然无法胜任这个工作情况。 所以为此防止训练出来的菠萝识别模型过拟合提高菠萝识别模型的泛化能力使得菠萝识别模型尽可能的胜任其他工作情况增加菠萝识别模型的抗干扰能力需要增加菠萝图像样本数据。 本实验中通过采取随机旋转菠萝图像、镜像翻转菠萝图像、对菠萝图像增加噪声、亮度增强、高斯模糊等方法扩充数据样本图像。效果如图10所示。
图10 图像处理效果 处理后的图像与原来图像一起做为本次实验的数据集。使用便签制作软件LabelImg对图片进行标记。具体为框选出图片中菠萝的最小外接矩形命名为pineapple然后保存标记后的图片会生成一个xml格式的文件。然后再利用python程序实现将xml文件中框的位置信息提取出来并以yolov4要求的txt格式保存文本转换代码见附录。 部分标记好的图片如图11所示。 图11 部分标记图片
3.4 数据训练与检测
本文菠萝识别模型采用Darknet神经网络框架具体配置为Windows10系统、Intel®Core™i5-7200U CPU、cmake3.17.2、VS2019等。采用作者提供的yolov4-custom.cfg配置文件进行训练并根据要求进行修改相关参数。训练完成后对部分图片进行测试结果如同12所示。 图12 部分测试结果图
3.5 模型评价
在训练得到菠萝识别神经网络模型之后进一步地需要对该模型进行评价。Precision(精准率)、Recall(召回率)和Average Precision平均精准度)是评价模型的三个指标。其中Precision表示神经网络模型检测出来的目标中真正的目标物体所占的比例。Recall神经网络模型检测出来的真正目标占所有真实的目标物体的比例。通过如图11的混淆矩阵可以对Precision、Recall和Average Precision的概念有更直观的了解。
图13 混淆矩阵
四 实验环境搭建
4.1 KinectV2相机测量原理
本设计中需要实现对菠萝的点云重构所以图像采集需要采用双目或者多目成像的方式。目前深度摄像头主要实现方式有结构光方式、Time of Flight(下文简称TOF)方式、双目方式等。 本设计中选择的相机为KinectV2深度相机。KinectV2深度相机采用了TOF技术。TOF技术原理是首先向被测的对象发送光脉冲然后接受从被测对象中反射回来的光脉冲再然后计算光脉冲从发射到接收这一过程的所需要的时间根据光脉冲的速度可以得到物体表面相对于光脉冲信号发射单元的深度信息其示意图如15所示。由于TOF方式省略了图像处理和立体匹配等等环节这使得TOF算法具有处理速度快响应时间短的优势王金志2020。
图15 TOF测距示意图郭宁博等2017
4.2 相机架搭建与相机安装
用铝型材以及3D打印零件搭建相机架并将相机安装进去搭建好的实验环境如图16所示。 图16 搭建的实验环境
4.3 图像处理
由于实验室中有粉尘、菠萝模型表面有杂质、摄像头有灰尘等影响会导致图像产生噪声等而噪声后续又会影响菠萝模型的点云重构。为此需要适用滤波的方法对菠萝图像进行处理去除噪声。常用的滤波方法有两种(1)线性平滑滤波包括高斯滤波、加权平均滤波、均值滤波等(2)非线性平滑滤波比如中值滤波。 本文采用中值滤波方法对菠萝图像进行去噪可以消除菠萝图像噪声以及保持菠萝图像中的细节。其效果如图17所示为了更直观的表示去噪效果例子中对菠萝图像增加了噪声。 (a)原图 (b)添加噪声 ©中值滤波 图17 中值滤波效果图
五 结 论 本文基于我国菠萝种植面积不断增加、菠萝种植业所需人力成本不断提高菠萝机械化水平整体偏低的现状在了解菠萝采摘机械的发展历程之后对目前菠萝采摘机械研究的重难点既菠萝的视觉识别进行了一些研究。本文提出了一种基于yolov4卷积神经网络算法的菠萝视觉识别方法该方法具有识别成功率高的特点进一步地基于本识别方法对菠萝点云图像进行ROI提取以及点云质心计算。同时本文根据菠萝的生长特点暨菠萝处于菠萝果叶丛中设计了一种菠萝果叶切断机构可以解决菠萝果叶干扰菠萝的视觉识别及机械采摘的问题。 与传统的检测识别技术如特征分析方法、形状匹配方法等相比较基于深度学习的识别方法识别成功率更高利于基于yolov4的神经网络对菠萝图像进行识别识别平均精准率可达92.65%。菠萝果叶会影响菠萝的视觉识别和采摘。目前菠萝采摘机器人多采用从上往下采摘菠萝的方法既采摘机构设置在菠萝果实的上方这就不可避免的导致菠萝采摘机械的体积过大。本文提出一种菠萝果叶切断机构设计可以切断菠萝果叶有利于菠萝的视觉识别及采摘。切断果叶之后菠萝采摘机构可以设计在菠萝果实同高的位置有利于减少菠萝采摘机器人的体积。 由于能力水平有限在基于深度学习的菠萝识别方法上没有进行横向及纵向的比较即仅采用了yolov4神经网络模型进行训练缺乏与其他神经网络模型训练结果对比也能对yolov4进行一些改进进一步提高菠萝识别效率。对于切断机构仅完成了建模与分析也没有制作出实物考察其实际工作效果这是本次研究的欠缺之处。
目录
目 录 1 前言1 1.1 研究的背景和意义1 1.2 国内外水果机器视觉识别技术的研究近况1 1.3 国内外菠萝采摘机械发展状况3 2 总体方案确定5 2.1 方案选择5 2.2 菠萝的视觉识别流程5 2.3 菠萝果叶切断机构设计流程5 3 基于深度学习的菠萝检测模型6 3.1 卷积神经网络简介6 3.2 YOLO卷积神经网络7 3.3 图像采集与数据制作7 3.4 数据训练与检测9 3.5 模型评价10 4 实验环境搭建11 4.1 KinectV2相机测量原理11 4.2 相机架搭建与相机安装12 4.3 图像处理12 5 点云获取与点云处理13 5.1 相机针孔模型13 5.2 点云的获取与处理15 5.3 点云质心求解与验证17 6 菠萝果叶切断机构设计18 6.1 切断机构设计目的及总体设计方案18 6.2 切断机构三维模型19 6.3 电机选取20 6.4 轴的设计与校核21 6.5 联轴器选取25 6.6 菠萝推板的设计27 7 总结28 参考文献30 附录33 附录1 文本转换程序主要代码33 附录2 菠萝彩色图像中值滤波主要代码33
