品牌建设促进会是什么工作,seo关键词排名实用软件,设计公司logo最重要的是什么,专业提供网站建设服务这里写目录标题 1、ReID技术概述1.1 基本原理1.2 实现流程1.3 重识别存在的技术挑战 2、训练数据格式介绍 1、ReID技术概述
1.1 基本原理
ReID#xff0c;全称Re-identification#xff0c;目的是利用各种智能算法在图像数据库中找到与要搜索的目标相似的对象。ReID是图像检… 这里写目录标题 1、ReID技术概述1.1 基本原理1.2 实现流程1.3 重识别存在的技术挑战 2、训练数据格式介绍 1、ReID技术概述
1.1 基本原理
ReID全称Re-identification目的是利用各种智能算法在图像数据库中找到与要搜索的目标相似的对象。ReID是图像检索的一个子任务本质上是图像检索而不是图像分类。给定一个监控行人图像检索跨设备下的该行人图像。 行人重识别Person re-identification主要目的是针对出现在监控摄像头内的某个目标行人准确快速地从监控网络其他摄像头内的大量行人中将这个目标行人标识出来。如图所示一个区域有多个摄像头拍摄视频序列ReID的要求对一个摄像头下感兴趣的行人检索到该行人在其他摄像头下出现的所有图片。
人脸识别目前相对来说准确率是非常高的但在这些场景中人脸识别可能会失效不再适用尤其是远距离监控就算是拍到人脸可能也是一张模糊的人脸ReID看的是一个人的整体特征包括衣着、配饰、体态等等一些特征就好像是用我们自己的眼睛看一样。 行人重识别技术可以弥补目前固定摄像头的视觉局限并可与行人检测、行人跟踪技术相结合。工程上最简单的行人重识别的技术流程如下所示。 上面这张图展示了ReID的一个任务过程首先要做的是Detection也就是检测出行人。剩下的部分就是要去训练一个特征提取网络根据特征所计算的度量距离得到损失值选用一个优化器去迭代找到loss最小值并不断更新网络的参数达到学习的效果。在测试的时候用将要检索的图片称为query或者probe在底库gallery中根据计算出的特征距离进行排序选出最TOP的几张图片来达到目标检索的目的。下面两张图分别是训练阶段和测试阶段的示意图 1.2 实现流程
1.行人检测通过目标检测模型提取当前帧的行人图像。 2.特征提取基于特征提取模型项目中现使用预训练的特征提取模型提取行人区域图片的特征向量。 3.单镜头行人跟踪结合行人区域特征通过deepsort等算法进行行人跟踪。 4.跨镜头行人跟踪基于深度学习的全局特征和数据关联实现跨镜头行人目标跟踪。 5.向量存储与检索对于给定的行人查询向量与行人特征库中所有的待查询向量进行向量检索即计算特征向量间的相似度计算余弦距离等方法。
在以上步骤中特征提取是最关键的一环它的作用是将输入的行人图片转化为固定维度的特征向量以用于后续的目标跟踪和向量检索。好的特征需要具备良好的相似度保持性即在特征空间中相似度高的图片之间的向量距离比较近而相似度低的图片对的向量距离比较远。通常用于训练这种模型的方式叫做度量学习。 注解
全局特征每一张图片的全局信息进行一个特征抽取全局特征没有任何的空间信息。局部特征对图像的某一个区域进行特征提取最后将多个局部特征融合起来作为最终特征。度量学习将学习到的特征映射到新的空间表现为同一行人的不同图片间的相似度大于不同行人的不同图片即相同的人更近不同的人更远。图像检索根据图片特征之间的距离进行排序返回检索结果。
1.3 重识别存在的技术挑战
ReID 在实际应用场景下的数据非常复杂由于不同摄像设备之间的差异同时行人兼具刚性和柔性的特性 外观易受穿着、尺度、遮挡、姿态和视角等影响所以对跨镜追踪(ReID)算法的要求也更高。 实际应用中常常出现:
无正面照服装更换遮挡图像分辨率低光线差异室内室外场景变化
2、训练数据格式介绍
通过人工标注或者检测算法得到的行人图片数据集分为训练集验证集query以及gallery在训练集上进行模型的训练得到模型后对query与gallery中的图片特征提取特征计算相似度对于每个query在gallery中找出前N个与其相似的图片训练测试中人物身份不重复
常用的几种数据集 1)Market-1501Person Re-Identification Meets Image Search 链接https://pan.baidu.com/s/1ntIi2Op 2015年论文 Person Re-Identification Meets Image Search 提出了 Market 1501 数据集现在 Market 1501 数据集已经成为行人重识别领域最常用的数据集之一。 Market 1501 的行人图片采集自清华大学校园的 6 个摄像头一共标注了 1501 个行人。其中751 个行人标注用于训练集750个行人标注用于测试集训练集和测试集中没有重复的行人 ID也就是说出现在训练集中的 751 个行人均未出现在测试集中。 训练集751 个行人12936 张图片 测试集750 个行人19732 张图片 query 集750 个行人3368 张图片 query 集的行人图片都是手动标注的图片从 6 个摄像头中为测试集中的每个行人选取一张图片构成 query 集。 测试集中的每个行人至多有 6 张图片query 集共有 3368 张图片。 网络模型训练时会用到训练集测试模型好坏时会用到测试集和 query 集。此时测试集也被称作 gallery集。因此实际用到的子集为训练集、gallery 集 和 query 集。 2)MARS: A Video Benchmark for Large-Scale Person Re-identification基于视频 链接https://pan.baidu.com/s/1XKBdY8437O79FnjWvkjusw 提取码: ymc5 考虑了视频中的人员再识别(reid)问题本文介绍了一个新的视频reid数据集名为运动分析和重新识别集(MARS)是Market-1501的datase数据集的视频扩展。 MARS是迄今为止最大的视频reid数据集它包含1,261个id和大约20,000个tracklet与基于图像的数据集相比它提供了丰富的视觉信息。 3)DukeMTMC-reIDUnlabeled Samples Generated by GAN Improve the Person Re-identification Baseline in vitro 链接https://drive.google.com/open?id1jjE85dRCMOgRtvJ5RQV9-Afs-2_5dY3O 它的行人数据来源于论文 Performance Measures and a Data Set for Multi-Target, Multi-Camera Tracking 提出的行人追踪 DukeMTMC 数据集DukeMTMC-reID 是 DukeMTMC数据集的一个子集。需要注意的是该数据集存在隐私泄露问题作者已在官方渠道下架数据集。目前部分顶会文章仍在使用。 DukeMTMC 数据集采集自 Duke 大学的 8 个摄像头数据集以视频形式存储具有手动标注的行人边界框。DukeMTMC-reID数据集从 DukeMTMC 数据集的视频中每 120 帧采集一张图像构成 DukeMTMC-reID数据集。原始数据集包含了85分钟的高分辨率视频采集自8个不同的摄像头。并且提供了人工标注的bounding box。从视频中每120帧采样一张图像得到了 36411张图像。一共有1404个人出现在大于两个摄像头下有408个人只出现在一个摄像头下。所以作者随机采样了 702个人作为训练集702个人作为测试集。在测试集中采样了每个ID的每个摄像头下的一张照片作为 查询图像query。剩下的图像加入测试的搜索库gallery并且将之前的 408人作为干扰项也加到 gallery中。最终DukeMTMC-reID 包含了16522张训练图片来自702个人 2228个查询图像来自另外的702个人以及 17661张图像的搜索库gallery。并提供切割后的图像供下载。
