邢台做移动网站的地方,如何在修改wordpress,wordpress代码架构,广州网站开发 找亦客公司优质提示#xff1a;文章写完后#xff0c;目录可以自动生成#xff0c;如何生成可参考右边的帮助文档 文章目录 摘要Abstract文献阅读#xff1a;学习数一切东西1、研究背景2、提出方法3、模块详细3.1、多尺度特征提取模块3.2、密度预测模块 4、损失函数5、性能对比6、贡献 二… 提示文章写完后目录可以自动生成如何生成可参考右边的帮助文档 文章目录 摘要Abstract文献阅读学习数一切东西1、研究背景2、提出方法3、模块详细3.1、多尺度特征提取模块3.2、密度预测模块 4、损失函数5、性能对比6、贡献 二、RNN代码学习2.1、什么是RNN2.2、RNN的处理过程2.3、RNN简单代码实现 总结 摘要
本周主要阅读了CVPR文章Learning To Count Everything。文章提出了一种名为FamNet的新型网络结构是卷积神经网络CNN的改进版本。可以将FAMNet与CNN或其他类型的神经网络结合形成更复杂的深度学习模型以处理更复杂的图像识别任务。FamNet利用提供的示例对象和查询图像之间的相似性来估计密度图从而实现物体计数。。除此之外还学习学习了RNN代码的学习。
Abstract
This week, I mainly read the CVPR article Learning To Count Everything. The article proposes a new network structure called FamNet, which is an improved version of convolutional neural network (CNN). FamNet can be combined with CNN or other types of neural networks to form more complex deep learning models to handle more complex image recognition tasks. FamNet estimates a density map using the similarity between provided example objects and query images to achieve object counting. In addition, I also learned how to learn RNN code. 文献阅读学习数一切东西
Title Learning To Count Everything AuthorViresh Ranjan Udbhav Sharma Thu Nguyen Minh Hoai From2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)
1、研究背景
在面对密集场景或新类别时的计数问题。在现实生活中我们经常会遇到需要计数的场景如统计人群数量、货架上的物品数量或书架上的书本数等。然而当目标物体数量庞大月分布密集时传统的人工计数方法不仅效率低下而且容易出错。因此开发一种能够自动、准确地进行目标检测与计数的方法变得尤为重要。当前大多数物体计数方面的研究主要关注单个类别的计数且大多需要大量的标注数据进行训练。然而在实际应用中我们往往面临标注数据不足或需要计数的新类别不断出现的情况。因此如何在小样本或新类别的情况下实现准确的目标检测与计数成为了一个亟待解决的问题。
2、提出方法
对于物体计数和分类的任务通常需要大量的标注数据来进行训练。然而获取这些标注数据是一个昂贵且耗时的过程。因此文章提出了一种名为FamNetFast Adaptive Matching Network的新方法用于解决在只有少量标注实例的情况下进行物体计数的问题。FAMNet是一种深度学习模型主要用于图像识别和计算机视觉任务。它是深度神经网络的一种变体特别是卷积神经网络CNN的改进版本。可以将FAMNet与CNN或其他类型的神经网络结合形成更复杂的深度学习模型以处理更复杂的图像识别任务。FamNet利用提供的示例对象和查询图像之间的相似性来估计密度图从而实现物体计数。
3、模块详细
3.1、多尺度特征提取模块
使用ImageNet预训练的网络进行特征提取可以处理广泛的视觉类别。多尺度特征提取模块由来自预训练ResNet-50骨干网络的前四个块组成(这些块的参数在训练期间被冻结)。利用第三和第四个块处的卷积特征映射来表示图像。通过对第三和第四个Resnet-50块卷积特征映射执行ROI池化获得一个示例的多尺度特征。
3.2、密度预测模块
为了使密度预测模块不受视觉类别的影响不直接使用从特征提取模块获得的特征进行密度预测。相反只使用范例特征和图像特征之间的相关映射作为密度预测模块的输入。为了解释在不同尺度下感兴趣的对象将样本特征缩放到不同尺度并将缩放后的样本特征与图像特征关联从而获得多个相关map每个尺度一个。在实验中使用0.9和1.1的scales以及原始的scales。将相关图串联并送入密度预测模块。 密度预测模块由5个卷积块和3个上采样层组成分别位于第一、第二和第三个卷积层之后。最后一层是1*1的卷积层预测2维密度图其大小与输入图像一致。
4、损失函数 Min-Count loss每个框对应位置的物体数量应该至少是1个若小于1个就产生损失。大于等于1不产生损失框可能包含超过一个物体。 Perturbation Loss从目标跟踪的研究借用correlation filter而来的。给定一个需要跟踪的物体以及它的标注框当一个框位于标注框的位置有最大的响应值当这个框偏离了标注框它的响应值根据距离指数型下降。
5、性能对比
最终的性能对比结果显示FamNet在计数任务上的表现优于其他几种方法。具体来说FamNet在平均绝对误差MAE和均方根误差RMSE两个评价指标上均取得了最佳结果。此外FamNet还可以通过增加示例数量来提高计数性能。在与其他几种基线方法的比较中FamNet也表现出色尤其是在处理未见过的新类别时。在CARPK数据集上的计数汽车性能测试中FamNet的表现也优于其他方法。总之FamNet是一种有效的多目标计数方法具有良好的泛化能力。
6、贡献
文章提出了FamNetFamily of Neural Networks方法其是一种用于图像识别和计算机视觉任务的神经网络框架。它旨在通过构建一系列相关的神经网络模型来解决不同但相关的任务这些模型共享一些基础结构和参数从而提高效率和性能。在FamNet中不同任务之间的模型共享部分网络层这使得模型能够学习到跨任务的有用特征表示。通过共享网络层FamNet可以减少计算量加速模型训练并在多个任务之间实现知识迁移。
二、RNN代码学习
2.1、什么是RNN
循环神经网络Recurrent Neural NetworkRNN是一种深度学习模型用于处理序列数据。RNN的核心特点是具有记忆单元能够捕捉序列数据中的长期依赖关系。在RNN中神经网络单元按照时间序列连接每个单元的输出作为下一个单元的输入从而实现信息的循环传递。RNN的应用领域非常广泛包括自然语言处理、语音识别、机器翻译、时间序列预测等。常见的RNN变种包括长短时记忆网络LSTM和门控循环单元GRU它们通过引入不同的机制来改善RNN的训练和性能。
2.2、RNN的处理过程
对数据集进行向量化表示例如使用词向量或one-hot编码。前向过程定义一个输出向量该网络由n个RNN模块组成。将向量化的数据与一个矩阵W1相乘得到输出out1将上一个RNN模块的输出out与一个矩阵W2相乘得到out2将out1与out2相加得到当前RNN模块的输出out3给out3施加一个激活函数得到out4out4即为当前RNN模块的输出。反向传播利用梯度下降法对所有的RNN模块的W1和W2进行更新。
2.3、RNN简单代码实现
class SimpleRNN(nn.Module): def __init__(self, input_size, hidden_size, output_size): super(SimpleRNN, self).__init__() self.hidden_size hidden_size self.rnn nn.RNN(input_size, hidden_size, batch_firstTrue) self.fc nn.Linear(hidden_size, output_size) def forward(self, x): # 初始化隐藏状态 h0 torch.zeros(1, x.size(0), self.hidden_size).to(x.device) # 前向传播RNN out, _ self.rnn(x, h0) # 获取最后一个时间步的输出 out self.fc(out[:, -1, :]) return out总结
本周主要阅读了CVPR文章Learning To Count Everything。文章提出了一种名为FamNet的新型网络结构是卷积神经网络CNN的改进版本。可以将FAMNet与CNN或其他类型的神经网络结合形成更复杂的深度学习模型以处理更复杂的图像识别任务。FamNet利用提供的示例对象和查询图像之间的相似性来估计密度图从而实现物体计数。。除此之外还学习学习了RNN代码的学习。
