做cg的网站,那有做网站的,如何创建微信公众号平台,大淘客怎么做网站数据增强#xff1a;
BDA(Base Data Augmentation)#xff1a;色调变换#xff0c;透明度变换#xff0c;旋转#xff0c;背景模糊#xff0c;饱和度变换。
图像变换类#xff1a;AutoAugment#xff0c;RandAugment
图像裁剪类#xff1a;CutOut、RandErasing、Hi…数据增强
BDA(Base Data Augmentation)色调变换透明度变换旋转背景模糊饱和度变换。
图像变换类AutoAugmentRandAugment
图像裁剪类CutOut、RandErasing、Hide-And-Seek、GridMask
图像混叠类Mixup、CutmixCopyPaste
超参数
Cosine 学习率下降策略
Cosine学习率策略指的是学习率在训练的过程中按照余弦的曲线变化。在 整个训练过程中Cosine学习率衰减策略使得在网络在训练初期保持了较大的学习速率在后期学习率会逐渐 衰减至0其收敛速度相对较慢但最终收敛精度较好。
学习率预热策略
学习率预热指的是将学习率从一个很小的值开始逐步增加到初始较大的学习率。它可以保证模型在训练初 期的稳定性。使用学习率预热策略有助于提高图像分类任务的准确性。 主干
v1,v2,v3去掉SE-net的MobileNetV3
v4使用PP-LCNetV3替换MobileNetv3 backbonePP-OCRv4学生检测模型hmean从78.24%提升到79.08%。
headFPN 轻量级特征金字塔网络DBFPN结构 文本检测器的特征融合(neck)部分DBFPN与目标检测任务中的FPN结构类似融合不同尺度的特征图以提 升不同尺度的文本区域检测效果。 为了方便合并不同通道的特征图这里使用 1×1 的卷积将特征图减少到相同数量的通道。 概率图和阈值图是由卷积融合的特征图生成的卷积也与inner_channels相关联。因此inner_channels对模型 尺寸有很大的影响。当inner_channels由256减小到96时模型尺寸由7M减小到4.1M速度提升48%但精度只是略有下降。 DSR: 训练中动态增加shrink ratio
threshold_map 是由polygon进行内外延展而来shrink_ratio设置得越大延展得越小。动态shrink ratio(dynamic shrink ratio): 在训练中shrink ratio由固定值调整为动态变化随着训练epoch的增加shrink ratio从0.4线性增加到0.6。该策略在PP-OCRv4学生检测模型上hmean从76.97%提升到78.24%。 LK-PAN大感受野的PAN结构
LK-PAN (Large Kernel PAN) 是一个具有更大感受野的轻量级PAN结构核心是将PAN结构的path augmentation中卷积核从3*3改为9*9。通过增大卷积核提升特征图每个位置覆盖的感受野更容易检测大字体的文字以及极端长宽比的文字。使用LK-PAN结构可以将教师模型的hmean从83.2%提升到85.0%。 RSE-FPN残差注意力机制的FPN结构 RSE-FPNResidual Squeeze-and-Excitation FPN如下图所示引入残差结构和通道注意力结构将FPN中的卷积层更换为通道注意力结构的RSEConv层进一步提升特征图的表征能力。考虑到PP-OCRv2的检测模型中FPN通道数非常小仅为96如果直接用SEblock代替FPN中卷积会导致某些通道的特征被抑制精度会下降。RSEConv引入残差结构会缓解上述问题提升文本检测效果。进一步将PP-OCRv2中CML的学生模型的FPN结构更新为RSE-FPN学生模型的hmean可以进一步从84.3%提升到85.4%。 PFHead并行head分支融合结构
PFhead结构如下图所示PFHead在经过第一个转置卷积后分别进行上采样和转置卷积上采样的输出通过3x3卷积得到输出结果然后和转置卷积的分支的结果级联并经过1x1卷积层最后1x1卷积的结果和转置卷积的结果相加得到最后输出的概率图。PP-OCRv4学生检测模型使用PFheadhmean从76.22%增加到76.97%。 损失函数
模型调整剪枝、量化、知识蒸馏 裁剪滤波器的方法FPGM
PGM将 卷积层中的每个滤波器都作为欧几里德空间中的一个点它引入了几何中位数这样一个概念即与所有采样点距离之和最小的点。如果一个滤波器的接近这个几何中位数那我们可以认为这个滤波器的信息和其他滤波器重合可以去掉。 FPGM与基于范数的裁剪算法的对比如下图所示。
PaddleSlim/docs/zh_cn/api_cn/dygraph/pruners/fpgm_filter_pruner.rst at release/2.0.0 · PaddlePaddle/PaddleSlim · GitHub CML知识蒸馏策略
知识蒸馏的方法在部署中非常常用通过使用大模型指导小模型学习的方式在通常情况下可以使得小模型 在预测耗时不变的情况下精度得到进一步的提升从而进一步提升实际部署的体验。 标准的蒸馏方法是通过一个大模型作为 Teacher 模型来指导 Student 模型提升效果而后来又发展出 DML 互 学习蒸馏方法即通过两个结构相同的模型互相学习相比于前者DML 脱离了对大的 Teacher 模型的依赖 蒸馏训练的流程更加简单模型产出效率也要更高一些。 PP-OCRv2 文字检测模型中使用的是三个模型之间的 CML (Collaborative Mutual Learning) 协同互蒸馏方法既 包含两个相同结构的 Student 模型之间互学习同时还引入了较大模型结构的 Teacher 模型。
DML教师模型互学习策略
PP-OCRv3检测模型是对PP-OCRv2中的CMLCollaborative Mutual Learning) 协同互学习文本检测蒸馏策略进行了升级。如下图所示CML的核心思想结合了传统的Teacher指导Student的标准蒸馏与Students网络之间的DML互学习可以让Students网络互学习的同时Teacher网络予以指导。PP-OCRv3分别针对教师模型和学生模型进行进一步效果优化。其中在对教师模型优化时提出了大感受野的PAN结构LK-PAN和引入了DMLDeep Mutual Learning蒸馏策略在对学生模型优化时提出了残差注意力机制的FPN结构RSE-FPN。 CML添加Student和Teacher网络输出的KL div loss
PP-OCRv4检测模型对PP-OCRv3中的CMLCollaborative Mutual Learning) 协同互学习文本检测蒸馏策略进行了优化。如下图所示在计算Student Model和Teacher Model的distill Loss时额外添加KL div loss让两者输出的response maps分布接近由此进一步提升Student网络的精度检测Hmean从79.08%增加到79.56%端到端指标从61.31%增加到61.87%。
