红包网站开发,wordpress admin-ajax,wordpress如何分栏,贴图库外链图床wordpress插件以下仅是个人在使用过程中的经验总结#xff0c;请谨慎参考。
常用算法总结
图像分类
常用算法#xff08;可作为其他任务的骨干网络#xff09;#xff1a;服务端#xff1a;VGG、ResNet、ResNeXt、DenseNet移动端#xff1a;MobileNet、ShuffleNet等适用场景#x…以下仅是个人在使用过程中的经验总结请谨慎参考。
常用算法总结
图像分类
常用算法可作为其他任务的骨干网络服务端VGG、ResNet、ResNeXt、DenseNet移动端MobileNet、ShuffleNet等适用场景识别区分场景类型
目标检测
常用算法Yolo系列适用场景检测识别场景中的目标类型及位置
目标跟踪
单目标SiamFC、SiamRPN、SiamRPN多目标ByteTrack、deep sort适用场景在上下文连续多帧中持续定位目标位置变化如跟踪人的位置变化
人脸识别
人脸检测MTCNN、RetinaFace特征提取ArcFace特征匹配Nmslib、Annoy适用场景直播、点播场景下人脸坐标定位和人物身份识别
度量学习
常用算法神经网络模型 Contrastive Learning适用场景将输入转换为高维特征根据特征相似度完成具体任务如音乐识别等
音频识别
常用算法音频频谱 神经网络模型适用场景如识别音频中是否出现音乐以及出现的是哪一首音乐
传统图像算法
常用算法边缘检测、直线检测、透视变化、坐标映射适用场景如识别足球场地边缘根据球员实时位置构建赛场态势图 常用技术总结
网络设计
卷积网络池化全连接网络残差网络分组卷积深度可分离卷积Inception网络BatchNorm/LayerNorm循环神经网络Transformer网络
特征融合
FPN特征金字塔PAN特征融合UNet细粒度特征融合Attention全局注意力多分支融合叠加
激活函数
SigmoidReLUTanhLeakey-ReLUPReLUSwish
优化算法
随机梯度下降批量梯度下降小批量梯度下降动量梯度下降自适应梯度下降
损失函数
单分类损失Logistic Loss多分类损失CE多标签分类损失BCE类别不均衡损失Focal Loss回归损失MSE、L1 Smoothing多任务损失Contrastive LossLabel Smoothing
数据增强
平移/旋转/翻转/缩放添加高斯噪声亮度/对比度/饱和度变换数据融合MixUp随机掩码Cutout频谱掩码音频数据增强
模型压缩
模型剪枝模型重参数化模型蒸馏模型量化
训练策略
迁移学习权重衰减学习率衰减WarmUp预热DropOut/DropBlock并行训练Early Stopping 使用经验总结
数据预处理在数据预处理阶段通常包含以下流程
数据加载这部分可能涉及到大规模训练数据的高性能加载消除数据读取造成的性能瓶颈数据增强根据具体任务选择合适的数据增强策略数据归一化将数据的数值做归一化处理加速模型的收敛速度
网络模型设计根据具体的业务场景选择/设计合适的网络架构通常遵循以下原则
优先选择开源的预训练模型参数使用自有数据进行微调训练使用开源预训练模型的基础部分修改模型的上层适配自有的业务场景根据业务场景自行设计模型架构通常只在没有开源参考模型的条件下使用模型效果很难得到保证通常情况下对于图像、视频数据追求模型效果一般使用ResNet34、ResNet50等模型架构追求处理性能一般使用ResNet18、MobileNet、ShuffleNet模型架构
损失函数设计根据具体业务场景选择/设计合适的损失函数通常遵循以下原则
分类场景一般使用交叉熵损失Cross Entropy类别极度不均衡的分类场景不均衡比例超过1000以上分类损失尝试Focal Loss在分类损失场景下使用Label Smoothing软化模型的学习能力回归损失根据使用场景可选MSE、MAE、L1 Smoothing等表征学习也叫对比学习或度量学习优先使用Circle Loss、ArcFace Loss、Triplet Loss等损失函数模型训练时根据具体业务场景适当增大训练批量batch size提升表征学习的特征区分度
训练策略迭代训练更新模型参数逐步提升模型效果
优先使用小批量梯度下降 Momentum动量 LR decay学习率衰减 Weight Decay权重衰减训练策略如果使用多GPU并行训练训练的批量大小batch size和学习率LR要同比例改变先使用极少的训练数据验证模型训练效果排除模型在设计上的问题和工程化问题然后再迁移到大数据量避免造成无效的资源和时间浪费模型训练过程中保存每轮迭代预测异常的数据通过bad case分析逐步提升数据质量或调整模型策略保存模型每轮迭代的准确率、召回率、loss变化曲线监控是否发生过拟合、欠拟合等问题
模型验证使用实际场景数据验证模型的预测性能包括效果和速度
优先检查网络架构和模型参数的匹配情况防止参数不匹配带来的潜在错误问题较难定位使用训练数据验证模型的预测效果排除训练和验证阶段数据处理不一致带来的差异保证验证数据和训练数据具有相同或相似的数据分布将模型转换为推理模式固化BatchNorm、Dropout等具有随机性的操作避免不必要的资源消耗如使用torch.no_grad避免不必要的显存占用关注模型在推理阶段的显卡内存占用保证分配的内存资源大于波动的峰值 常见问题和思考——模型训练阶段
模型训练效果差
常见问题神经网络模型在训练过程中没有学习到有效的信息模型收敛慢或者不收敛原因分析 训练数据中存在脏数据首要排除的因素没有使用预训练模型和数据归一化训练集过大模型容量小出现欠拟合训练集过小模型容量大出现过拟合学习率设置过大导致参数更新过快结果出现震荡学习率设置过小导致参数更新过慢学习进展缓慢数值稳定性问题导致数值溢出出现梯度爆炸网络设计问题导致梯度消失使用了不合理的批量大小使用了不合理的训练迭代次数及停止策略使用了不合理的学习率衰减策略使用了不合理的参数初始化策略使用了不合理的数据增强比如检测人体时对图像做了上下翻转使用了不合理的损失函数比如分类问题使用回归损失函数使用了不合理的网络架构根据一维、二维、多维、时序数据选择合适的架构使用了较强的正则化限制模型的学习能力出现欠拟合使用了较弱的正则化过渡学习训练集出现过拟合
模型训练速度慢
常见问题神经网络模型训练慢主要体现在收敛慢、资源使用率低等方面原因分析 没有使用GPU资源进行模型训练模型训练时使用过小的学习率导致参数更新慢模型训练时使用了过大的batch size导致参数更新频次少模型训练时使用了过小的batch size没有充分利用计算资源没有使用预训练参数重头训练效率低没有使用Batch Norm等做数据归一化训练过程中存在过多的内存、磁盘访问模型过于简单不具备学习复杂任务的能力使用了过强的正则化限制了模型的学习能力没有使用单机多卡、多机多卡并行训练模型复杂度高参数量大以及使用过大的图像分辨率训练数据量大数据加载成为性能瓶颈 常见问题和思考——模型预测阶段
模型预测指标
分类模型准确率、召回率、PR曲线、ROC曲线类别不均衡检测模型mAP、准确率、召回率特征提取模型top 1、top K、r_precision
模型预测效果差
常见问题神经网络模型训练效果较好但是在预测阶段模型表现较差原因分析 模型训练和测试的数据处理pipeline不一致比如训练时做了Normalize测试时没做Normalize模型在测试时没有切换到推理模式如pytorch中的eval()转换输入的数据维度不正确比如训练时使用[N, C, H, W]测试时也要使用同样的数据维度顺序有些模型即使输入的数据尺寸和训练时不一样也不会报错模型参数加载不完全以pytorch框架为例加载模型时设置完全匹配的参数为False在加载过程中即使参数和模型不匹配也不会报错但是会使用默认的随机参数
模型预测资源占用高
常见问题神经网络模型在预测阶段GPU使用率低CPU使用率高或者出现显卡内存溢出原因分析 数据预处理在CPU上进行没有充分利用GPU算力在预测阶段模型没有设置成推理模式计算产生无用的中间结果占用资源深度学习框架如Pytorch自动搜索最优算子导致显存占用短暂飙升
模型处理未知类别
常见问题如何让分类模型对未见过的数据类别说“不知道不认识”提升鲁棒性解决方案 给分类模型添加一个其他类别此种方法不适用于真实开放环境使用BCEBinary Cross Entropy多标签二分类损失函数以猫狗分类为例分别输出是猫狗的概率如果输出既不是猫也不是狗则表示未知使用表征学习度量学习方法通过特征匹配进行分类识别将输入的数据与已知类别进行相似度匹配
模型效果提升
bad case分析数据决定了模型的上限提升模型性能首先应当从数据层面入手避免脏数据带来的负面影响数据增强通过给训练数据增加异常扰动提升模型效果的鲁棒性 图像数据增强随机裁剪、旋转、翻转、缩放、颜色/亮度/对比度调整、多图像融合等音频数据增强频谱随机连续掩码、多频谱融合等 选择合适的网络架构针对具体的使用场景选择合适的网络架构如图像使用2D卷积、音频使用1D卷积等选择合适的损失函数针对具体任务使用合适的损失函数常见的是分类损失、回归损失及混合损失选择合适的评价指标如分类使用准确率、召回率类别不均衡使用ROC目标检测使用mAP等使用开源预训练模型预训练模型通常具备较好的参数基础在此基础上进行训练有助于提升性能多模型融合使用不同的弱模型训练多个效果稍弱的模型融合多个模型结果提升最终性能知识蒸馏使用知识蒸馏将大模型学习到的知识迁移到小模型在提升效果的同时还可以提升速度 常见问题与思考——模型推理加速
模型推理加速
数据处理层面 将数据预处理、后处理等操作在GPU上进行避免在CPU和GPU之间频繁进行数据拷贝避免保存大量的中间结果如磁盘写入 网络模型层面 模型剪枝根据具体业务场景裁剪掉与业务不相关的计算模块算子融合将多个算子融合成一个减少内存访问次数如将Conv BN融合成Conv半精度推理使用float16进行模型推理分组卷积使用分组卷积降低网络模型的参数量和计算量但是会增加内存访问次数模型蒸馏将大模型学习到的知识迁移到小模型在提升效果的同时还可以提升速度 部署工具层面 服务端ONNX、TensorRT移动端NCNN、MNN
影响模型速度的主要因素
数据处理层面 没有使用GPU资源进行推理输入数据尺寸大如高分辨率图像 模型架构层面 网络模型参数量大网络模型计算量大网络模型并行度低如存在多分支结构等内存访问次数多如大量使用分组卷积 工程实现层面 没有使用批量推理没有充分利用GPU的并行计算能力不合理的数据复用导致频繁拷贝 常见问题与思考——工程化问题
工程化常见问题
算法集群扩容 kafka topic的partition数量要大于算法消费者数量 直播场景混流和AI算法结果对齐 算法解码处理直播流内容获取每帧的dts、pts时间戳混流侧根据算法返回结果以及dts、pts时间戳对齐到原流将算法结果压制到直播流中算法侧和混流侧使用pts解码时间戳对齐不用dts时间戳否则会造成画面闪烁 Kafka、Redis数据保存周期 根据业务场景和处理性能设定保存周期保存周期过长造成额外资源占用保存周期过短造成数据丢失 Restful API高稳定性、高并发 算法模型对外提供API接口需要关注高并发、高稳定性通常使用gunicorn进行部署算法模型高并发部署需要成倍的资源重点关注显存、内存和CPU资源占用情况 容器化部署 关注容器CUDA版本与主机显卡驱动以及深度学习框架之间的匹配问题
