做美食教程的网站有哪些,秦皇岛市房价,医院网站备案流程,庆阳网站设计报价文章目录 12.3.5 Caffe有哪些接口
12.4 网络搭建有什么原则
12.4.1 新手原则
12.4.2 深度优先原则
12.4.3 卷积核size一般为奇数
12.4.4 卷积核不是越大越好
12.5 有哪些经典的网络模型值得我们去学习的
12.6 网络训练有哪些技巧
12.6.1 合适的数据集
12.6.2 合适的预…文章目录 12.3.5 Caffe有哪些接口
12.4 网络搭建有什么原则
12.4.1 新手原则
12.4.2 深度优先原则
12.4.3 卷积核size一般为奇数
12.4.4 卷积核不是越大越好
12.5 有哪些经典的网络模型值得我们去学习的
12.6 网络训练有哪些技巧
12.6.1 合适的数据集
12.6.2 合适的预处理方法
12.6.3 网络的初始化
12.6.4 小规模数据训练
12.6.5 设置合理Learning Rate
12.6.6 损失函数 12.3.5 Caffe有哪些接口
Caffe深度学习框架支持多种编程接口包括命令行、Python和Matlab,下面将介绍如何使用这些接口。
1. Caffe Python接口
Caffe提供 Python 接口即Pycaffe具体实现在caffe、python文件夹内。在Python代码中import caffe可以load models导入模型、forward and backward 前向、反向迭代、handle IO数据输入输出、visualize networks绘制net和instrument model solving自定义优化方法)。所有的模型数据、计算参数都是暴露在外、可供读写的。
(1)caffe.Net 是主要接口负责导入数据、校验数据、计算模型。
(2)caffe.Classsifier 用于图像分类。
(3)caffe.Detector 用于图像检测。
(4)caffe.SGDSolver 是露在外的 solver 的接口。
(5)caffe.io 处理输入输出数据预处理。
(6)caffe.draw 可视化 net 的结构。
(7)caffe blobs 以 numpy ndarrys 的形式表示方便而且高效。
2. Caffe MATLAB接口
MATLAB接口Matcaffe在 caffe/matlab 目录的 caffe 软件包。在 matcaffe 的基础上可将Caffe整合到MATLAB代码中。
MATLAB接口包括
(1)MATLAB 中创建多个网络结构。
(2)网络的前向传播Forward与反向传播Backward计算。
(3)网络中的任意一层以及参数的存取。
(4)网络参数保存至文件或从文件夹加载。
(5)blob 和 network 形状调整。
(6)网络参数编辑和调整。
(7)创建多个 solvers 进行训练。
(8)从solver 快照Snapshots恢复并继续训练。
(9)访问训练网络Train nets和测试网络(Test nets)。
(10)迭代后网络交由 MATLAB 控制。
(11)MATLAB代码融合梯度算法。
3. Caffe命令行接口
命令行接口 Cmdcaffe 是 Caffe 中用来训练模型、计算得分以及方法判断的工具。Cmdcaffe 存放在 caffe/build/tools 目录下。
caffe train
caffe train 命令用于模型学习具体包括
(1)caffe train 带 solver.prototxt 参数完成配置。
(2)caffe train 带 snapshot mode_iter_1000.solverstate 参数加载 solver snapshot。
(3)caffe train 带 weights 参数 model.caffemodel 完成 Fine-tuning 模型初始化。
caffe test
caffe test 命令用于测试运行模型的得分并且用百分比表示网络输出的最终结果比如 accuracyhuoloss 作为其结果。测试过程中显示每个 batch 的得分最后输出全部 batch 的平均得分值。
caffe time
caffe time 命令用来检测系统性能和测量模型相对执行时间此命令通过逐层计时与同步执行模型检测。
参考文献 1.深度学习Caffe之经典模型讲解与实战/ 乐毅王斌
12.4 网络搭建有什么原则
12.4.1 新手原则
刚入门的新手不建议直接上来就开始搭建网络模型。比较建议的学习顺序如下
1.了解神经网络工作原理熟悉基本概念及术语。2.阅读经典网络模型论文实现源码(深度学习框架视自己情况而定)。3.找数据集动手跑一个网络可以尝试更改已有的网络模型结构。4.根据自己的项目需要设计网络。
12.4.2 深度优先原则
通常增加网络深度可以提高准确率但同时会牺牲一些速度和内存。但深度不是盲目堆起来的一定要在浅层网络有一定效果的基础上增加深度。深度增加是为了增加模型的准确率如果浅层都学不到东西深了也没效果。
12.4.3 卷积核size一般为奇数
卷积核为奇数有以下好处
1 保证锚点刚好在中间方便以 central pixel为标准进行滑动卷积避免了位置信息发生偏移 。2 保证在填充Padding时在图像之间添加额外的零层图像的两边仍然对称。
12.4.4 卷积核不是越大越好
AlexNet中用到了一些非常大的卷积核比如11×11、5×5卷积核之前人们的观念是卷积核越大感受野越大看到的图片信息越多因此获得的特征越好。但是大的卷积核会导致计算量的暴增不利于模型深度的增加计算性能也会降低。于是在VGG、Inception网络中利用2个3×3卷积核的组合比1个5×5卷积核的效果更佳同时参数量3×3×2119265×5×11被降低因此后来3×3卷积核被广泛应用在各种模型中。
12.5 有哪些经典的网络模型值得我们去学习的
提起经典的网络模型就不得不提起计算机视觉领域的经典比赛ILSVRC .其全称是 ImageNet Large Scale Visual Recognition Challenge.正是因为ILSVRC 2012挑战赛上的AlexNet横空出世使得全球范围内掀起了一波深度学习热潮。这一年也被称作“深度学习元年”。而在历年ILSVRC比赛中每次刷新比赛记录的那些神经网络也成为了人们心中的经典成为学术界与工业届竞相学习与复现的对象并在此基础上展开新的研究。
序号年份网络名称获得荣誉12012AlexNetILSVRC图像分类冠军22014VGGNetILSVRC图像分类亚军32014GoogLeNetILSVRC图像分类冠军42015ResNetILSVRC图像分类冠军52017SeNetILSVRC图像分类冠军
1. AlexNet
论文:ImageNet Classification with Deep Convolutional Neural Networks 代码实现:tensorflow 主要特点 1.第一次使用非线性激活函数ReLU。 2.增加防加过拟合方法Droupout层,提升了模型鲁棒性。 3.首次使用数据增强。 4.首次使用GPU加速运算。 2. VGGNet
论文:Very Deep Convolutional Networks for Large-Scale Image Recognition 代码实现:tensorflow 主要特点 1.网络结构更深。 2.普遍使用小卷积核。 3. GoogLeNet
论文:Going Deeper with Convolutions 代码实现:tensorflow 主要特点 1.增强卷积模块功能。 主要的创新在于他的Inception这是一种网中网Network In Network的结构即原来的结点也是一个网络。Inception一直在不断发展目前已经V2、V3、V4。其中1*1卷积主要用来降维用了Inception之后整个网络结构的宽度和深度都可扩大能够带来2-3倍的性能提升。 2.连续小卷积代替大卷积保证感受野不变的同时减少了参数数目。 4. ResNet
论文:Deep Residual Learning for Image Recognition 代码实现:tensorflow 主要特点: 解决了“退化”问题即当模型的层次加深时错误率却提高了。 5. SeNet
论文:Squeeze-and-Excitation Networks 代码实现:tensorflow 主要特点: 提出了feature recalibration通过引入 attention 重新加权可以得到抑制无效特征提升有效特征的权重并很容易地和现有网络结合提升现有网络性能而计算量不会增加太多。 CV领域网络结构演进历程 ILSVRC挑战赛历年冠军: 此后ILSVRC挑战赛的名次一直是衡量一个研究机构或企业技术水平的重要标尺。 ILSVRC 2017 已是最后一届举办.2018年起将由WebVision竞赛Challenge on Visual Understanding by Learning from Web Data来接棒。因此即使ILSVRC挑战赛停办了但其对深度学习的深远影响和巨大贡献将永载史册。
12.6 网络训练有哪些技巧
12.6.1 合适的数据集
1 没有明显脏数据(可以极大避免Loss输出为NaN)。
2 样本数据分布均匀。
12.6.2 合适的预处理方法
关于数据预处理在Batch Normalization未出现之前预处理的主要做法是减去均值然后除去方差。在Batch Normalization出现之后减均值除方差的做法已经没有必要了。对应的预处理方法主要是数据筛查、数据增强等。
12.6.3 网络的初始化
网络初始化最粗暴的做法是参数赋值为全0这是绝对不可取的。因为如果所有的参数都是0那么所有神经元的输出都将是相同的那在back propagation的时候同一层内所有神经元的行为也是相同的这可能会直接导致模型失效无法收敛。吴恩达视频中介绍的方法是将网络权重初始化均值为0、方差为1符合的正态分布的随机数据。
12.6.4 小规模数据训练
在正式开始训练之前可以先用小规模数据进行试练。原因如下
1 可以验证自己的训练流程对否。2 可以观察收敛速度帮助调整学习速率。3 查看GPU显存占用情况最大化batch_size(前提是进行了batch normalization只要显卡不爆尽量挑大的)。
12.6.5 设置合理Learning Rate
1 太大。Loss爆炸、输出NaN等。2 太小。收敛速度过慢训练时长大大延长。3 可变的学习速率。比如当输出准确率到达某个阈值后可以让Learning Rate减半继续训练。
12.6.6 损失函数
损失函数主要分为两大类:分类损失和回归损失
1. 回归损失
均方误差(MSE 二次损失 L2损失) 它是我们的目标变量与预测值变量差值平方。平均绝对误差(MAE L1损失) 它是我们的目标变量与预测值变量差值绝对值。 关于MSE与MAE的比较。MSE更容易解决问题但是MAE对于异常值更加鲁棒。更多关于MAE和MSE的性能可以参考L1vs.L2 Loss Function
2.分类损失
交叉熵损失函数。 是目前神经网络中最常用的分类目标损失函数。合页损失函数 合页损失函数广泛在支持向量机中使用有时也会在损失函数中使用。缺点:合页损失函数是对错误越大的样本施以更严重的惩罚但是这样会导致损失函数对噪声敏感。
