怎样给建设的网站提意见,做网站需要留什么条件,用织梦做网站调用乱码,wordpress局域网自定义域名图像分析学习笔记#xff08;4#xff09;#xff1a;机器学习图像特征与描述深度学习基础深度学习技巧深度模型构建深度学习基础
深度学习概念#xff1a;深度学习是机器学习的一个分支#xff0c;它基于一系列算法#xff0c;试图通过使用多个处理层建立数据的高级抽象…
图像分析学习笔记4机器学习图像特征与描述深度学习基础深度学习技巧深度模型构建深度学习基础
深度学习概念深度学习是机器学习的一个分支它基于一系列算法试图通过使用多个处理层建立数据的高级抽象模型这些处理层具有复杂的结构或者由多个非线性转换组成。–维基百科深度学习发展历史
模型名称提出者年份PerceptionRosenblatt1958RNNGrossberg1973CNNFukushima1979RBMHinton1999DBNHinton2006D-AEVincent2008AlexNetAlex2012GoogLeNetSzegedy2015
深度学习的应用场景识别、视觉类型识别、目标检测、图像题注、语义分割、图像风格迁移、Deep Dream深度学习平台PyTorch TensorFlow Caffe MatConvNet Theano不同平台的对比
对比项PytorchTensorflow实现方式命令式编程符号式编程图的定义动态定义静态定义运行效率效率相对低效率高学习成本低相对高
深度学习基本理论学习表示深度学习的步骤网络构建一组函数→\rightarrow→学习目标定义每一函数的好坏→\rightarrow→学习过程选择最好的函数f网络构建 神经网络神经元、权重、偏置、激活函数计算矩阵形式 学习目标 训练数据代价函数最小常用代价函数有suare loss Hinge loss Logistic loss Cross entropy loss等总体代价 学习过程 梯度下降法会面临局部极小值点
深度学习技巧
学习阶段网络构建-学习目标-学习过程测试阶段训练评价、模型推断、推断评价学习过程 学习率调整策略后向传播 SGD Mini-Batch SGD 新的激活函数 自适应学习率 Momentum半监督学习方法 非监督学习方法前向传播zlWlxblalσ(zl)zlWlal−1blalσ(zl)z ^ { l } W ^ { l } x b ^ { l} a ^ { l} \sigma ( z ^ { l } ) \\ z ^ { l } W ^ { l } a ^ { l - 1 } b ^ { l} a ^ { l } \sigma ( z ^ { l } )zlWlxblalσ(zl)zlWlal−1blalσ(zl)后向传播δLσ′(zL)⊙∇C(y)δlσ′(zl)⊙(Wl1)Tδl1\delta ^ {L} \sigma ^{\prime} ( z^ {L} )\odot \nabla C( y) \\ \delta ^ { l } \sigma ^{\prime} ( z^{ l} )\odot (W^{l1})^T\delta ^{l1}δLσ′(zL)⊙∇C(y)δlσ′(zl)⊙(Wl1)Tδl1随机梯度下降法SGD模型看到一个训练样本就更新梯度下降法看到所有样本后才更新Mini-Batch随机梯度下降法每次迭代利用B个样本激活函数ReLU:快速计算、生物启发、部分解决梯度消失问题 Adagrad如何解决过拟合标记更多的训练数据、生成更多的训练数据、迁移学习、改进训练方法、提前停止、权重衰退、DropOut、新的网络结构
深度模型构建 卷积神经网络CNN 为什么要使用CNN当处理图像时全连接网络的第一层可能会非常大需要根据输入数据和任务简化网络模型思路发现邮箱兴趣的模式相对整图很小同样的模式重复出现在不同的区域下采样图像通常不会改变目标性质1每一个滤波器检测一个局部模式性质2局部模式响应 AlexNet: VGGNet GoogleNet ResNet: 当堆叠更深层次后的CNN性能反而更差-非常深的模型更加爱难以优化-解决思路利用网络层次拟合残差映射替代直接拟合一个潜在目标映射-方法利用skip connections,可以允许利用一个层次的输出输入给其他人一层次利用这些层次你和残差而不是直接你和H(x) 残差模块输入x通过一系列的卷积、relu模块输出F(X)将输出结果加到原始的输入x
