知名营销网站开发,网站建设流,网站建设需要的设备,建站极速通同学你好#xff01;本文章于2021年末编写#xff0c;获得广泛的好评#xff01;
故在2022年末对本系列进行填充与更新#xff0c;欢迎大家订阅最新的专栏#xff0c;获取基于Pytorch1.10版本的理论代码(2023版)实现#xff0c;
Pytorch深度学习理论篇(2023版)目录地址…同学你好本文章于2021年末编写获得广泛的好评
故在2022年末对本系列进行填充与更新欢迎大家订阅最新的专栏获取基于Pytorch1.10版本的理论代码(2023版)实现
Pytorch深度学习·理论篇(2023版)目录地址为
CSDN独家 | 全网首发 | Pytorch深度学习·理论篇(2023版)目录本专栏将通过系统的深度学习实例从可解释性的角度对深度学习的原理进行讲解与分析通过将深度学习知识与Pytorch的高效结合帮助各位新入门的读者理解深度学习各个模板之间的关系这些均是在Pytorch上实现的可以有效的结合当前各位研究生的研究方向设计人工智能的各个领域是经过一年时间打磨的精品专栏https://v9999.blog.csdn.net/article/details/127587345欢迎大家订阅(2023版)理论篇 以下为2021版原文~~~~ 1 神经元
1.1 概述
1.1.1 神经网络 神经网络一种人工模仿动物中枢系统的数学模型用于对函数进行近似估计 1.1.2 神经元 神经网络的基本单位是神经元。 神经元是一种处理单元是对人脑组织的神经元的某种抽象、简化和模拟。通过神经元人工神经网络可以以数学模型模拟人脑神经元活动继而进行高效的计算以及其他处理。 1.2 计算机中的神经元系统
1.2.1 简单的神经元系统 神经元模型便是模拟大脑神经元的运行过程其包含输入输出与计算功能输入可以类比为神经元的树突而输出可以类比为神经元的轴突计算则可以类比为细胞核。下图是一个典型的神经元模型包含有m个输入1个输出以及2个计算功能。 1.2.2 一句话理解神经网络 所以一句话理解就是制造一个神经网络就是在定义一个函数集合。而训练一个神经网络就是在这个函数集合中找到 唯一一个函数。这个函数代表了训练样本的共性特征。这种共性特征称为目标。 一个神经元的功能是求得输入向量与权向量的内积后经一个非线性传递函数得到一个标量结果。 1.2.3 神经网络的形成
当前主要使用反向传播的算法将模型的误差作为刺激的信号并沿着神经元处理信号的反方向进行逐层传播并更新当前层中节点的权重。 1.2.4 神经网络的特点 神经网络的结构与功能使得其天生具有编程与实现各种高级功能的能力只不过该编程不需要通过人脑拟合现实来实现而是通过模型学习的方式通过现实的表象来优化其所需要的结构。 1.3 深度学习中的基础神经网络模型
全连接神经网络用来处理与数值相关的任务卷积神经网络用来处理与计算机视觉相关的任务循环神经网络用来处理与序列相关的任务
1.4 神经网络深度学习到底是在干什么
1.4.1 玩色子
应该都接触过摇色子赌大小得游戏微信表情包就有这个总共有六个点数如下 一般电视剧里用两只碗扣在一块里面有三个色子最大是18点最小是3点所以这里暂且以11为中位数大于等于11的为大小于11的为小刚好8个大点、8个小点。
1.4.2 建模型
神经网络包括三个部分——输入层、隐藏层和输出层。我们建立一个神经网络模型来让机器识别我们摇出来的点数是大还是小。
先摇三个点。。。 很明显的是134 8 11
问题是隐藏层 “ ”到底做了什么该怎么做
1.4.3 出结果
其实这个隐藏层的函数或者叫矩阵就是三个值为1的常数函数。 计算方式为点对点相乘然后相加相当于深度学习里面的全连接层 1×13×14×1 8 11然后只需要一个判断函数就可以将“小”作为结果输出。
同样 3×15×16×1 14 11输出“大”。
当然了这个只是一个很简单的分类模型而且只有两个分类结果。 一般用于实现数字识别或者图像识别的隐藏层比较复杂甚至需要很多个隐藏层分别命名为卷积层一个模型中可能会多次使用、池化层一个模型中可能会多次使用、全连接层还会有对应的激活函数。
看吧其实就是一个很简单的模型而已只是名字唬人罢了。 2 全连接神经网络又称作多层感知机MLP
2.1 网络结构 输入层[特征维度n]隐含层权重矩阵 [输出维度输入维度] 或者说 [这层维度上层维度]输出层[类别数n]
2.1.1 全连接层的本质
① 全连接神经网络的本质是将低维数据向高维数据的映射通过增加数据所在的维度空间使得数据变得线性可分
② 可以对任何数据进行分类缺点是需要更多的参数进行训练。但更多的参数参与运算将会导致训练过程难以收敛
2.2 全连接神经网络的设计思想
2.2.1 输入节点根据外部的特征数据来确定
2.2.2 隐藏层的节点数隐藏层的数量都是可以自定义设计的但需要遵循以下两个原则
2.2.3 设计原则
隐藏层的节点数决定模型的拟合能力但是过多的节点带了拟合能力的同时也会使得模型的泛化能力下降。隐藏层的层数决定模型的泛化能力层数越多模型的推理能力越强但是随着层数的变多会对拟合效果产生影响
2.3 全连接神经网络在模型中的位置
一般处于整个深层模型的最后部分由其具有的调节维度的作用通过指定输入层与输出层的节点数就可以实现从原维度向任意维度的变化一般前后层的维度控制在5倍以内。
2.3.1 小技巧
搭建多层全连接神经网络时对隐藏层的节点设计应遵循先将维度扩大再缩小的方式进行会使得模型的拟合效果更好。
