专业做设计的网站,做网站是要写代码的吗,做企业网站用什么字体,杭州做网站企业一、简介
1.1 需求预测示例
1.1.1 逻辑回归算法
根据价格预测商品是否畅销。特征#xff1a;T恤的价格#xff1b;分类#xff1a;销售量高1/销售量低0#xff1b;使用逻辑回归算法进行分类#xff0c;拟合效果如下图所示#xff1a; 1.1.2 神经元和神经网络
将逻辑回…一、简介
1.1 需求预测示例
1.1.1 逻辑回归算法
根据价格预测商品是否畅销。特征T恤的价格分类销售量高1/销售量低0使用逻辑回归算法进行分类拟合效果如下图所示 1.1.2 神经元和神经网络
将逻辑回归的输出记为aactivation整个逻辑回归算法都视作一个神经元神经网络如下图所示 以上是对单个神经元的描述现在构建神经网络只需要将这些神经元串在一起并将它们连接在一起即可。现在根据多个特征T恤的价格、运费、营销量以及材料质量优质厚棉还是劣质材料这四个特征来预测商品是否畅销。我们知道一件T恤是否畅销可能取决于实惠性、潜在买家的认知度、感知质量这三个因素。我们利用逻辑回归算法构建第一个神经元将价格、运费这两个特征作为输入实惠性与否的概率作为输出。再将营销量特征作为输入潜在买家的认知度高低的概率作为输出使用逻辑回归算法构建第二个神经元。将价格、材料质量两个特征作为输入感知质量好坏的概率作为输出使用逻辑回归算法构建第三个神经元。最后将前面三个神经元的输出作为新的输入畅销高低的概率作为新的输出使用逻辑回归算法构建第四个神经元。神经网络如下图所示 层是一组神经元它们将相同或相似的特征作为输入 然后一起输出一些数字。前面三个神经元构成一个“层”四个输入特征作为“输入层”前三个神经元的输出作为“激活值”右侧神经元构成一个“输出层”。
但是在实际中设计神经网络的时候不需要指定哪些特征作为某个神经元的输入可以将所有的特征都作为任何一个神经元的输入。也不需要指定神经元的输出是何含义。除了“输入层”、“输出层”中间的所有层都称为“隐藏层”我们是不需要知道隐藏层中的实现细节。这就是神经网络的强大之处他会自动计算在某个隐藏层中需要用到的特征。 如上图所示隐藏层可以有很多个。第一个隐藏层 x向量作为输入由于有三个神经元因此他的输出是个三维向量的激活向量。第二个隐藏层以第一个隐藏的输出作为输入由于有两个神经元因此它的输出是二维的激活向量。第二个隐藏层的输出作为输出层的输入最后输出结果。
综上所述我们构建自己的神经网络时 只需考虑的问题是1、构建几个隐藏层2、每个隐藏层设计多少个神经元。
1.2 图像感知示例
做图像识别时将一张照片的像素点以向量的形式作为输入。神经网络中隐藏层的功能我们是不知道的但是将每个隐藏的神经元的输出可视化出来可能会大致了解神经元做了什么。例如将第一个隐藏层可视化我们会发现他的每个神经元试图寻找图片中不同方向的横竖线。第二个隐藏层每个神经元在寻找脸部特征例如第一个神经元在寻找左眼睛。第三个隐藏层每个神经元将面部不同的部分聚合尝试检测是否存在更大、更粗糙的面部形状。最后检测面部与不同面部形状的对应程度可以创建一组丰富的特征然后帮助输出层尝试确定人物图片的身份。 不同隐藏层他关注的像素矩阵大小不同越往后越大。上述隐藏层的功能全是由神经网络自行实现的不是我们规定第一个隐藏层检测横竖线第二个检测鼻子眼睛第三个聚合成更大的面部轮廓。所以神经网络是强大的。
1.3 更复杂的神经网络
按照惯例当我们说这个神经网络有四层时它包括输出层和所有的隐藏层但一般不包括输入层。 上图中将第三个隐藏层放大他的输入是第二个隐藏层的输出。隐藏层中每个神经元都有属于他自己的模型参数。a向量称为激活值g()函数称为激活函数输入前一层的激活值生成新的激活值目前我们使用的激活函数是sigmoid函数实际上激活函数还可以是其他的函数后面会做相应的介绍。
二、神经网络前向传播
2.1 手写数字识别示例
功能输入8*8像素矩阵的图片模块自动预测手写数字是0/1手写数字有10种为了简化成二分类问题我们只预测数字0或者1。 如上图所示我们设计的三层神经网络第一隐藏层25个神经元第二隐藏层15个神经元输出层一个神经元。这里的是输入向量也可以称之为。 是25维向量第一隐藏层展开的效果图如上图所示。
接下来是计算第二隐藏层 最后计算预测结果 先根据计算再计算最后计算f(x)根据f(x)的大小做出二分类的判断概率大于等于0.5预测1否侧预测0整体是从左向右计算的。这也被称为“前向传播”。
2.2 如何用代码实现
Tensorflow和pytorch是机器学习相关的有效工具库。接下来使用Tensorflow进行代码的编写演示 第一隐藏层首先定义输入特征向量x再定义第一隐藏层形参1神经元数量 形参2激活函数最后计算激活值a1。
第二隐藏层首先定义layer_2形参1神经元数量 形参2激活函数最后计算激活值a2。
a2是分类的概率设定阀值为0.5如果概率大于等于0.5预测值为1否为为0。
2.2.1 单个网络层上的前向传播
首先计算他是由、、三个激活值组成的向量激活值的计算方法如下图所示。 最后计算 2.2.2 前向传播的一般实现
在上一节中每一个神经元激活值的计算都是相同的操作我们可以对此进行简化封装在dense函数中。输入上一层的激活值、这一层的w矩阵、b矩阵、激活函数。返回值激活向量。 2.2.3 前向传播的矢量化实现
在上一节中dense函数中使用for循环来实现这会降低计算效率。矢量化的实现方式会大幅度提高计算速度下面是矢量化的实现步骤左边代码是上一节版本右边代码是对应地矢量化实现代码 2.2.4 Tensorflow实现
第一步指定模型告诉TensorFlow如何计算推理。在第二步需要使用TensorFlow进行编译关键步骤是要指定使用的损失函数。第三步使用fit函数它告诉TensorFlow使用在步骤2中指定的成本函数的损失来拟合你在步骤 1中指定的模型和数据集 XY。 2.3 Sigmoid激活函数的替代方案 在上图中第一个隐藏层中的第二个神经元通过价格、购物成本、市场、材料来预测消费者的认识程度。最初我们使用Sigmoid激活函数将消费者的认识程度分为两类认可1、不认可0。但是实际情况消费者的认识程度可以更加细分为不认可、稍微认可、认可、非常认可等类别相对应的可以将激活值设计成从0到正无穷的正数。 上图中是三种常见的激活函数左边是线性激活函数由于g(z)z有些时候会被认为没有使用激活函数、中间是Sigmoid激活函数、右边是ReLU激活函数。
2.3.1 如何选择激活函数
如何为神经网络中的每一个神经元选择合适的激活函数
二分类问题选择Sigmoid激活函数如果标签值y可正可负选择线性激活函数如果标签值y取0到正无穷选择ReLU激活函数
2.3.2 激活函数的意义 如上图所示我们设计一个具有一个隐藏层、一个输出层的神经网络。假设每一个神经元都使用线性激活函数等价于不使用激活函数前向传播过程如右边所示。最终计算结果wxb完全等同于直接使用线性回归所以说设计的两层神经网络基本没有意义。 对上图的神经网络中三个隐藏层 使用线性激活函数输出层使用逻辑回归最终结果等价于直接使用逻辑回归。输出结果如下图所示 综上所述尽量不要在隐藏层使用线性激活函数。
三、多分类问题
3.1 softmax回归模型
假设n分类也就是说y的取值有123...n激活值如下图所示 注意当n2时此时又变成了逻辑回归。也就是说softmax回归模型就是逻辑回归模型的推广。
逻辑回归的损失函数如下其中当y1时loss-log当y0时loss-log。 相对应的softmax回归的损失函数如下 3.1.1 softmax输出
前面课程中我们对手写数字只预测0/1是二分类问题。现在我们预测所有可能的数字0-9设计的神经网络输出层原本只有一个神经元现在要变成10个神经元如下图所示。这样的输出层也被称为softmax输出。
输入还是和原来的一样是个手写数字图片经过第一个隐藏层得到激活向量。将当作输入经过第二个隐藏层得到激活向量。将当作输入经过softmax层得到每个数字的概率。计算过程如下图所示。 softmax层也被称为softmax激活函数。代码实现如下。注意以下代码不是最优的后面的课程中会给出更好的解决方案。 3.1.2 改进实现
x12/10000x211/10000-1-1/10000理论上x1x2但是计算机计算的时候他的存储空间是有限的实际输出如下图所示 x2更加精确。上一节的代码中softmax代价函数是正确的但是有一种方式可以减少这些数值舍入误差从而在TensorFlow中实现更准确的计算。
首先以逻辑回归为示例我们首先计算激活值a再计算损失函数loss代码如下图所示。注意逻辑回归中数值舍入的误差较小可以忽略不计但是softmax回归中这类误差较大。 我们还可以换一种实现方式不计算中间值a直接使用拟合值z计算loss实现方式如下图所示输出层使用线性激活函数这样的话就相当于没有计算中间值a而是直接使用拟合值z损失函数增加一个参数。相比较上一个实现方法TensorFlow可以重新排列这个表达式中的项并提出一种在数值上更准确的实现方法来计算这个损失函数。 同理softmax回归也可以进行改进 3.2 多标签分类
注意区分多类分类、多标签分类
多标签分类给一张图片输出图片中是否有人、是否有车两个二分类的多标签分类。
多类分类 四、高级优化算法
4.1 Adam算法
我们使用梯度下降算法的时候学习率是个定值他可能会出现两种极端情况。下图左偏小从起始点start开始逐渐迭代迭代次数多才能到达最小点。下图右偏大导致每次迭代的震荡大。 而Adam算法可以解决这个问题他可以根据运算情况适度调节的大小。如上图左若每次迭代的方向大致相同就应该增大如上图右若每次迭代参数来回震荡就应该减小。 模型与之前相同编译模型的方式与之前一样不同的是向编译函数添加一个额外的参数即指定要使用的优化器tf.keras.optimizers.Adam。Adam优化算法需要一些默认的初始学习率 Alpha上图例子中将初始学习率设置为0.003。
4.2 卷积层
到目前为止我们使用的所有神经网络层都是密集层类型其中该层中的每个神经元都从前一层获得所有激活的输入。 上图中每个神经元的输入不是前一层的所有激活值而是专属于他的部分激活值。这样的网络层称之为卷积层。卷积层的优点1、更快的计算速度。2、需要更少的数据过度拟合的概率减少。 如果神经网络中有多个卷积层会被称为卷积神经网络。
