用spl做网站,wordpress不用缓存,长春建设局网站,免费php网站源码向量与矩阵
上个章节的神经网络是为了解Transformer或者Mamba做好铺垫#xff0c;在和后辈交流过程中发现有个障碍#xff0c;那就是向量和矩阵。其实向量和矩阵的表达方式不是所有人都很习惯。在继续下面的章节之前小编认为有必要将向量、矩阵和神经网络做下补充解释。
向… 向量与矩阵
上个章节的神经网络是为了解Transformer或者Mamba做好铺垫在和后辈交流过程中发现有个障碍那就是向量和矩阵。其实向量和矩阵的表达方式不是所有人都很习惯。在继续下面的章节之前小编认为有必要将向量、矩阵和神经网络做下补充解释。
向量是具有方向和大小的量用箭头表示。向量具有下面的性质 有好事者翻出来内积的几何含义其实就是两个向量的长度乘以它们的夹角那么上面代数的表达方式和下面的带有cosθ的表达式一样么。是一样的推导过程略过一千字。 下图则为矩阵运算请读者快速温习一下。m*n和n*p的矩阵相乘之后一定是m*p维度的。 神经网络的矩阵表示 先来看一个例子上图一个简单的神经网络这套变量的标识方式小编比较认可上标l代表第几层下面代表某一层的第几个神经元。w的两个下标mn分别代表第m个输出节点和第n个下游节点的权重。一般用z代表没有经过激活函数的数值而activation代表经过激活函数的输出。 上图是层1到层2的计算公式可以将这样的运算直接转化为矩阵表示。矩阵表达方式十分简洁清爽而下图中的w矩阵就是传说中的参数这些矩阵通过样本训练而得到。 于是到了这里基本上从较为抽象的角度将基于神经网络的大模型做了简单的抽象。大模型其实就是多层级深度的神经网络通过不断地累加参数不断地优化结构不断地调整样本让神经网络的信息编码和激活更加的合理和高效。从另一个侧面来看深度学习其实也是一种复杂的概率转移矩阵。 损失函数
为了评估每个训练之后真实值和预测值之间的差异需要一个函数来评估差异化。这个函数有很多种称呼比如“误差函数”、“损失函数”、“代价函数”等。代价函数是深度学习的重要组成部分因为它提供了神经网络在给定任务上执行情况的衡量标准。训练深度学习模型的最终目标是最小化损失函数这意味着模型能够做出更准确的预测并更好地泛化到新数据。 例如在回归问题中采用的MSE来评估代价函数。 假定在某个批次的数据输入得到预测数据 [7.6, 8.0, 6.8, 8.9, 7.2, 8.3, 7.0, 8.8, 7.0, 7.6]。 而真实的数据为 [7.8, 8.2, 6.5, 9.1, 7.0, 8.5, 6.9, 8.7, 7.2, 7.8]。 两者其实相当的接近。 采用MSEMean squared error loss)的评估模式MSE(1/n)*Σ(yi - ŷi)^2。yi为正确值ŷi为预测值cost (1/20) * Σ(yi - ŷi)^2 0.045 损失函数一方面指导训练过程用于计算预测输出与真实输出之间的误差。神经网络使用该误差信号来调整其权重和偏差以减少损失。这个过程称为反向传播它允许神经网络从错误中学习并在未来做出更好的预测。另一方面它有助于避免过度拟合当模型的过度拟合则无法泛化到新数据。通过选择合适的损失函数可以防止过度拟合并确保模型能够很好地泛化到未见过的数据。最后损失函数的选择会对模型的性能产生重大影响。通过使用相同损失函数比较不同模型的性能可以确定哪个模型对于给定任务最有效。深度学习的不同类型任务则采用不同的损失评估函数。下面展示的这些代价函数将会在LLM背后的基础模型专栏中展开详细的讲解。 回归问题一般为均方误差(MSE)、平均绝对误差MAE损失、Huber loss和Log-cosh loss。 二元分类问题一般为Binary cross-entropy loss二元交叉熵损失、Hinge loss、Focal loss和Dice loss。 多类分类问题则为分类交叉熵损失、稀疏分类交叉熵损失、Kullback-Leibler (KL)散度损失和Sparsemax loss。 自动编码器问题均方误差(MSE)损失、二元交叉熵损失和Perceptual loss感知损失。 生成对抗网络损失则一般采用Adversarial loss、L1 or L2 loss、Wasserstein loss和Least squares loss。 物体检测问题对应的有Intersection over Union (IoU) loss、Focal loss、Smooth L1 loss、GIoU loss。 Embedding问题则采用Triplet loss、Contrastive loss、Center loss和Angular loss。
