株洲网站建设联系方式,怎么做淘宝客网站赚钱,网页设计期末大作业,网络平台的建设方案大数据与人工智能——神经网络是如何工作的#xff1f;
我们习惯于去了解所使用工具、中间件的底层原理#xff0c;本文则旨在帮助大家了解AI模型的底层机制#xff0c;让大家在学习或应用各种大模型时更加得心应手#xff0c;更加适合没有AI基础的小伙伴们。
一、GPT与神…大数据与人工智能——神经网络是如何工作的
我们习惯于去了解所使用工具、中间件的底层原理本文则旨在帮助大家了解AI模型的底层机制让大家在学习或应用各种大模型时更加得心应手更加适合没有AI基础的小伙伴们。
一、GPT与神经网络的关系
GPT想必大家已经耳熟能详当我们与它进行对话时通常只需关注自己问出的问题输入以及GPT给出的答案输出对于输出内容是如何产生的我们一无所知它就像一个神秘的黑盒子。 GPT是一种基于神经网络的自然语言处理NLP模型使用大量数据输入神经网络对模型进行训练直到模型的输出在一定程度上符合我们的预期训练成熟的模型就可以接收用户的输入并针对输入中的关键信息给出经过“思考”后的答案。想要弄明白GPT究竟是如何“思考”的或许我们可以从神经网络出发。
二、什么是神经网络
那么神经网络到底是什么呢或者说为什么是神经网络
高中的生物学告诉我们人类的神经系统由数以亿计的神经元连接而成它们是生物学上的细胞有细胞体、树突、轴突等主要结构不同神经元之间的树突与轴突通过突触与其他神经元相互连接形成复杂的人脑神经网络。 人工智能为了使机器获得接近人类的智力尝试效仿人脑的思考过程创造出了一种模仿人脑神经元之间相互连接的计算模型——神经网络。它由多层神经元组成每个神经元接收输入并产生相应的输出。根据上述定义图1中黑盒子的内部结构已初具轮廓下图中的每个圆圈都代表一个神经元神经元具有计算能力可以将计算出来的结果传递到下一个神经元。 在生物学中大脑的结构越简单智力也就越低相应地神经系统越复杂能处理的问题越多智力也就越高。人工神经网络也是如此越复杂的网络结构计算能力越强大这也是为什么发展出了深度神经网络。之所以被称为深度是因为它具有多个隐藏层即上图中纵向神经元的层数相对于传统的浅层神经网络深度神经网络具有更多的层级结构。
训练深度神经网络的过程就叫做深度学习。构建好深度神经网络之后我们只需要将训练数据输入到神经网络中它就会自发地学习数据中的特征。比如说我们想要训练一个深度神经网络来识别猫只需要将大量不同种类、不同姿势、不同外观的猫的图片输入到神经网络中让它学习。训练成功后我们将一张任意的图片输入到神经网络中它会告诉我们里面是否有猫。
三、神经网络是如何计算的
现在我们已经知道了什么是神经网络以及它的基本结构那么神经网络中的神经元是如何对输入数据进行计算的呢
在此之前我们要解决一个问题数据是如何输入到神经网络中的下面以图像和文本类型的数据为例讲解。
数据是如何输入到神经网络中的 1、图像输入处理 想象一个画面当我们把一张图片放大到一定程度时可以看到一格一格的小方块。这个小方块就称为像素点一张图片的像素点越多说明像素越高图片越清晰。每个像素点仅由一种颜色构成光学中的三原色包含红色、绿色、蓝色通过不同程度地混合这三种颜色可以产生出所有其他颜色。在RGB模型中每种颜色的强度可以用一个数值来表示通常在0到255之间。红色的强度值为0表示没有红色光255表示最大强度的红色光绿色和蓝色的强度值也是类似的。
为了存储一张图像计算机要存储三个独立的矩阵这三个矩阵分别与图像的红色、绿色和蓝色的强度相对应。如果图像的大小是256 * 256 个像素那么在计算机中使用三个256 * 256 的矩阵二维数组就能表示这张图像。可以想象将三个矩阵表示的颜色重叠堆放在一起便可显现出图像的原始样貌。
现在我们得到了图像在计算机中的表示方式那么如何将它输入到神经网络呢
通常我们会把上述三个矩阵转化为一个向量向量可以理解成1 * n行向量或n * 1列向量的数组。那么这个向量的总维数就是256 * 256 * 3结果是196608。在人工智能领域中每一个输入到神经网络的数据都被叫做一个特征那么上面的这张图像中就有196608个特征。这个196608维的向量也被叫做特征向量。神经网络接收这个特征向量作为输入并进行预测然后给出相应的结果。
2、文本输入处理 文本是由一系列字符组成的首先需要将文本划分成有意义的单词这个过程称为分词。在分词后构建一个由出现的所有单词或部分高频单词组成的词汇表也可以使用已有的词汇表。词汇表中的每个单词都会被分配一个唯一索引这样可以将文本转换为离散的符号序列方便神经网络进行处理。在输入神经网络之前通常会将文本的符号序列转换为密集的向量表示。
以文本“How does neural network works? ”为例
分词[“how”, “does”, “neural”, “network”, “works”] 构建词汇表 序列化文本数据[“how”, “does”, “neural”, “network”, “works”] --[0, 1, 2, 3, 4] 向量化 #此处以one-hot向量表示法为例: [[1, 0, 0, 0, 0] [0, 1, 0, 0, 0] [0, 0, 1, 0, 0] [0, 0, 0, 1, 0] [0, 0, 0, 0, 1]]
最后将向量序列作为输入给神经网络进行训练或预测。
至此我们已经知道了数据以怎样的形式输入到神经网络中那么神经网络是如何根据这些数据进行训练的呢
神经网络是如何进行预测的 首先明确模型训练和预测的区别训练是指通过使用已知的数据集来调整模型的参数使其能够学习到输入和输出之间的关系预测是指使用训练好的模型来对新的输入数据进行预测。
神经网络的预测其实是基于一个很简单的线性变换公式 其中_x_表示特征向量_w_是特征向量的权重表示每个输入特征的重要程度_b_表示阈值用于影响预测结果。公式中的dot()函数表示将_w_和_x_进行向量相乘。举例如果一个输入数据有_i_个特征代入公式计算结果为 如何理解这个公式呢假设你需要决策周末是否去公园划船你对此犹豫不决需要神经网络帮你做决定。决定是否去划船有三个因素天气是否晴朗温暖、地点是否远近适中、同行玩伴是否合心意。实际情况是出行那天天气为阴且偶有阵风、地点在20km外的偏远郊区、同行玩伴是心仪已久的大帅哥。这三个因素即为输入数据的特征向量x[x1, x2, x3]我们需要根据特征对结果的影响来设置特征值如“天气不好”和“地点偏远”对结果具有负向的影响我们可以把它设为-1“同行玩伴是心仪已久的大帅哥”显然对结果有大大的正向影响可以把它设为1即特征向量x[-1, -1, 1]。接下来需要根据你的偏好来设置三个特征的权重也就是每个因素对你最终决策的影响程度。如果你不在乎天气和地点只要与大帅哥同行便风雨无阻那么可以将权重设置为w[1, 1, 5]如果你是个懒狗那你可能会设置权重为w[2, 6, 3]总之权重是根据对应特征的重要程度来确定的。
我们选择第一组权重w[1, 1, 5]特征向量为x[-1, -1, 1] 并设置阈值b1假设结果z ≥ 0表示去z 0表示不去计算预测结果z (x1w1 x2w2 x3*w3) b 4 0因此神经网络给出的预测结果是去公园划船。
上面使用的公式 本质上是一种逻辑回归用于将输入数据映射到二分类的概率输出。逻辑回归通常使用一个特定的激活函数来实现将_z_值到[0, 1]的映射关系即 Sigmoid函数它将线性变换的结果通过非线性映射转化为概率值。通常大于等于0.5的概率值被视为正类小于0.5的概率值被视为负类。
Sigmoid函数的公式和图像如下所示 除了能将结果输出范围控制在0到1之间Sigmoid函数或其他激活函数另外一个重要作用就是将线性变换的结果进行非线性映射使神经网络可以学习和表示更加复杂的非线性关系。如果没有激活函数神经网络只能解决简单的线性问题加入激活函数之后只要层数足够多神经网络就能解决所有问题因此激活函数是必不可少的。
神经网络是如何进行学习的 得到预测结果后神经网络会通过损失函数判断预测结果是否准确如果不够准确神经网络会进行自我调整这就是学习的过程。
损失函数用于衡量模型的预测结果与真实标签之间的误差。通过将预测值与真实值进行比较损失函数提供了一个数值指标反映了模型当前的预测性能。较小的损失值表示模型的预测结果与真实标签更接近而较大的损失值表示预测误差较大。下面介绍一个常用于二分类问题的损失函数对数损失 神经网络学习的目的就是通过调整模型的参数使损失函数达到最小值从而改善模型的预测性能这个过程也称为模型的训练。梯度下降算法可以解决这一问题通过该算法找到合适的_w_特征的权重和_b_阈值梯度下降算法会一步一步地改变_w_和_b_的值使损失函数的结果越来越小也就是使预测结果更精准。 这里需要注意的是如果学习率设置过小则需要多次梯度下降才能到达最低点浪费机器运行资源如果设置过大则可能错过最低点直接到了图中左侧的点位因此需要根据实际情况选择一个正确的学习率。
神经网络的计算过程主要有两个步骤正向传播和反向传播。正向传播用于计算神经元的输出也就是上述对输入特征进行加权求和、并通过激活函数进行非线性变换的过程反向传播用于更新优化模型参数通过计算损失函数关于模型参数的梯度从输出层向输入层反向传播梯度的过程反向传播涉及大量的数学计算感兴趣的读者可以深入了解。
四、综述
综上所述神经网络训练和学习的过程其实就是对模型参数进行不断调优、减少预测损失值过程。经过充分训练后模型能够从输入数据中学习到有效的特征表示和权重分配从而能够对未见过的数据进行准确的预测。训练完成的神经网络模型可以应用于各种实际问题。比如在图像分类任务中卷积神经网络可以根据输入图像的特征自动识别物体或图案在自然语言处理任务中循环神经网络可以理解和生成文本在推荐系统中多层感知机神经网络可以根据用户的历史行为进行个性化推荐。
