上海网站建设服务是什么意思,信用中国 网站 支持建设,网址关键词查询,网站建设经费申请pytorch各种激活函数总结 0.思维导图预览1. ReLU函数2. Sigmoid函数3. Softmax函数4. Tanh函数5.#xff08;学习后更新#xff09; 0.思维导图预览 1. ReLU函数
ReLU#xff08;Rectified Linear Unit#xff09;线性整流函数 其公式为#xff1a; f ( x ) M a x ( 0 … pytorch各种激活函数总结 0.思维导图预览1. ReLU函数2. Sigmoid函数3. Softmax函数4. Tanh函数5.学习后更新 0.思维导图预览 1. ReLU函数
ReLURectified Linear Unit线性整流函数 其公式为 f ( x ) M a x ( 0 , x ) f(x)Max(0,x) f(x)Max(0,x) 它将小于零的输入映射为0而将大于等于零的输入保持不变。在PyTorch中可以使用torch.nn.ReLU类来表示。 ReLU函数求导简单方便但是当反向传播过程中权值更新小于0时导致该处的导数始终为0无法更新权值会进入失活状态。 AlexNet就用的是ReLU函数
2. Sigmoid函数
Sigmoid函数将输入值压缩到0和1之间在PyTorch中可以使用torch.nn.Sigmoid类来表示。 其公式为 f ( x ) 1 1 e − x f(x)\frac{1}{1\mathcal{e}^{-x}} f(x)1e−x1 Sigmoid函数的优点是输出范围在(0, 1)之间可以将输入映射到概率形式或者用于二分类问题中。 缺点是激活函数饱和时梯度非常小网络层数较深时容易出现梯度消失。
3. Softmax函数
Softmax函数将输入值转换为概率分布用于多分类问题。在PyTorch中可以使用torch.nn.Softmax类来表示。Softmax函数将原始的实数向量转换为表示概率分布的向量使每个元素的取值范围≥0并且所有元素的和等于1。 其公式为
对于输入向量 z ( z 1 , z 2 , … , z k − 1 ) \mathbf{z} (z_1, z_2, \ldots, z_{k-1}) z(z1,z2,…,zk−1)Softmax函数对应的输出向量 y ( y 1 , y 2 , … , y n ) \mathbf{y} (y_1, y_2, \ldots, y_n) y(y1,y2,…,yn) 的计算公式为 y i e z i ∑ j 0 k − 1 e z j y_i \frac{e^{z_i}}{\sum_{j0}^{k-1} e^{z_j}} yi∑j0k−1ezjezi
其中 e e e 是自然对数的底。 y i y_i yi 表示输入向量 z \mathbf{z} z 属于类别 i i i 的概率。 4. Tanh函数
Tanh函数将输入值压缩到(-1,1)之间它在中间层中能够产生非线性的激活输出并且保留了负数的信息经常被用于数据归一化的过程将数据标准化到一个更小的范围使得数据更易处理和比较。 Sigmoid函数是压缩到(0,1)之间。 在PyTorch中可以使用torch.nn.Tanh类来表示。 其公式为 f ( x ) e x − e − x e x e − x f(x)\frac{\mathcal{e}^{x}-\mathcal{e}^{-x}}{\mathcal{e}^{x}\mathcal{e}^{-x}} f(x)exe−xex−e−x
5.学习后更新
