在重庆_那里可以做诚信网站认证,分销商城系统源码,营销型网站的建设与推广辅导记录,网站title的写法Softmax函数是一种将一个含任意实数的K维向量转化为另一个K维向量的函数，这个输出向量的每个元素都在(0, 1)区间内，并且所有元素之和等于1。 因此，它可以被看作是某种概率分布，常用于多分类问题中作为输出层的激活函数。这里我们以拓展逻辑回归解决多分类的角度对Softmax函…Softmax函数是一种将一个含任意实数的K维向量转化为另一个K维向量的函数，这个输出向量的每个元素都在(0, 1)区间内，并且所有元素之和等于1。 因此，它可以被看作是某种概率分布，常用于多分类问题中作为输出层的激活函数。这里我们以拓展逻辑回归解决多分类的角度对Softmax函数进行理解：
假设共有 C C C 个类别，模型对输入 x \mathbf{x} x 输出 C C C个类别的得分， 则属于类别 c c c 的后验概率为： P ( y = c ∣ x ) = e β c ⊤ x ∑ j = 1 C e β j ⊤ x P(y = c \mid \mathbf{x}) = \frac{e^{\beta_c^\top \mathbf{x}}}{\sum_{j=1}^{C} e^{\beta_j^\top \mathbf{x}}} P(y=c∣x)=∑j=1Ceβj⊤xeβc⊤x 其中 β c \beta_c βc 是第 c c c 类对应的参数向量， j j j 是求和的类别索引， x \mathbf{x} x 是输入特征向量。
为什么使用指数函数 e e e?
Softmax 函数的形式为： σ ( z ) i = e z i ∑ j = 1 C e z j , \sigma(\mathbf{z})_i = \frac{e^{z_i}}{\sum_{j=1}^{C} e^{z_j}}, σ(z)i=∑j=1Cezjezi, 其中每个得分 z i z_i zi 的形式为： z i = β i ⊤ x , z_i = \beta_i^\top \mathbf{x}, zi=βi⊤x, 表示输入特征向量 x \mathbf{x} x 与第 i i i 类对应的参数向量 β i \beta_i βi 的线性组合。
使用指数函数 e z i e^{z_i} ezi 有以下几点重要理由： 非负性：对于任意实数 z i z_i zi，都有 e z i 0 e^{z_i} 0 ezi0。这保证了 Softmax 输出的概率值始终为正数。 保持序关系：指数函数是严格单调递增函数。若 z i z j z_i z_j zizj，则 e z i e z j e^{z_i} e^{z_j} eziezj，从而保留了原始得分之间的相对大小关系。 便于求导：指数函数具有良好的可导性，且其导数形式简单 ( d d x e x = e x ) \left(\frac{d}{dx}e^x = e^x\right) (dxdex=ex)，这对基于梯度下降等优化算法非常友好。 映射到概率分布：通过除以总和 ∑ j = 1 C e z j \sum_{j=1}^{C} e^{z_j} ∑j=1Cezj，使得所有类别的输出加起来等于 1，形成一个合法的概率分布。 下面的示意图清晰地表示 Softmax 函数的原理和计算过程。以下是一个完整的推导流程示例，包括线性回归输出、Softmax 激活函数的应用，以及最终的分类结果。 ( 0.5 0 0.7 0.5 0.5 0.9 0.1 0.1 0.6 0.6 0.1 0 ) X × ( − 0.15 0.95 2.2 ) β = ( 0.5 ⋅ ( − 0.15 ) + 0 ⋅ 0.95 + 0.7 ⋅ 2.2 0.5 ⋅ ( − 0.15 ) + 0.5 ⋅ 0.95 + 0.9 ⋅ 2.2 0.1 ⋅ ( − 0.15 ) + 0.1 ⋅ 0.95 + 0.6 ⋅ 2.2 0.6 ⋅ ( − 0.15 ) + 0.1 ⋅ 0.95 + 0 ⋅ 2.2 ) = ( 1.385 2.43 1.37 − 0.095 ) 线性输出 z \overset{X}{\begin{pmatrix} 0.5 0 0.7 \\ 0.5 0.5 0.9 \\ 0.1 0.1 0.6 \\ 0.6 0.1 0 \end{pmatrix}} \times \overset{\bm{\beta}}{ \begin{pmatrix} -0.15 \\ 0.95 \\ 2.2 \end{pmatrix}} =\begin{pmatrix} 0.5 \cdot (-0.15) + 0 \cdot 0.95 + 0.7 \cdot 2.2 \\ 0.5 \cdot (-0.15) + 0.5 \cdot 0.95 + 0.9 \cdot 2.2 \\ 0.1 \cdot (-0.15) + 0.1 \cdot 0.95 + 0.6 \cdot 2.2 \\ 0.6 \cdot (-0.15) + 0.1 \cdot 0.95 + 0 \cdot 2.2 \end{pmatrix}=\overset{\text{线性输出 } \mathbf{z}}{ \begin{pmatrix} 1.385 \\ 2.43 \\ 1.37 \\ -0.095 \end{pmatrix}}
