做暧暧网站在线观看,摄影网站源码,wordpress 支付宝,微信开发者工具代码目录
逻辑函数#xff08;Logistic Function#xff09;
逻辑回归模型的假设函数
从逻辑回归模型转换到最大似然函数过程
最大似然函数方法
梯度下降 逻辑函数#xff08;Logistic Function#xff09;
首先#xff0c;逻辑函数#xff0c;也称为Sigmoid函数#…目录
逻辑函数Logistic Function
逻辑回归模型的假设函数
从逻辑回归模型转换到最大似然函数过程
最大似然函数方法
梯度下降 逻辑函数Logistic Function
首先逻辑函数也称为Sigmoid函数是一个常见的S形函数。其数学表达式为 这个函数的特点是其输出值总是在0和1之间。这个性质使得Sigmoid函数非常适合用来进行二分类在机器学习中它可以将任意实数映射到(0, 1)区间用来表示某个事件发生的概率。例如在逻辑回归模型中我们可以用它来预测一个实例属于某个类别的概率。
def sigmoid(z):return 1 / (1 np.exp(-z))
可视化
nums np.arange(-10, 10, step1)fig, ax plt.subplots(figsize(12,8))
ax.plot(nums, sigmoid(nums), r)
plt.show() 逻辑回归模型的假设函数
逻辑回归模型的假设函数将输入特征X和参数θ的线性组合通过逻辑函数转换为一个概率值其公式为 这里θ^T X是参数θ和输入特征X的点积它将多个输入特征线性组合成一个实数值然后通过逻辑函数映射到(0, 1)区间。这个映射的结果可以被解释为在给定输入特征X的条件下预测结果为正类的概率。
逻辑回归模型通过优化参数θ来最大化观测数据的似然函数从而找到最佳的决策边界以区分不同的类别。在实际应用中逻辑回归是一个非常强大且广泛使用的分类算法特别是在二分类问题中。
从逻辑回归模型转换到最大似然函数过程
逻辑回归模型的假设函数定义为 为了找到最佳的参数θ我们使用最大似然估计。对于二分类问题给定的数据集其中我们可以写出似然函数 这个似然函数表示了在给定参数θ和输入X的条件下观察到当前数据集y的概率。最大化这个似然函数等价于最大化观测数据在当前模型参数下出现的概率。
为了便于计算通常对似然函数取对数得到对数似然函数 最大化对数似然函数相对简单因为对数函数是单调的且对数似然函数是关于θ的凸函数容易通过梯度下降等优化算法找到全局最优解。
在机器学习中我们通常通过最小化损失函数而不是最大化似然函数来训练模型。因此我们将最大化对数似然问题转化为最小化损失函数问题。损失函数是对数似然函数的负值平均化到每个样本上即 这就是逻辑回归中使用的损失函数也称为对数损失或交叉熵损失。通过最小化这个损失函数我们可以找到最佳的模型参数θ使模型对训练数据的拟合程度最高即最可能产生观测数据的参数。
最大似然函数方法
由于乘除法不太好优化计算通常通过对数的方法进行优化求解损失函数如下 def cost(theta, X, y):theta np.matrix(theta)X np.matrix(X)y np.matrix(y)first np.multiply(-y, np.log(sigmoid(X * theta.T)))second np.multiply((1 - y), np.log(1 - sigmoid(X * theta.T)))return np.sum(first - second) / (len(X))
梯度下降
实际上这里只计算量梯度并没有下降
def gradient(theta, X, y):theta np.matrix(theta)X np.matrix(X)y np.matrix(y)parameters int(theta.ravel().shape[1])grad np.zeros(parameters)error sigmoid(X * theta.T) - yfor i in range(parameters):term np.multiply(error, X[:,i])grad[i] np.sum(term) / len(X)return grad
