设计网站需要用到哪些技术,怎么制作网站教程视频,七牛sdk wordpress,青岛网页设计哪个公司好本文讲述两个经典机器学习逻辑回归#xff08;Logistic Regression#xff09;和线性回归#xff08;Linear Regression#xff09;算法的异同#xff0c;有助于我们在面对实际问题时更好的进行模型选择。也能帮助我们加深对两者的理解#xff0c;掌握这两类基础模型有助… 本文讲述两个经典机器学习逻辑回归Logistic Regression和线性回归Linear Regression算法的异同有助于我们在面对实际问题时更好的进行模型选择。也能帮助我们加深对两者的理解掌握这两类基础模型有助于进一步理解更复杂的模型结构例如逻辑回归是许多复杂分类算法的基础模型之一对其深入理解有助于后续学习神经网络、支持向量机等更为复杂的模型。 如果对这两个模型的基本知识有所遗忘可以观看我之前的文章哦
【机器学习300问】15、什么是逻辑回归模型http://t.csdnimg.cn/RflnD【机器学习300问】8、为什么要设计代价函数损失函数它有什么用http://t.csdnimg.cn/3l2yg
一、逻辑回归于线性回归的区别
1区别1使用场景不同 逻辑回归和线性回归的核心区别在于它们的目的和适用场景逻辑回归处理的是分类问题线性回归处理的是回归问题这是两者的最本质的区别。
① 逻辑回归 虽然名称中有“回归”二字但实际上主要用于解决分类问题尤其是二分类问题当然也可以通过扩展应用到多分类问题上。逻辑回归模型预测的是一个事件发生的概率输出的是介于0和1之间的概率值然后可以设定一个阈值来决定最终的类别归属例如预测用户是否会点击广告、病人是否有某种疾病等。
② 线性回归 是一种回归模型用于估计因变量目标变量和一个或多个自变量之间的连续关系输出是一个连续的数值适合于解决那些需要预测具体数值的问题如预测房价、销售额、体重增长等。 简单来说线性回归关注的是“多少”的数值逻辑回归关注的是“是与否”的可能性。在模型内部逻辑回归确实采用了类似线性回归的加权求和形式但是最后会通过一个非线性函数通常是Sigmoid函数将线性部分映射到概率空间。
2区别2输出值的形式不同 此外两者还在输出值因变量的形式上有差异逻辑回归中的输出值是离散的线性回归中的输出值是连续的。
① 逻辑回归 逻辑回归模型内部采用线性函数对输入特征进行加权求和也就是线性组合但随后会对这个线性组合应用一个非线性函数通常是sigmoid函数将其映射到(0,1)之间表达的是一个概率值。由于最终的概率被设定一个阈值来决定类别例如概率大于0.5则判为正类否则为负类因此其输出值实际应用中往往转化为离散的类别标签。
② 线性回归 线性模型的输出值是连续的直接反映了预测变量与因变量之间的线性关系。线性回归的目标是找到最优的直线或超平面来拟合数据点其预测结果可以是任何实数没有限制在特定范围内因此非常适合于预测像房价、销售额、身高、体重等连续型数值变量。
3区别3损失函数不同
① 逻辑回归 通常使用均方误差MSE作为损失函数来度量预测值与实际值之间的差异。
② 线性回归 使用对数损失函数也称为交叉熵损失它度量的是实际分类和预测分类概率分布之间的差距。
二、逻辑回归于线性回归的相似之处
1相似1都使用了极大似然估计 无论是线性回归还是逻辑回归两者都使用了最大似然估计来对训练样本进行建模。只不过它们背后的概率分布假设和优化的目标函数有所不同。
① 逻辑回归 针对二分类问题由于响应变量是分类变量通常是0和1它的最大似然函数会有所不同。因变量被看作是服从伯努利分布或者多项式分布在多分类问题中对应的是多项式 logistic 回归。逻辑回归同样使用极大似然估计只是这时是在伯努利分布条件下通过最大化所有样本观测到的结果0或1出现的概率之乘积来估计模型参数。
② 线性回归 如果假设因变量响应变量遵循正态分布即满足高斯分布假设那么最小二乘估计可以被视为最大似然估计的一种特殊情况。当误差项独立同分布均值为0方差为常数时通过最大化似然函数等价于最小化误差的平方和可以得到模型参数。
2相似2都使用了梯度下降算法 两者都可以在求解参数的过程中使用梯度下降算法。梯度下降是一种通用的优化方法可用于求解各种模型的损失函数最小化问题。 不论是线性回归模型最小化均方误差Mean Squared Error, MSE还是逻辑回归模型最大化似然函数通过最小化负对数似然函数即交叉熵损失函数都可以运用梯度下降或其变种如随机梯度下降、批量梯度下降、小批量梯度下降等来迭代更新模型参数。这种迭代过程使得模型参数逐步向着减少损失函数值的方向变化从而达到优化模型的目的。
