自助建站免费自助建站网站,广州企业网站,中山专业网站建设价格,cdn接入wordpress出错1. L1范式和L2范式的区别 (1) L1范式是对应参数向量绝对值之和 (2) L1范式具有稀疏性 (3) L1范式可以用来作为特征选择#xff0c;并且可解释性较强#xff08;这里的原理是在实际Loss function 中都需要求最小值#xff0c;根据L1的定义可知L1最小值只有0#xff0c;故可以…1. L1范式和L2范式的区别 (1) L1范式是对应参数向量绝对值之和 (2) L1范式具有稀疏性 (3) L1范式可以用来作为特征选择并且可解释性较强这里的原理是在实际Loss function 中都需要求最小值根据L1的定义可知L1最小值只有0故可以通过这种方式来进行特征选择 (4) L2范式是对应参数向量的平方和再求平方根 (5) L2范式是为了防止机器学习的过拟合提升模型的泛化能力 L2正则 对应的是加入2范数使得对权重进行衰减从而达到惩罚损失函数的目的防止模型过拟合。保留显著减小损失函数方向上的权重而对于那些对函数值影响不大的权重使其衰减接近于0。相当于加入一个gaussian prior。 L1正则 对应得失加入1范数同样可以防止过拟合。它会产生更稀疏的解即会使得部分权重变为0达到特征选择的效果。相当于加入了一个laplacean prior。 2.偏倚和方差 偏倚指的是模型预测值与真实值的差异是由使用的学习算法的某些错误或过于简单的假设造成的误差它会导致模型欠拟合很难有高的预测准确率。 方差指的是不同训练数据的模型的预测值之间的差异它是由于使用的算法模型过于复杂导致对训练数据的变化十分敏感这样导致模型过拟合使得模型带入了过多的噪音。 任何算法的学习误差都可以分解成偏倚、方差和噪音导致的固定误差。模型越复杂会降低偏倚增加方差。为了降低整体的误差我们需要对偏倚方差均衡使得模型中不会有高方差或高偏倚。 4.分类问题有哪些评价指标每一种的适用场景 召回率真的正样本里经过预测有多少被预测为正样本。 准确率预测的正样本中有到少是真的正样本即预测对了多少比例 TPRTrue Positive Rate又称 灵敏度sensitivityTPRTP/(TPFN)即正例被正确预测为正例的数目/实际正例的数目 FPRFalse Positive RateFPRFP/(FPTN)即负例被错误预测为正例的数目实际负例的数目 precision查准率预测的正例中有多少是真的正例recall, 召回率查全率真的正例里有多少被预测为正例F-score即precision 和recall的调和平均值更接近二者中较小的那个F 2PR/(PR)Accuracy,分类器对整体样本的分类能力即正例分为正例负例分为负例ROCReceiver Operating Characteristic,主要用于画ROC曲线横坐标为FPR纵坐标为TPR FPR理解为负例错分的概率越低越好 TPR理解为正例正确分类的概率越高越好 ROC曲线中关于四个关键点的解释 (FPR0,TPR0)将全部正例分为负例全部负例分为负例 (FPR0,TPR1)全部划分正确即正例全部分为正例负例全部分为负例 (FPR1,TPR1)将全部负例分为正例全部正例分为正例 所以ROC曲线越靠近左上角说明分类器的效果越好。AUC Area Under ROC Curve 在实际的数据集中经常出现类不平衡现象即负样本比正样本多很多或者少很多而且测试数据中的正负样本的分布也可能随着时间变化这样ROC曲线会出现较大的波动。AUC的值就是处于ROC curve下方的那部分面积的大小。通常AUC的值介于0.5到1.0之间较大的AUC代表了较好的performance。如果模型是完美的那么它的AUG 1如果模型是个简单的随机猜测模型那么它的AUG 0.5如果一个模型好于另一个则它的曲线下方面积相对较大。另外P和R的矛盾性举例 二分类任务中只预测了一个A且正确其他预测都为B这样准确率很高但召回率很低 把所有都预测为A那么A的召回率极高但准确率极低。故而引入F-score,作为二者的调和平均值权重可以修改。 4. SVM、LR、决策树的对比 SVM既可以用于分类问题也可以用于回归问题并且可以通过核函数快速的计算 LR实现简单训练速度非常快但是模型较为简单 决策树容易过拟合需要进行剪枝等。 从优化函数上看soft margin的SVM用的是hinge loss,而带L2正则化的LR对应的是cross entropy loss另外adaboost对应的是exponential loss。所以LR对远点敏感但是SVM对outlier不太敏感因为只关心support vectorSVM可以将特征映射到无穷维空间但是LR不可以一般小数据中SVM比LR更优一点但是LR可以预测概率而SVM不可以SVM依赖于数据测度需要先做归一化LR一般不需要对于大量的数据LR使用更加广泛LR向多分类的扩展更加直接对于类别不平衡SVM一般用权重解决即目标函数中对正负样本代价函数不同LR可以用一般的方法也可以直接对最后结果调整(通过阈值)一般小数据下样本维度比较高的时候SVM效果要更优一些。 转载于:https://www.cnblogs.com/yeran/p/10485154.html
