iis 浏览网站,潍坊网站建设电话,网站建设昆明哪家好,一家专门做鞋子的网站文章目录十 岭回归10.1 岭回归的接口10.2 岭回归处理房价预测十 岭回归
岭回归是线性回归的改进#xff0c;有时候迫不得已我们的参数确实不能少#xff0c;这时候过拟合的现象就可能发生。为了避免过拟合现象的发生#xff0c;既然不能从减少参数上面下手#xff0c;那我…
文章目录十 岭回归10.1 岭回归的接口10.2 岭回归处理房价预测十 岭回归
岭回归是线性回归的改进有时候迫不得已我们的参数确实不能少这时候过拟合的现象就可能发生。为了避免过拟合现象的发生既然不能从减少参数上面下手那我们转而在线性回归的最后面添加一个罚项罚项有时也被称为正则化项其主要用于控制模型的平滑度当模型参数越多模型越复杂那么罚项惩罚值就越大。
罚项可以是L1范数也可以是L2范数对于使用L1范数的回归我们一般叫做Lasso线性回归。而对于使用L2范数的回归我们一般叫做岭回归。在这一讲中我们主要讲述岭回归。
10.1 岭回归的接口
Ridge回归通过对系数的大小施加惩罚来解决普通线性模型使用最小二乘法带来的一些问题。 sklearn.linear_model.Ridge(alpha 1.0,fit_intercept True,solver “auto”,normalize False) 具有L2正则化的线性回归alpha正则化力度也叫λλλλ取值为0~1或 1~10solver:会根据数据自动选择优化方法SAG如果数据集、特征都比较大那么建议选择sag作为优化策略normalize数据是否进行标准化normalize False:可以在fit之前调用preprocessing.StandardScaler标准化数据Ridge.coef_回归权重Ridge.intercept_回归偏置 从图上来看当alpha数值越高则惩罚力度越大权重系数越小曲线越平滑。 10.2 岭回归处理房价预测
让我们用岭回归来预测波士顿房价吧。
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.linear_model import Ridge
from sklearn.metrics import mean_squared_errordef load_data():加载数据集boston_data load_boston()x_train, x_test, y_train, y_test train_test_split(boston_data.data, boston_data.target, random_state22)return x_train, x_test, y_train, y_testdef ridge_linear_model():用岭回归做预测x_train, x_test, y_train, y_test load_data()# 预估器estimator Ridge(normalizeTrue)estimator.fit(x_train, y_train)# 得出模型print(权重系数为\n, estimator.coef_)print(偏置为\n, estimator.intercept_)# 模型评估y_predict estimator.predict(x_test)print(预测房价\n, y_predict)error mean_squared_error(y_test, y_predict)print(岭回归——均方误差为\n, error)ridge_linear_model()
