做怎么样的网站好,免费官方网站创建,自己建服务器做网站违法,郑州网站排名外包继续是机器学习课程的笔记#xff0c;这节课会介绍归一化的内容。
过拟合问题
这节课会介绍一个在机器学习过程中经常会遇到的问题–过拟合。通常#xff0c;当我们有非常多的特征#xff0c;我们可以学习得到的假设可能非常好地适应训练集#xff0c;即代价函数可能几乎…继续是机器学习课程的笔记这节课会介绍归一化的内容。
过拟合问题
这节课会介绍一个在机器学习过程中经常会遇到的问题–过拟合。通常当我们有非常多的特征我们可以学习得到的假设可能非常好地适应训练集即代价函数可能几乎是0但是可能会不能推广到新的数据即泛化能力差对于新的数据预测结果不理想。这就是过拟合问题。而特征非常多也是发生过拟合问题的一个原因之一。
下面是一个回归问题分别有3个模型如下所示
第一个模型是一个线性模型低度拟合不能很好地适应我们的训练集第三个模型是一个四次方的模型过度拟合虽然能非常好地适应我们的训练集但在新输入变量进行预测时可能会效果不好而中间的模型则是相对最合适的模型。
在回归问题中会有过拟合问题同样在分类问题也是有过拟合的问题例子如下所示
同样是第一个模型是线性模型只能低度拟合而第三个模型是一个过渡拟合的模型对新输入变量进行预测时效果会不好只有中间的模型是最合适的模型。
那么当发生过拟合的问题时我们可以采取下面的措施来避免过拟合 1. 丢弃一些不能帮助我们正确预测的特征可以是手工选择保留哪些特征或者使用一些模型选择的算法来帮忙(例如PCA); 2. 归一化。保留所有的特征但是减小参数的大小。
归一化代价函数
在上述回归问题的例子中对于过拟合的模型是hθ(x)θ0θ1x1θ2x22θ3x33θ4x44h_\theta(x) = \theta_0 + \theta_1x_1+\theta_2x_2^2+\theta_3x_3^3+\theta_4x_4^4。
我们决定要减少θ3和θ4\theta_3和\theta_4的大小我们要做的是修改代价函数在其中对θ3和θ4\theta_3和\theta_4设置一点惩罚。这样做的话我们在尝试最小化代价时也需要将这个惩罚纳入考虑中并最终导致选择较小的θ3和θ4\theta_3和\theta_4。修改后的代价函数如下
minθ12m∑i1m((hθ(x(i)−y(i))210000θ23100000θ24)min_\theta \frac{1}{2m} \sum_{i=1}^m ((h_\theta(x^{(i)}-y^{(i)})^2 + 10000\theta_3^2+100000\theta_4^2)通过这样的代价函数选择出来的θ3和θ4\theta_3和\theta_4对预测结果的影响就会比之前小许多。
那么假如我们有许多的特征我们并不知道其中哪些特征需要惩罚我们将对所有的特征进行惩罚并且让代价函数最优化的软件来选择这些惩罚的程度。那么代价函数如下所示
J(θ)12m[∑i1m((hθ(x(i))−y(i))2λ∑j1nθ2j)]J(\theta) = \frac{1}{2m} [\sum_{i=1}^m((h_\theta(x^{(i)})-y^{(i)})^2+\lambda \sum_{j=1}^n \theta_j^2)]其中λ\lambda又称为归一化参数。 注意根据惯例我们不对θ0\theta_0进行惩罚。经过归一化处理的模型与原模型的可能对比如下图所示
这里如果选择的归一化参数λ\lambda过大则会把所有的参数都最小化导致模型变成hθ(x)θ0h_\theta(x)=\theta_0也就是上图中红色直线所示的情况造成低度拟合。
归一化线性回归
梯度下降算法
归一化线性回归的代价函数是
J(θ)12m[∑i1m((hθ(x(i))−y(i))2λ∑j1nθ2j)]J(\theta) = \frac{1}{2m} [\sum_{i=1}^m((h_\theta(x^{(i)})-y^{(i)})^2+\lambda \sum_{j=1}^n \theta_j^2)]此时如要使用梯度下降法来令代价函数最小化由于我们没有对θ0\theta_0进行归一化所以梯度下降法将会分两种情形:Repeat until convergence{ θ0:θ0−α1m∑i1m(hθ(x(i))−y(i))⋅x(i)0θj:θj−α[1m∑i1m(hθ(x(i))−y(i))⋅x(i)jλmθj](forj1,2,3,…,n)\theta_0 := \theta_0 - \alpha \frac{1}{m}\sum_{i=1}^m (h_\theta(x^{(i)})-y^{(i)})\cdot x_0^{(i)} \\\theta_j := \theta_j - \alpha [\frac{1}{m}\sum_{i=1}^m (h_\theta(x^{(i)})-y^{(i)})\cdot x_j^{(i)}+\frac{\lambda}{m}\theta_j] \\(for \; j=1,2,3,\ldots,n)} 其中对第二个更新的式子进行调整可得
θj:θj(1−αλm)−α1m∑i1m(hθ(x(i))−y(i))⋅x(i)j\theta_j := \theta_j(1-\alpha \frac{\lambda}{m}) - \alpha \frac{1}{m}\sum_{i=1}^m (h_\theta(x^{(i)})-y^{(i)})\cdot x_j^{(i)}由该式子可以看出归一化线性回归的梯度下降算法的变化在于
每次都在原有算法更新规则的基础上令θ\theta值减少了一个额外的值这是因为1−αλm11-\alpha \frac{\lambda}{m} \lt 1而后面第二项式子跟没有使用归一化时候是一样的。正规方程
同样也可以使用正规方程来求解线性回归模型。这里做如下假设
X⎡⎣⎢⎢⎢(x(1))T⋮(x(m))T⎤⎦⎥⎥⎥y⎡⎣⎢⎢(y(1))⋮(y(m))⎤⎦⎥⎥X = \left[\begin{matrix} (x^{(1)})^T \\ \vdots \\ (x^{(m)})^T \end{matrix} \right] \quad y = \left[\begin{matrix} (y^{(1)}) \\ \vdots \\ (y^{(m)}) \end{matrix} \right]这里的XX是训练集的矩阵，是一个m∗(n+1)m*(n+1)维矩阵即有m个样本每个样本有n1个特征(实际是n个特征但是每个样本都添加了一个x01x_0=1而yy则是一个(m+1)∗1(m+1)*1维的向量表示的是训练样本的标签。这里要求解归一化线性回归模型的方法如下
θ(XTXλ⎡⎣⎢⎢⎢⎢⎢⎢⎢000⋮⋯⋯10⋮⋯01⋱⋯⋯⋯⋮⋯1⎤⎦⎥⎥⎥⎥⎥⎥⎥)−1XTy\theta = (X^TX+\lambda
\begin{bmatrix}
0 1)∗(n1)(n+1)*(n+1)大小并且是一个对角线上除了第一行外是1例如当n2时这个矩阵就是[000 010 001]\begin{bmatrix}
0 0\frac{\partial}{\partial \theta_j}J(\theta) = 0所得到的不过视频中并没有给出详细的推导过程。
归一化逻辑回归
对于逻辑回归我们也可以得到一个归一化的代价函数表达式:
J(θ)−1m[∑i1my(i)loghθ(x(i))(1−y(i)log(1−hθ(x(i)))]λ2m∑j1nθ2jJ(\theta) = -\frac{1}{m} [\sum_{i=1}^my^{(i)}logh_\theta(x^{(i)})+(1-y^{(i)}log(1-h_\theta(x^{(i)}))] + \frac{\lambda}{2m} \sum_{j=1}^n \theta_j^2使用的梯度下降算法如下所示: Repeat until convergence{ θ0:θ0−α1m∑i1m(hθ(x(i))−y(i))⋅x(i)0θj:θj−α[1m∑i1m(hθ(x(i))−y(i))⋅x(i)jλmθj](forj1,2,3,…,n)
\theta_0 := \theta_0 - \alpha \frac{1}{m}\sum_{i=1}^m (h_\theta(x^{(i)})-y^{(i)})\cdot x_0^{(i)} \\\theta_j := \theta_j - \alpha [\frac{1}{m}\sum_{i=1}^m (h_\theta(x^{(i)})-y^{(i)})\cdot x_j^{(i)}+\frac{\lambda}{m}\theta_j] \\(for \; j=1,2,3,\ldots,n)} 同样看上去也是与线性回归的公式一样但是由于hθ(x)g(θTX)h_\theta(x) = g(\theta^TX),因此是与线性回归不同的。
小结
本节主要是介绍了过拟合的问题这是由于特征过多导致学习得到的模型非常拟合训练集的数据但是对于新的输入数据却得到不理想的预测结果解决这个问题的方法一个是减少特征的数量第二个就是使用归一化来减小参数的大小。
因此后面分别介绍了归一化代价函数以及线性回归和逻辑回归中梯度下降算法对于归一化代价函数的计算公式。
