站点创建成功,网站用户体验优化,如何做网站迁移,静态网站制作模板吴恩达Coursera机器学习课系列笔记课程笔记|吴恩达Coursera机器学习 Week1 笔记-机器学习基础干货|机器学习零基础#xff1f;不要怕#xff0c;吴恩达机器学习课程笔记2-多元线性回归1Logistic Regression1.1 Logistic Regression (Classification) Model之前对房价的预测不要怕吴恩达机器学习课程笔记2-多元线性回归1Logistic Regression1.1 Logistic Regression (Classification) Model之前对房价的预测其预测结果是一个连续变量属于回归模型Linear regression。接下来要讲的是分类模型Logistic regression即其预测结果是一个离散变量有固定的取值分布。分类问题又分成了“二分类”和“多分类”先讲简单的“二分类”。例子判断一个病人是否罹患癌症。一个二分类问题是或者否。sigmoid函数形状如下现在可以用这个[01]之间的值来表示罹患癌症的概率了设定一个阈值(threshold)如果h(x)threshold则罹患癌症反之。注意这里的sigmoid只是起到了映射到(0, 1)范围的作用。逻辑回归的边界依然是 θ^(T)xthreshold从这个边界中看到这样的逻辑回归是一个线性分类器。用等高线图画出来就是这样的 三维图是这样的画图的代码如下% Here is the grid rangeu linspace(30, 100, 100);v linspace(30, 100, 100);z zeros(length(u), length(v));% Evaluate z theta*x over the gridfor i 1:length(u)for j 1:length(v)t [1, u(i), v(j)];z(i,j) sigmoid(t * theta);endendz z; % important to transpose z before calling contour% Plot z 0% Notice you need to specify the range [0, 0]contour(u, v, z, [0.5, 0.5], LineWidth, 2)xlabel(Exam 1 score)ylabel(Exam 2 score)hold off;figure;surf(u, v, z)接下来就是loss function的设置了。在logistic regression中不再使用平方差来表示error了转而使用negative log来表示error解释为什么使用negative log首先说明loss function的定义当预测结果越接近真实结果时loss越小。只要函数可以满足这一点就可以成为loss function逻辑回归一般情况下是线性分类器但是在特定的情况下可以转变成非线性分类器如下图 1.3 Multiclass Classification ModelOK, OK…但是还有很多情况分类不止“是”、“否”两种。下图左边是二分类的情况右边是多分类的情况。对于多分类问题可以转化成多个二分类问题来解决如下图先取一种类别把其他的都归并为一类。然后再去一种类别把剩余的归并为一类……直至所有类别都遍历完。最后对于一个x有k个h(x)分别代表k个类概率取最大h(x)所属的类别即可。2Regularization2.1 Overfitting Problemoverfitting就是在训练集中拟合的特别好或者说是过分好了导致在新数据上的预测的效果不好。如下图左边没有overfitting右边的overfitting2.2 Regularization Intuition下面两幅图中左边的没有overfitting右边的overfitting了原因就是多了最后θ3和θ4这两项使得整个模型变复杂了。所以我们需要在cost function中增加一项惩罚项penalty我们的目的就是让θ3和θ4尽可能的小最好接近于0这样就可以消除这两项的干扰了。2.3 Regularization Term总而言之λ是用来控制惩罚项的影响因子越大就是让惩罚项越发挥作用。最后在gradient descent中把这一项也求导了就好了。
