南宁武鸣区建设局网站,广州活动策划公司排名,设计素材网站千图网,建设网站的网站首页最近打算系统学习和整理机器学习方面的知识#xff0c;会将之前看的 Andrew Ng 在 course 课程笔记以及最近看的书籍《hands-on-ml-with-sklearn-and-tf》结合起来#xff0c;简单总结下机器学习的常用算法#xff0c;由于数学功底有限#xff0c;所以可能不会也暂时不能过…最近打算系统学习和整理机器学习方面的知识会将之前看的 Andrew Ng 在 course 课程笔记以及最近看的书籍《hands-on-ml-with-sklearn-and-tf》结合起来简单总结下机器学习的常用算法由于数学功底有限所以可能不会也暂时不能过多深入公式和算法原理所以就做成一个入门系列吧。
这是本系列的第一篇也是机器学习概览的上半部分。
1 . 什么是机器学习
简单的定义机器学习是通过编程让计算机从数据中进行学习的科学和艺术。
但还有另外两种定义一个更广义的定义 机器学习是让计算机具有学习的能力无需进行明确编程。 —— 亚瑟·萨缪尔1959 和一个工程性的定义 计算机程序利用经验 E 学习任务 T性能是 P如果针对任务 T 的性能 P 随着经验 E 不断增长则称为机器学习。 —— 汤姆·米切尔1997 一个简单的例子也是经常提及的例子垃圾邮件过滤器。它可以根据垃圾邮件比如用户标记的垃圾邮件和普通邮件非垃圾邮件也称作 ham学习标记垃圾邮件。用来进行学习的样例称作训练集。每个训练样例称作训练实例或样本。在这个例子中任务 T 就是标记新邮件是否是垃圾邮件经验E是训练数据性能 P 需要定义例如可以使用正确分类的比例。这个性能指标称为准确率通常用在分类任务中。
2. 为什么要用机器学习
为什么要用机器学习方法呢
原因如下
需要进行大量手工调整或需要拥有长串规则才能解决的问题机器学习算法通常可以简化代码、提高性能。问题复杂传统方法难以解决最好的机器学习方法可以找到解决方案。环境有波动机器学习算法可以适应新数据。洞察复杂问题和大量数据
一些机器学习的应用例子
数据挖掘一些无法通过手动编程来编写的应用如自然语言处理计算机视觉、语音识别等一些自助式的程序如推荐系统等理解人类是如何学习的
3. 机器学习系统的类型
机器学习有多种类型可以根据如下规则进行分类
是否在人类监督下进行训练监督非监督半监督和强化学习 是否可以动态渐进学习在线学习 vs批量学习它们是否只是通过简单地比较新的数据点和已知的数据点或者在训练数据中进行模式识别以建立一个预测模型就像科学家所做的那样基于实例学习 vs基于模型学习
3.1 监督/非监督学习
第一种分类机器学习的方法是可以根据训练时监督的量和类型进行分类。主要有四类监督学习、非监督学习、半监督学习和强化学习。
3.1.1 监督学习
监督学习顾名思义就是带有监督的学习而监督就是体现在训练数据都是有标签的所有在训练模型的时候可以根据数据的真实标签不断调整模型从而得到一个性能更好的模型。
监督学习主要有两个常见的典型的任务–分类和回归。
3.1.1.1 分类
分类问题主要就是预测新数据的类别问题。例如上文提到的垃圾邮件过滤器就是一个二分类问题将邮件分为垃圾邮件还是正常的邮件如下图所示。 3.1.1.2 回归
回归问题主要是预测目标数值。比如给定预测房价的问题给定一些特征如房子大小、房间数量、地理位置等等然后预测房子的价格。如下图所示 注意一些回归算法也可以用来进行分类反之亦然。例如逻辑回归通常用来进行分类它可以生成一属于每个类别的概率值然后选择最大概率的类别作为预测的类别。
常用的监督学习算法有
K近邻算法线性回归逻辑回归支持向量机SVM决策树和随机森林神经网络
3.1.2 非监督学习
和监督学习相反非监督学习就是采用没有标签的数据集。
非监督主要有四个典型的任务分别是聚类、降维、异常检测和关联规则学习。
3.1.2.1. 聚类
聚类就是将数据根据一定的规则分成多个类通常是采用相似性。比如对于博客访客的聚类通过聚类算法检测相似性访客的分组如下图所示。不需要告诉算法访客是哪个类别它会自动根据访客的属性找到相互间的关系比如它可能找出访客的职业关系将访客分为有 40% 的是上班族有 50% 的是学生或者对于技术博客可能就是根据开发方向划分为前端、后台、移动开发、人工智能等等。甚至如果采用层次聚类分析算法还可以继续对上述的分类进行更加详细的划分。这种做法可以帮助博主知道自己博客的主要群体是谁更好规划自己博客发表的文章应该以什么方向为主。 可视化算法也是极佳的非监督学习案例给算法大量复杂的且不加标签的数据算法输出数据的2D或3D图像。如下图所示算法会试图保留数据的结构即尝试保留输入的独立聚类避免在图像中重叠这样就可以明白数据是如何组织起来的也许还能发现隐藏的规律。 3.1.2.2. 降维
降维的目的是简化数据、但是不能失去大部分信息。做法之一是合并若干相关的特征。例如汽车的里程数与车龄高度相关降维算法就会将它们合并成一个表示汽车的磨损。这叫做特征提取。
此外在采用机器学习算法训练的时候可以对训练集进行降维这样有助于提高训练速度降低占用的硬盘和内存空间有时候也能提高算法的性能但必须选择合适的降维算法否则性能实际上是很有可能会下降的。
3.1.2.3. 异常检测
另一个重要的非监督任务是异常检测anomaly detection。例如检测异常的信用卡转账以防欺诈检测制造缺陷或者在训练之前自动从训练数据集去除异常值。异常检测的系统使用正常值训练的当它碰到一个新实例它可以判断这个新实例是像正常值还是异常值。 3.1.2.4. 关联规则学习
最后另一个常见的非监督任务是关联规则学习它的目标是挖掘大量数据以发现属性间有趣的关系。例如假设你拥有一个超市。在销售日志上运行关联规则可能发现买了烧烤酱和薯片的人也会买牛排。因此你可以将这些商品放在一起。
下面是一些最重要的非监督学习算法
聚类 K 均值层次聚类分析Hierarchical Cluster Analysis, HCA期望最大值 可视化和降维 主成分分析Principal Component Analysis, PCA核主成分分析局部线性嵌入Locally-Linear Embedding, LLEt-分布邻域嵌入算法t-distributed Stochastic Neighbor Embedding, t-SNE 关联性规则学习 Apriori 算法 Eclat算法
3.1.3 半监督学习
一些算法可以处理部分带标签的训练数据通常是大量不带标签数据加上小部分带标签数据。这称作半监督学习。如下图所示图中灰色圆点表示没有标签的数据仅有几个三角形和正方形点表示带标签的数据。 多数半监督学习算法是非监督和监督算法的结合。例如深度信念网络deep belief networks是基于被称为互相叠加的受限玻尔兹曼机restricted Boltzmann machinesRBM的非监督组件。RBM 是先用非监督方法进行训练再用监督学习方法进行整个系统微调。
半监督学习的示例如一些图片存储服务比如 Google Photos是半监督学习的好例子。一旦你上传了所有家庭相片它就能自动识别相同的人 A 出现了相片1、5、11 中另一个人 B 出现在了相片 2、5、7 中。这是算法的非监督部分聚类。现在系统需要的就是你告诉这两个人是谁。只要给每个人一个标签算法就可以命名每张照片中的每个人特别适合搜索照片。
3.1.4强化学习
强化学习和上述三种学习问题是非常不同的。学习系统在这里被称为智能体 agent可以对环境进行观察选择和执行动作获得奖励负奖励是惩罚见下图。然后它必须自己学习哪个是最佳方法称为策略policy以得到长久的最大奖励。策略决定了智能体在给定情况下应该采取的行动 。 目前强化学习的应用还不算非常广特别是结合了深度学习的强化学习主要是应用在机器人方面当然最著名的一个应用就是 DeepMind 的 AlphaGo 了它是通过分析数百万盘棋局学习制胜策略然后自己和自己下棋。要注意在比赛中机器学习是关闭的AlphaGo 只是使用它学会的策略。
3.2 批量和在线学习
第二种分类机器学习的准则是它是否能从导入的数据流进行持续学习。也就是如果导入的是持续的数据流机器学习算法能否在不断采用新数据来训练已经训练好的模型并且新的模型对新旧数据都还有很好的性能。
3.2.1 批量学习
在批量学习中系统不能进行持续学习必须用所有可用数据进行训练。这通常会占用大量时间和计算资源所以一般是线下做的。首先是进行训练然后部署在生产环境且停止学习它只是使用已经学到的策略。这称为离线学习。
对于批量学习算法来说当获取到新数据的时候就需要重新重头训练整个数据集然后更新模型如果是应用该算法系统那就相当于需要更新系统需要停掉旧版本的系统重新上线新版本的系统。
当然一般训练、评估、部署一套机器学习的系统的整个过程可以自动进行所以即便是批量学习也可以适应改变。只要有需要就可以方便地更新数据、训练一个新版本。并且对于更新周期可以选择每 24 小时或者每周更新一次。
但是批量学习还是存在下面的缺点
实时性差即对于需要快速适应变化的系统比如预测股票变化、电商推荐系统等就不适合采用批量学习算法耗费大量计算资源用全部数据训练需要大量计算资源CPU、内存空间、磁盘空间、磁盘 I/O、网络 I/O 等等特别是训练集特别大的情况更加凸显这个问题的严峻性无法应用在资源有限的设备上比如需要自动学习的系统但是如果采用智能手机每次采用大量训练数据重新训练几个小时是非常不实际的。
3.2.2 在线学习
批量学习的缺陷和问题可以通过采用在线学习算法来解决。
在在线学习中是用数据实例持续地进行训练可以一次一个或一次几个实例称为小批量。每个学习步骤都很快且廉价所以系统可以动态地学习到达的新数据。
在线学习虽然名字带着在线两个字但是实际上它的训练过程也是离线的因此应该说是持续学习或者增量学习。
在线学习有下面几个优点
实时性好。在线学习算法非常适合接收连续流的数据然后自动更新模型实时性比批量学习更好可以节省大量计算资源。在线学习算法在学习新数据后可以扔掉训练数据从而节省大量存储空间此外训练得过程不需要加载所有训练数据对于内存、CPU 等资源的要求也大大减少实现核外学习(out-of-core learning)。当内存不足以加载训练集的时候可以采用在线学习算法多次训练每次加载一部分训练集即将一部分训练集当做新数据不断加载直到训练完所有数据。
在线学习也存在两个挑战
学习速率问题。学习速率是在线学习的一个重要参数它反映了在线学习算法有多快地适应数据的改变必须选择一个合适的学习速率因为学习速率过大系统可以很快适应新数据但是也容易遗忘旧数据比如图像分类问题训练了一个 50 类分类器后增加新的 10 类数据一旦学习速率过快系统只会记住新的 10 个类别忘记了前面的 50 个类别的数据。相反的如果你设定的学习速率低系统的惰性就会强即它学的更慢但对新数据中的噪声或没有代表性的数据点结果不那么敏感。坏数据的影响。如果采用坏数据训练会破坏系统的性能。要减小这种风险你需要密集监测如果检测到性能下降要快速关闭或是滚回到一个之前的状态。你可能还要监测输入数据对反常数据做出反应比如使用异常检测算法。
3.3 基于实例 vs 基于模型学习
第三种分类机器学习的方法是判断它们是如何进行归纳推广的。大多机器学习任务是关于预测的。这意味着给定一定数量的训练样本系统需要能推广到之前没见到过的样本。对训练数据集有很好的性能还不够真正的目标是对新实例预测的性能。
有两种主要的归纳方法基于实例学习和基于模型学习。
3.3.1 基于实例学习
基于实例学习是系统先用记忆学习案例然后使用相似度测量推广到新的例子如下图所示 这种学习算法可以说是机器学习中最简单的算法了它实际上就是采用存储的数据集进行分类或者回归典型的算法就是 KNN 算法即 K 近邻算法它就是将新的输入数据和已经保存的训练数据采用相似性度量一般采用欧式距离得到最近的 K 个训练样本并采用 K 个训练样本中类别出现次数最多的类别作为预测的结果。
所以这种算法的缺点就比较明显了
一是对存储空间的需求很大需要占用的空间直接取决于实例数量的大小二是运行时间比较慢因为需要需要与已知的实例进行比对。
3.3.2 基于模型学习
和基于实例学习相反的就是基于模型学习建立这些样本的模型然后使用这个模型进行预测。如下图所示 基于模型学习算法的流程一般如下所示
研究数据。先对数据进行分析这可能包含清洗数据、特征筛选、特征组合等等选择模型。选择合适的模型从简单的线性回归、逻辑回归到慢慢复杂的随机森林、集成学习甚至深度学习的卷积神经网络模型等等用训练数据进行训练。也就是寻找最适合算法模型的参数使得代价函数取得最小值。使用模型对新案例进行预测这称作推断。预测结果非常好就能上线系统如果不好就需要进行错误分析问题出现在哪里是数据问题还是模型问题找到问题然后继续重复这个流程。
4. 小结
最后总结下
机器学习就是让机器通过学习数据得到解决更好解决某些问题的能力而不需要确定的代码规则机器学习的应用非常广泛包含图像、自然语言处理、语音、推荐系统和搜索等方面每个方面还有更加具体详细的应用方向机器学习按照不同的划分标准可以分为不同的学习类型包括监督和非监督学习、批量和在线学习基于实例和基于模型学习最常见的监督学习任务是分类和回归常见的非监督学习任务是聚类、降维、异常值检测和关联规则学习
以上就是本文的主要内容和总结欢迎关注我的微信公众号–机器学习与计算机视觉或者扫描下方的二维码和我分享你的建议和看法指正文章中可能存在的错误大家一起交流学习和进步
