天堂网长尾关键词挖掘网站,怎样利用网站做淘宝客,凡客网,如何结合搜索检索与seo推广绪论
人工智能并非新的术语#xff0c;这个概念由来已久#xff0c;大约从80年代初开始#xff0c;计算机科学家们开始设计可以学习和模仿人类行为的算法。人工智能的发展曲折向前#xff0c;伴随着数据量的上涨、计算力的提升#xff0c;机器学习的火热#xff0c;以及…绪论
人工智能并非新的术语这个概念由来已久大约从80年代初开始计算机科学家们开始设计可以学习和模仿人类行为的算法。人工智能的发展曲折向前伴随着数据量的上涨、计算力的提升机器学习的火热以及深度学习的爆发人工智能迎来快速发展迅速席卷全球。
人工智能的研究领域也在不断扩大已经涵盖专家系统、机器学习、进化计算、模糊逻辑、计算机视觉、自然语言处理、推荐系统等多个领域。可以毫不夸张地说人工智能技术正在像100多年前的电力一样即将改变每个行业。每个企业都不希望在这次浪潮中掉队如何才能利用AI帮助自己的企业进行转型呢AI领域著名学者吴恩达在前不久针对该问题发表了《AI转型指南》。
机器学习作为实现人工智能的一种方法对于人工智能的发展起着十分重要的作用。而深度学习作为机器学习中的一种技术更是摧枯拉朽地实现了各种任务极大推动了各个领域朝着人工智能的方向迈进。下面这张图非常形象地概况了三者之间的关系。 总之人工智能、机器学习、深度学习已经深入到企业生产和个人生活的方方面面。能够熟练运用机器学习解决生活生产当中的应用掌握人工智能技术对于企业和个人的长远发展变得至关重要。 1. 机器学习算法
机器学习(Machine Learning, ML)是一门多领域交叉学科涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习算法根据解决的任务类型可以分为分类算法、回归算法、聚类算法等深度学习作为机器学习中比较特殊的一类算法是神经网络算法的延伸和扩展。
机器学习大致可以分为监督学习和非监督学习。监督式学习由已有的数据包括输入输出训练模型函数然后把新的输入数据带入模型函数预测数据输出。函数的输出如果是一个连续的值则称为回归分析如果输出是离散数值则称作分类。与监督学习相对应的是无监督学习此时数据没有标注信息聚类是典型的无监督学习。
阿里云机器学习平台PAIPlatform of Artificial Intelligence为传统机器学习提供上百种算法和大规模分布式计算的服务为深度学习客户提供单机多卡、多机多卡的高性价比资源服务支持最新的深度学习开源框架帮助开发者和企业客户弹性扩缩计算资源轻松实现在线预测服务。
PAI-Studio封装常用机器学习算法及丰富的可视化组件用户无需代码基础通过拖拉拽即可训练模型。 如下图示在阿里云机器学习平台开通账号之后进入管理控制台—可视化建模根据自己的需要新建项目进入机器学习即可进入到PAI-Studio进行使用。 PAI-Studio上通过拖拽算法组件构建实验进行模型训练训练好的模型可以一键部署到PAI-EAS。机器学习模型在线部署功能可以将您的模型一键部署为Restful API您可以通过HTTP请求的方式进行调用使用说明文档。
PAI-DSWData science workshop是专门为算法开发者准备的云端深度学习开发环境用户可以登录DSW进行代码的开发并运行工作。目前DSW内置了PAI团队深度优化过的Tensorflow框架同时也可以通过打开console对话窗口自行安装需要的第三方库。 1.1 分类算法
分类算法应用广泛比如新闻内容分类、商品类目预测、文本情感分析、邮件垃圾过滤、图像分类、异常检测等。常见的分类算法有k近邻、朴素贝叶斯、决策树、SVM、利用adaboost增强弱分类器等。
k近邻算法(kNN)简单地说是采用测量不同特征值之间距离的方法进行分类。kNN的工作原理是存在一个样本集合也称作训练样本集并且样本集中每个数据都存在标签即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后将新数据的每个特征与样本集中数据对应的特征进行比较然后算法提取样本集中特征最相似数据(最近邻)的分类标签。一般来说我们只选择样本数据集中前k个最相似的数据这就是k-近邻算法中k的出处。最后选择k个最相似数据中出现次数最多的分类作为新数据的分类。
决策树比较容易理解以下图为例根据某个人的特征(年龄、是否学生、信用情况)来进行分类判断是否可以放贷款给他。生成的决策树如下图示。决策树思想实际上就是寻找最纯净的划分方法主要通过决策树的构造和剪枝。 尽管有剪枝等等方法一棵树的生成肯定还是不如多棵树因此就有了随机森林解决决策树泛化能力弱的缺点。根据训练数据,构造m个CART决策树这m个CART形成随机森林通过投票表决结果决定数据属于哪一类投票机制有一票否决制、少数服从多数、加权多数这就是随机森林的方法。
朴素贝叶斯其中的朴素一词的来源就是假设各特征之间相互独立。这一假设使得朴素贝叶斯算法变得简单但有时会牺牲一定的分类准确率。贝叶斯公式定义如下 公式的右边是总结历史公式的左边是预知未来如果把Y看出类别X看出特征P(Yk|X)就是在已知特征X的情况下求Yk类别的概率而对P(Yk|X)的计算又全部转化到类别Yk的特征分布上来。朴素贝叶斯算法逻辑简单容易实现计算过程中的时间空间开销也比较小。朴素贝叶斯假设属性之间相互独立这种假设在实际过程中往往是不成立的。在属性之间相关性越大分类误差也就越大。
支持向量机Support Vector Machine, SVM的基本模型是在特征空间上找到最佳的分离超平面使得训练集上正负样本间隔最大。SVM是用来解决二分类问题的有监督学习算法在引入了核方法之后SVM也可以用来解决非线性问题。一般SVM有下面三种1硬间隔支持向量机线性可分支持向量机当训练数据线性可分时可通过硬间隔最大化学得一个线性可分支持向量机。2软间隔支持向量机当训练数据近似线性可分时可通过软间隔最大化学得一个线性支持向量机。3非线性支持向量机当训练数据线性不可分时可通过核方法以及软间隔最大化学得一个非线性支持向量机。
AdaBoost每种分类算法都有自己的优缺点我们把分类效果不是很好的分类器叫做弱分类器分类效果好的分类器叫做强分类器。Adaboost算法基本原理就是将多个弱分类器弱分类器一般选用单层决策树进行合理的结合使其成为一个强分类器。Adaboost采用迭代的思想每次迭代只训练一个弱分类器训练好的弱分类器将参与下一次迭代的使用。也就是说在第N次迭代中一共就有N个弱分类器其中N-1个是以前训练好的其各种参数都不再改变本次训练第N个分类器。其中弱分类器的关系是第N个弱分类器更可能分对前N-1个弱分类器没分对的数据最终分类输出要看这N个分类器的综合效果。
上面依次对常用的分类算法进行了介绍PAI-Studio中也提供了相应的算法组件如果想要使用可以直接拖拽对应组件配置相关参数即可。
1.2 回归问题
回归与分类的不同就在于其目标变量是连续数值型。回归分析根据已知数据训练出模型即回归方程对新的数据预测时只需要代入到模型计算出预测数值。回归几乎可以应用到任何事情比如预测商品价格、股价趋势预测、预测明日气温、预测某种情况发生概率可根据概率大小转化为分类问题、预测广告点击率进行排序等。比较常用的回归方法主要有线性回归和逻辑回归。
线性回归比较简单描述了自变量和因变量之间的简单线性关系我们的目标是通过特征的组合来学习到要预测函数式线性式我们用X1X2..Xn 去描述feature里面的分量我们可以做出一个估计函数 θ在这儿称为参数在这的意思是调整feature中每个分量的影响力。如果我们令X0 1就可以用向量的方式来表示了 我们也需要一个机制去评估我们θ是否比较好所以说需要对我们做出的h函数进行评估一般这个函数称为损失函数loss function或者错误函数(error function)描述h函数不好的程度在下面我们称这个函数为J函数我们要做的就是调整θ以使得J(θ)取得最小值。如下所示 其中最常用的方法是梯度下降法。
逻辑回归logistic回归本质上是线性回归只是在特征到结果的映射中加入了一层函数映射即先把特征线性求和然后使用函数g(z)将最为假设函数来预测。g(z)可以将连续值映射到0和1上。logistic回归的假设函数如下线性回归假设函数只是 logistic回归还可以用来分类0/1问题也就是预测结果属于0或者1的二值分类问题。
此外常用的回归方法还有对于线性回归做了约束变化的岭回归非线性的树回归等。
当然PAI-Studio中也提供了这些算法组件。
1.3 聚类算法
聚类算法是比较典型的非监督学习。聚类算法的应用也是十分广泛的在新闻热门话题聚类、图像分割、用户画像分析聚类进行个性化推荐、基因工程等多个领域都有很好的应用。聚类算法直观地理解就是将相似的对象归到同一个簇中将不相似的对象归到不同簇簇内的对象越相似聚类的效果越好。常见的聚类算法有K-means、K-medoids、DBSCAN、层次聚类、谱聚类等。
K-means聚类是发现给定数据集的k个簇簇个数k是用户提前设定的超参数每一个簇通过其质心即簇中所有点的中心来描述。K-means的工作流程是这样的1) 随机确定k个初始点作为质心。 2将数据集中的每个点分配到一个簇中具体就是为每个点找距其最近的质心并将其分配给该质心所对应的簇。3更新每个簇的质心即更新为该簇所有点的平均值。4重复步骤2和3直至收敛即满足迭代次数或者质心基本不再变化。K-medoids算法是K-means算法的变型其中最主要的不同在于以下两点第1步骤中Kmedoids选取的质心必须是某些样本点的值而不是任意值更新质心的时候需要先计算cluster内所有样本点到其中一个样本点的曼哈顿距离和(绝对误差)然后选出使cluster绝对误差最小的样本点作为质心。
K-medoids聚类可以理解为K-means聚类的变种其中K-means的初始簇中心点是随机的K-medoids的初始中心点必须是样本中的点K-means在迭代过程中重新计算质心是计算的平均值而K-medoids则是先计算所有样本点到其中一个样本点的曼哈顿距离之和绝对误差然后选择使绝对误差最小的样本点作为质心。此外K-medoids聚类的时间复杂度更高对于大规模的数据性能更好最后聚类的簇中心点也一定是样本点中的一个。
DBSCAN聚类英文全写为Density-based spatial clustering of applications with noise是一种基于数据密度的无监督聚类算法。 在聚类空间中的一定区域内用给定的半径阈值和数量阈值筛选出核心点及核心点的领域点通过密度可达、密度相连的定义实现数据点的聚类。 在 2014 年DBSCAN在数据挖掘会议 KDD 上获颁发了 Test of Time award该奖项是颁发给一些于理论及实际层面均获得持续性的关注的算法。和传统的K-Means算法相比DBSCAN最大的不同就是不需要输入类别数k当然它最大的优势是可以发现任意形状的聚类簇而不是像K-Means一般仅仅使用于凸的样本集聚类。同时它在聚类的同时还可以找出异常点这点和BIRCH算法类似。一般来说如果数据集是稠密的并且数据集不是凸的那么用DBSCAN会比K-Means聚类效果好很多。如果数据集不是稠密的则不推荐用DBSCAN来聚类。
此外常用的聚类算法还有EM聚类、谱聚类等其中PAI-Studio提供了常用的聚类算法组件。
1.4 深度学习
神经网络是深度学习的基础深度学习就是包含多个隐藏层(hidden layer)的深度神经网络。神经网络的基本组成单元叫做神经元(neuron)感知器(perceptron)是一种早期的神经元结构在上个世纪五六十年代就被提出来了如下图示通过下图可以理解神经元的基本结构和原理。 神经网络是多个神经元连接起来构成如下图示。 深度神经网络比浅层神经网络有更多结构上的优势能够进行更多层次的抽象在NLP、图像、语音等领域都有广泛的应用。深度学习是一个框架每个领域每个具体场景都可以设计相应的网络结构来解决相应的问题。深度学习的算法也非常多比如CNN、RNN、LSTM等都属于深度学习比较常用的算法框架。最近几年深度学习发展迅速各种学习框架层出不穷其中有很多比较前沿也比较火爆的算法提出比如GAN(生成对抗网络)、Bert模型等。
在PAI上想实现深度学习的解决方案有两种方法一种是利用PAI-Studio提供的框架Tensorflow和Caffee在该组件上传入相应的python源码并配置相应输入输出和参数即可利用阿里云背后支撑的资源进行深度学习的训练如下图。 另外一种深度学习解决方案是利用PAI-DSW(Data science workshop)该方案是专门为算法开发者提供的云端深度学习开发环境详情及使用可参考使用文档。
pai上的深度学习解决方案
1.5 小结
PAIPlatform of Artificial Intelligence: http://pai.alibaba-inc.com作为阿里巴巴集团的机器学习算法平台可以支持客户结合各自业务场景打造专业、高效的智能解决方案。
2. 实战案例
结合上一节介绍PAI为机器学习提供了高效的解决方案其中主要可分为PAI-Studio、PAI-EAS、PAI-DSW三个部分PAI-Studio提供了可视化的机器学习组件简单拖拽及配置即可构造机器学习解决方案生成的算法模型可在PAI-EAS部署提供在线预测服务。PAI-DSW则为开发者提供了整套的云端深度学习开发环境算法开发者可以非常方便的在该环境进行开发实战。
接下来让我们通过具体的实战案例来进一步了解机器学习、PAI、实际案例是如何完美结合的。
2.1 文章一 商品价格预测
某收藏爱好者欲购买某知名品牌的积木套装。为了了解现在的市场行情他收集了关于该品牌积木的生成日期是否为全新的积木数量原始价格等特征和已交易的价格。他想要根据这些数据来预估现在市场上正在出售的积木价格才可以选择合适的价格购入但他发现经凭借经验来预测这些价格往往不够准确而且繁琐重复的工作相当耗费精力。
利用PAI进行商品价格预测文章链接https://yq.aliyun.com/articles/692330?spma2c4e.11155435.0.0.198c3312GZLeWS
2.2 文章二谁最具魅力
单身王女士经常逛某相亲网站前前后后浏览了1000个男生并给他们打标了不喜欢、一般喜欢、很喜欢三个类别。该相亲网站的工程师决定开发一个算法推荐模型给王女士依次推荐很喜欢一般喜欢的男生。并可以将这个算法模型应用到网站吸引更多的单身青年注册使用并可以找到自己喜欢的男/女朋友。
文章链接https://yq.aliyun.com/articles/692343?spma2c4e.11153959.0.0.6fd17158ySDeJO
2.3 文章三手把手实现商品推荐
在生活中我们经常给朋友推荐一些自己喜欢的东西也时常接受别人的推荐。怎么能保证推荐的电影或者美食就是朋友喜欢的呢一般来说你们两个人经常对同一个电影或者美食感兴趣那么你喜欢的东西就很大程度上朋友也会比较感兴趣。在大数据的背景下算法会帮我寻找兴趣相似的那些人并关注他们喜欢的东西以此来给我们推荐可能喜欢的事物。
文章链接https://yq.aliyun.com/articles/692349?spma2c4e.11155435.0.0.9ea93312sjbx5D
2.4 文章四利用GAN自动生成二次元头像
GAN(生成对抗网络)主要的应用是自动生成一些东西包括图像和文本等比如随机给一个向量作为输入通过GAN的Generator生成一张图片或者生成一串语句。Conditional GAN的应用更多一些比如数据集是一段文字和图像的数据对通过训练GAN可以通过给定一段文字生成对应的图像。
如何利用GAN自动生成二次元头像文章链接https://yq.aliyun.com/articles/692342?spma2c4e.11153959.0.0.78c47158aCVib7
3. 常见问题
阿里云机器学习平台https://help.aliyun.com/product/30347.html?spma2c4g.11186623
【待补充】 原文链接 本文为云栖社区原创内容未经允许不得转载。
