电子商务网站建设经费,成都文创产品设计公司,网站会更改吗,深圳网站关键词排名推广统计学习包括监督学习、无监督学习、半监督学习和强化学习。 参考书是李航的《统计学习方法》#xff0c;该书主要讨论监督学习。 统计学习作为一个研究领域#xff0c;主要包括统计学习方法、统计学习理论和统计学习应用。统计学习方法主要关注的问题是设计新的学习方法。
… 统计学习包括监督学习、无监督学习、半监督学习和强化学习。 参考书是李航的《统计学习方法》该书主要讨论监督学习。 统计学习作为一个研究领域主要包括统计学习方法、统计学习理论和统计学习应用。统计学习方法主要关注的问题是设计新的学习方法。
一、统计学习方法的三要素
统计学习方法主要包括模型的假设空间、模型选择的准则和模型学习的算法简称为模型、策略和算法。 假设空间是一个很重要的概念监督学习是学习一个从输入到输出的映射该映射由模型来表示换言之学习的目的是找到最好的一个模型。模型属于从输入空间到输出空间的映射的集合而该集合就是假设空间。假设空间的范围大于等于模型的空间。 实现一个统计学习方法的步骤如下
得到一个有限的训练数据集合确定包含所有可能模型的假设空间即学习模型的集合确定模型选择的准则即学习的策略如何衡量一个模型的好坏实现求解最优模型的算法即学习的算法通过学习方法选择最优模型利用最优模型对新数据做预测和分析。
二、监督学习的三要素分析
2.1 模型
在监督学习过程中模型包括概率模型和非概率模型前者所要学习的是条件概率分布后者学习的是决策函数。监督学习模型的假设空间包含所有可能的条件概率分布或决策函数假设空间中的模型一般有无穷多个。 总之由决策函数表示的模型是非概率模型由条件概率分布表示的模型是概率模型。 2.2 策略
首先引入两个概念损失函数和风险函数损失函数loss function度量模型一次预测的好坏风险函数risk funciton度量模型平均意义下预测的好坏。 风险函数又称为期望损失expected loss因为它相当于是平均意义上的损失。 损失函数是度量预测错误的程度不同的损失函数有不同的特性统计学习中的损失函数有 0-1 损失函数平方损失函数绝对损失函数对数损失函数等。损失值越小模型就越好而学习的目标是找出整体风险平均损失最小的模型。
使风险最小有两种策略这也是监督学习的两个基本策略经验风险最小化empirical risk minimization, ERM和结构风险最小化structural risk minimization, SRM。风险最小就是使模型的平均损失最小一个直观的想法是随着训练样本数目的增加经验风险会趋近于期望风险即理想值但这是不现实的且若训练样本数较少还存在过拟合问题。 经验风险最小化的例子极大似然估计 因此为了避免在数据量较少时出现过拟合现象又提出了结构风险最小化它等价于正则化。结构风险在经验风险的基础上加入表示模型复杂度的正则化项或惩罚项如加入模型复杂度的惩罚项模型越复杂其值越大从而使结构风险也相应变大。 结构风险最小化的例子贝叶斯估计 2.3 算法
算法就是指用何种计算方法求解最优模型本质上就是求解使风险最小的最优化问题。若该最优化问题有显式的解析解那么比较简单但通常解析解不存在则需要数值解法求解。
