哈尔滨 网站开发,哪个网站可以做彩经专家,做游戏网站的前景,外卖网站建设原标题#xff1a;极大似然估计法的理解指南今天讲一个在机器学习中重要的方法——极大似然估计。这是一个#xff0c;能够让你拥有拟合最大盈利函数模型的估计方法。01什么是极大似然估计法极大似然估计是 1821 年由高斯提出#xff0c;1912 年由费希尔完善的一种点估计方法…原标题极大似然估计法的理解指南今天讲一个在机器学习中重要的方法——极大似然估计。这是一个能够让你拥有拟合最大盈利函数模型的估计方法。01什么是极大似然估计法极大似然估计是 1821 年由高斯提出1912 年由费希尔完善的一种点估计方法。通俗来说极大似然估计法其实源自生活的点点滴滴比方说有一个大学生他天天上课不听讲天天上课玩手机老师盯着他看了老半天他也不知道收敛一些那通过老师几十年的教学经验的判断这小子期末一定是挂科的果不其然他真的挂科了。老师以过去大量的相同事件来判断目前正在发生的类似事件这就是极大似然。其实一开始写这个分享我准备了很多小故事希望用风趣幽默的文法把一个很抽象的数学名词尽可能的讲给所有人听让大家都能理解并接受。后来我发现用上面老师和学生的例子是最为贴切的因为也曾经这样预判过别人。好啦故事讲完了接下来就是重头菜了原理看着很清晰但实操起来需要概率论基础以及利用微分求极值。导数导数的概念的其实挺简单的这里我们不要求掌握太多的关于微积分的公式只消会求导就可以了关于基本初等函数的求导大家可以在这里查找自己需要的求导公式。复合函数的求导满足链式法则值得一提的还有关于导函数求驻点即令并求解 x所得到的 x 即为驻点驻点回代原函数可得极值。02求解极大似然估计量的四步骤终于到了本文的小高潮如何利用极大似然估计法来求极大似然估计量呢首先我们来看一个例子有一个抽奖箱里面有若干红球和白球除颜色外其他一模一样。我们每次从中拿出一个后记录下来再放回去重复十次操作后发现有七次抽到了红球三次是白球请估计红球所占的比例。从题目可以分析出本次例子满足二项分布现在可以设事件 A 为抽到红球那可以得到一个式子(1)现在的目的就是为了求这个 P(A)那要怎么求才又快又准呢如果用求导解驻点来寻找极值7 次方好像也不是很大那要是我们重复进行了一百、一千次操作呢所以优化算法势在必行下面的骚操作就是先辈们经过不懈地探求总结出来的——先取对数再求导对(1)式取对数得对上式求导整理得令该导数为零可得式子解得从这个例子中我们可以得到和《概率论与数理统计》一书中相匹配的抽象结果设总体 X 为离散型随机变量且它的概率分布为其中 θ 为未知参数和分别为 X 的一组样本和样本观察值。则参数 θ 的取值应该使得概率达到最大值今后我们称 θ 的函数为 θ 的似然函数上式是其样本取对应观察值的概率。同时如果有使得则称为 θ 的极大似然估计量。从上述一般结果的抽象描述中我们可以剥离出求解的一般步骤写出似然函数 对似然函数取对数(视情况而定)求对数似然函数对未知参数的导函数 令导函数为 0方程的解即为极大似然解03基于极大似然原理的 KNN 算法KNN即 K-近邻算法是极大似然的一个体现具体思想如下首先我们定义一个点这个点很特别它具有X轴的值Y轴的值颜色标签(这里我们使用黑、红、蓝三种颜色做个演示)然后我们多搞几个点制造出点群也是较为简陋的一个数据集接着有一个不知道自己是啥颜色的小不点溜进来了现在黑、蓝、红三个点群展开了激烈的争论到底这个小不点是属于哪一方的可是应该如何来判决呢小不点想出了一个绝妙的法子记录自身到每一个颜色点的距离然后选取其中 K 个距离值并以最大的那个距离为半径自身为圆心画一个圆计算圆内每一个颜色占总点数的概率最大概率的那个颜色标签即是小不点的颜色。当 k2 时当 k6 时我们可以发现在有效的K值内小不点有极大概率是蓝色的因此我们赋予它一个蓝色的颜色标签。至此 KNN 的基本原理已经阐明该贴一份 C 的 KNN 代码啦。但还有一个问题如何选择一个最优的 K 值这个问题留以后在《基于K-近邻算法的 KD-tree 详解》中进行系统的讲解目前一般使用交叉验证或贝叶斯先挖个坑在这里以后慢慢填啦~04KNN 算法的 C 简单实现测试图如下KNN 还有更好玩的方法哦比如 K-D tree分治思想下的模型速度更快哦。参考资料《概率论与数理统计》安书田版维基百科的极大似然估计条目——国内上不了 Wiki 百科有俩办法一个是改 host另一个你懂的。CSDN《Markdown 数学符号》——我真的写这篇被这些数学符号搞得快要原地爆炸了作者简介浅浅目前在闽南师范大学就读爱好国学与晨跑痴迷机器学习与数据挖掘Lisp爱好者。返回搜狐查看更多责任编辑
