最近的国际新闻热点,网站内容优化方法有哪些内容,大连微信网站建设,大约多少钱回顾在文章《朴素贝叶斯》中#xff0c;小夕为大家介绍了朴素贝叶斯模型的基本知识#xff0c;并且得出了朴素贝叶斯是利用联合概率P(x1,x2,x3...xn,y)来确定某个样本为某个类别的概率#xff0c;进而利用最大后验概率#xff08;MAP#xff09;来决策类别。也就是说… 回顾在文章《朴素贝叶斯》中小夕为大家介绍了朴素贝叶斯模型的基本知识并且得出了朴素贝叶斯是利用联合概率P(x1,x2,x3...xn,y)来确定某个样本为某个类别的概率进而利用最大后验概率MAP来决策类别。也就是说朴素贝叶斯的假设函数如下 其中假设有c个类别则i1,2,...,c。补充argmax大家应该都熟悉了吧意思就是返回使函数值最大的参数这里的函数即P(X,yi)参数即yi。 其中根据朴素贝叶斯的条件独立性假设联合概率被简化为 我们想啊朴素贝叶斯也是个模型神经网络也是个模型。然而神经网络的粉丝们就给神经网络画出了图还画的辣么好看~而作为朴素贝叶斯粉丝的小夕当然也要给朴素贝叶斯模型画个图啊把我家朴素贝叶斯描述的活灵活现漂漂亮亮嗒~画像如图小夕将每一个随机变量即X中的每个维度xi和类别y画成一个圈圈这个圈圈就代表这个随机变量。 然后用一条有向边来表示随机变量之间的条件关系比如P(x1|y)它表示“如果能观测到y那么x1的概率分布函数就确定了当然了x1的概率分布函数就是x1取各个值时的概率所组成的函数”。简单来说就是给定观测到y的取值就知道了x1的情况。所以用箭头表示这个关系 所以朴素贝叶斯的假设函数(准确讲是假设函数的核心)即 看~这个图是不是把公式非常形象的画出来啦~ 这个图我们暂且就定义为有向图反正根据小夕的说法它描绘了“各个随机变量之间的条件依赖关系”看起来像推理关系。 想一想这个图还有没有隐含含义呢 机智的宝宝肯定想到了朴素贝叶斯的条件独立性假设没错这个图还反映了“每个随机变量的独立性关系”看起来像每个随机变量的爸爸妈妈是谁子女是谁。 看有了独立性关系这个解释是不是又把朴素贝叶斯的条件独立性假设包含进来啦。回顾一下朴素贝叶斯假设样本的特征向量的各个维度之间是互相独立的即x1,x2,...,xn之间是相互独立的所以在这个图中它们之间没有连线表示相互独立。贝叶斯网想一想小夕已经“吐槽”过了朴素贝叶斯很朴素因为它做了一个很不靠谱的输入变量xi之间相互独立的这个假设因此小夕在《NB与LR的战争》中还建议大家去做一个将X的维度原地复制成两倍的实验以验证这个独立性假设的不靠谱之处。 想象一下假设我们有一个预测某教授会不会给一个学生写一封好的保研推荐信的机器学习任务。在这个任务中类别即两个会或者不会给这个学生写推荐信。特征我们选取4个学生的x1智商x2学生在这个老师的课的考试分数x3这个老师的课的考试难度x4这个学生的SAT(美国版高考)成绩。该例子来自《probablistic graphicalmodel》Kolleretc.) 显然啊x1和x3联合起来会很大程度上决定x2的值x1会很大程度决定x4的值而让老师去写推荐信的时候老师只会看到你在他的课上考了多少分以及老师此刻的心情来决定是否给你写个好推荐信。然而用朴素贝叶斯建模的话显然这些客观存在的依赖关系全都被忽略掉了可想而知往往结果很糟糕。 那么我们可不可以保留这些客观存在的依赖关系呢 想想刚才小夕为朴素贝叶斯画的图~我们就按照这个画图规则把进化版的模型画出来吧(x1学生智商, intelligence;x2老师课的分数, score;x3课程难度, difficulty;x4SAT分数, SAT;y是否写好推荐信, letter) 看对不对呢~按照前面说的画图原则这个图是不是将客观存在的信息都描绘进去啦~ 看起来像这个样子的模型叫什么呢就是“贝叶斯网” 也就是说在贝叶斯网中我们会建模样本的特征向量X内各个维度之间的依赖关系并且隐含的包含了各个随机变量X的各个维度以及y的独立性关系之所以说隐含是因为在贝叶斯网络中好像无法像朴素贝叶斯一样一眼看出变量之间的独立性关系比如观测到x2时你能知道此时y和x1是否是相互独立的吗 将这个模型训练完成之后它看起来的样子是这样的跟前面小夕画的图完全对应的直接抠的书上的图\(//∇//)\ 于是按照机器学习框架一大波问题袭来了1、这个模型如何训练2、这个模型如何对新样本分类 除了这些一般化问题之外还有前面提到的看似更复杂的问题贝叶斯网中隐含的各个随机变量的独立性关系如何描述 小夕会在以后的文章中为大家逐步解开谜团~ ps当然啦这种画法肯定不是小夕首先提出来的有兴趣的同学可以去看这篇论文好像也不是这个论文的作者第一次提出来的: Charles Sutton, Andrew McCallum: An Introduction toConditional Random Fields for Relational Learning. 除了这篇论文外参考资料还有《probablistic graphical model》Koller etc.这本书有中文版~据说翻译的不错。不过要小心1000多页的块头哦。
