网站开发和软件开发哪个难,网站备案账号,社交做的最好的网站,网站建设禁止谷歌收录的办法1. 前言
前面看了概率有向图模型#xff0c;必然对无向图模型也要研究一下。而且这个概率无向图模型对学习RBM有很大的帮助#xff0c;它关系到能量函数的来源#xff0c;所以还是看看吧。参考资料依旧是概率有向图模型中参考的三个资料。
有向图将一组变量上的联合概率分…1. 前言
前面看了概率有向图模型必然对无向图模型也要研究一下。而且这个概率无向图模型对学习RBM有很大的帮助它关系到能量函数的来源所以还是看看吧。参考资料依旧是概率有向图模型中参考的三个资料。
有向图将一组变量上的联合概率分布分解为局部条件概率分布的乘积同时定义了一组条件独立的性质根据图进行分解的任何概率分布都必须满足这些条件独立性质也就是有向图中的那三种拓扑结构。
无向图也是一种分解方式也表示一组条件独立的关系。
2. 概念
2.1 等价概念
概率无向图模型undirect graphical model、马尔科夫随机场Markov Random FiledMRF、马尔科夫网络Markov NetworkMN
2.2 一般结构
包含一组结点每个结点都对应着一个变量或一组变量。连接是无向的即不含箭头。
2.3 条件独立性质
考虑连接集合A和B的节点的所有可能路径如果所有路径都通过集合C中一个或者多个节点那么所有这样的路径都被“阻隔”条件独立性质成立如果存在至少一条未被阻隔的路径那么条件独立性质就未必成立专业点就是说存在至少某些对应于图的概率分布不满足条件独立性质。
另一种检测方法是将图中属于集合C的节点以及与这些节点相连的连接线全部删除然后再看有没有从A到B的路径。如果没有那么条件独立一定成立。
无向图的马尔科夫毯比较简单节点只依赖与相邻节点而条件独立于任何其他的节点。因为相邻节点都有线连接如果把相邻节点当做C那么它连接到其它节点的路径都要经过C也就是对于除了相邻节点C以外的其它节点条件独立。 图中集合A到集合B的所有路径都通过集合C中的结点所以图所描述的任意概率分布都是以C为条件A与B都条件独立。
2.4 分解性质
利用条件独立性质去分解联合分布如果第i和第j个结点之间不存在连接那么给定图中其它结点这两个结点一定条件独立可以用下式表示出来 反斜杠代表除了大括号结点之外的结点。联合概率分布的分解一定要让xi和xj不出现在同一个因子中进而让属于这个图的所有可能的概率分布都满足条件独立性。
在了解联合概率分布的写法之前先看看两个概念
团块图结点的子集每一个子集的每对节点之间都有连接跨度一个或者多个连接起来的不算。团块中的节点集合是全连接的。
最大团块不可能将图中任何一个其它节点包含到团块中而不破坏团块的性质。 图中有两个节点的团有五个 两个最大团块 将团块记为C团块中的变量为x_c联合概率分布分解的因子定义为最大团块中变量的函数。简单点就是可以写成图的最大团块的势函数potential function乘积的形式 这里的C就是无向图中所有的极大团是非负函数称为极大团因子或者势函数Z是归一化常数称为配分函数partition function 此图中包含三个极大团 那么此马尔科夫网络的联合概率分布可以写为 再说一下配分函数怎么拆开加和形式的, 其实就是每个节点所在团块的势函数乘积的和, 具体表达式如下: 其实想想也是有道理的对于某个变量, 只需要计算它所在的势函数的乘积即可, 最终把所有的加和起来就是所有变量的联合概率分布了. 其实如果到这里还是有点迷糊的话强烈建议去看看联合概率分布, 不用看公式, 直接百度文库搜那些计算联合概率分布的题目即可, 顺便还能复习一下边缘分布之类的概率知识
上式为了好看用了latex排版可能看着有点懵可以去看评论区yongzhu2925的理解是对的
更新日志2018-4-2
发现很多同学还是不清楚上述的配分函数的计算方法啊我把这个式子写成一行就懂了 右边总共有五项分别表示五个节点所在的极大团的块势函数比如节点x1 在团块C1 中节点x2 在团块C1(感谢刘爱然老哥的提醒)节点x3 在团块C1、C2、C3中......最后加起来就是整个模型的势函数了。
2.5 势函数与配分函数
势函数的选择并没有具体的概率含义但是在有向图中每一个因子表示对应变量以它的父节点为条件的概率分布。势函数的通用性产生了一个结果就是它们的乘积没有被归一化所以就引入了一个显式的归一化因子即配分函数。为啥要被归一化对比有向图中分解后的每个因子作为条件概率分布都被归一化了加和为1因此俩和概率分布会自动被归一化无向图用的是势函数所以只能显式加入配分函数进行归一化了。
归一化常数(配分函数)的存在是无向图的主要缺点。因为归一化项的计算涉及到对K^M个状态求和在最坏情况下计算量是模型大小的指数形式。对于参数学习势函数是必须的用于控制势函数的任意参数的函数。对于局部条件概率的计算不是必须的因为条件概率计算的是两个边缘概率的壁纸可以计算未归一化的联合概率分布然后在计算的最后阶段显式地归一化边缘概率。如果边缘概率涉及到少量的变量那么归一化稀疏就可以计算。
由于势函数是严格为正所以可以将势函数表示为指数形式 其中E就被称为能量函数(energy function)指数表示被称为玻尔兹曼分布Boltzmann distribution。联合概率分布被定义为势函数的乘积因此总能量可通过将每个最大团块的能量相加的方法得到。
