seo北京网站推广,那个网站可以做网页,南京奥美广告公司,莱芜金点子招工启事HMM 直观理解 马尔可夫链#xff08;英语#xff1a;Markov chain#xff09;#xff0c;又称离散时间马尔可夫链#xff08;discrete-time Markov chain#xff0c;缩写为DTMC#xff09;#xff0c;因俄国数学家安德烈马尔可夫#xff08;俄语#xff1a;Андре…HMM 直观理解 马尔可夫链英语Markov chain又称离散时间马尔可夫链discrete-time Markov chain缩写为DTMC因俄国数学家安德烈·马尔可夫俄语Андрей Андреевич Марков得名为状态空间中经过从一个状态到另一个状态的转换的随机过程。 隐马尔可夫模型包含5个要素初始概率分布状态转移概率分布观测概率分布所有可能状态的集合所有可能观测的集合。 隐马尔可夫模型HMM是结构最简单的动态贝叶斯网络是有向图模型。
核心公式 依据马尔可夫性所有变量的联合概率分布为 注意要点 统计语言模型[Statistical Language Model] 是自然语言处理的重要技术对于要处理的一段文本我们可以看做是离散的时间序列并且具有上下文依存关系该模型可以应用在语音识别和机器翻译等领域其模型表达式如下 如果只考虑前n-1个单词的影响称为n元语法(n-grams),那么语言模型变为 注意很多时候我们无法考量太久以前的词一是因为距离太远的词与当前词关系不大二是因为距离越长模型参数越多并且成指数级增长因此4元以上几乎没人使用。当n2的时候就是只考虑前一个单词的一阶马尔科夫链模型大家都知道在NLP任务中上下文信息相关性的跨度可能非常大马尔科夫模型无法处理这样的问题需要新的模型可以解决这种长程依赖性(Long Distance Dependency)。 这里可以回忆一下RNN/LSTM网络通过隐状态传递信息可以有效解决长程依赖问题但当处理很长的序列的时候它们仍然面临着挑战即梯度消失。 两点马尔可夫性质[可以理解为无记忆性留意NLP问题会涉及哦] 1. 下一个状态的概率分布只与当前状态有关 2. 下一个时刻的观测只与其相对应的状态有关 最大熵马尔可夫模型为什么会产生标注偏置问题如何解决 HMM为什么是生成模型 因为HMM直接对联合概率分布建模相对而言条件随机场CRF直接对条件概率建模所以是判别模型。 HMM在处理NLP词性标注和实体识别任务中的局限性 在序列标注问题中隐状态标注不仅和单个观测状态相关还 和观察序列的长度、上下文等信息相关。例如词性标注问题中一个词被标注为 动词还是名词不仅与它本身以及它前一个词的标注有关还依赖于上下文中的 其他词 隐马尔可夫模型包括概率计算问题、预测问题、学习问题三个基本问题 1概率计算问题已知模型的所有参数计算观测序列Y出现的概率可 使用前向和后向算法求解。 2预测问题已知模型所有参数和观测序列Y计算最可能的隐状态序 列X可使用经典的动态规划算法——维特比算法来求解最可能的状态序列。 3学习问题已知观测序列Y求解使得该观测序列概率最大的模型参 数包括隐状态序列、隐状态之间的转移概率分布以及从隐状态到观测状态的概 率分布可使用Baum-Welch算法进行参数的学习Baum-Welch算法是最大期望算 法的一个特例。 浅谈最大熵模型 最大熵这个词听起来很玄妙其实就是保留全部的不确定性将风险降到最小。 应用在词性标注句法分析机器翻译等NLP任务中。 面试真题 如何对中文分词问题用HMM模型进行建模的训练最大熵HMM模型为什么会产生标注偏置问题如何解决
参考
1.隐马尔可夫链定义参考维基百科 2.统计学 李航 3.数学之美 4.百面机器学习
