湘潭自助建站系统,建程网怎么样,舟山大昌建设集团网站,大庆seoPRML绪论1.1 多项式曲线拟合1.1.1 问题描述1.1.2 最小化平方和误差1.1.3 多项式阶数确定1.1.4 有趣问题--高阶模型为什么效果不好1.1.4 数据集规模对模型的影响1.1.5 参数正则化缓解过拟合问题1.2 概率论1.2.1离散型随机变量1.2.2 连续型随机变量1.2.3 期望和方差1.2.4 贝叶斯概…
PRML绪论1.1 多项式曲线拟合1.1.1 问题描述1.1.2 最小化平方和误差1.1.3 多项式阶数确定1.1.4 有趣问题--高阶模型为什么效果不好1.1.4 数据集规模对模型的影响1.1.5 参数正则化缓解过拟合问题1.2 概率论1.2.1离散型随机变量1.2.2 连续型随机变量1.2.3 期望和方差1.2.4 贝叶斯概率1.2.5 单高斯分布参数的最大似然估计1.2.6 重新考虑曲线拟合问题--MLE,MAP1.2.7 贝叶斯曲线拟合模式识别领域 希望 利用个计算机算法自动发现数据中的规律然后依据这些规律采取一些行动。模式识别的关键是获得反映数据规律的模型。
泛化能力(generalization)–不同于机理建模需要大量的专业知识机器学习建模过程中使用大规模训练集(training set)来调节模型参数测试集(test set)测试模型性能反映模型的泛化能力书中说的是–正确分类于训练集不同的新样本的能力。
特征抽取(feature extract)–在实际应用中 原始数据的量化向量图像-像素值向量 音频-波形向量通常需要预处理(pre-processed)变换到新的变量空间中。
预处理可以过滤一些无关的特干扰大小角度光亮…侧面模型能力还远远不足人对这些干扰的鲁棒性强的多;预处理抽取有用特征降低输入数据纬度加快计算速度预处理会滤掉有效信息使系统整体精度下降 测试集数据必须采取和训练集一致的方法进行预处理
模式识别主要研究内容
有监督学习–分类问题回归问题无监督学习–聚类、密度估计、 降维强化学习–在给定条件下找到合适的动作使得累计奖励最大
本章主要包括一个demo 三个重要工具–概率论、决策论、信息论
1.1 多项式曲线拟合
1.1.1 问题描述
问题描述观测到一个输入变量x实数希望能够预测目标变量t实数的值。
给定 x 和 t 的N次观测作为训练集自变量集合记作x≡(x1,x2,...,xN)T\bm{x}\equiv(x_1,x_2,...,x_N)^Tx≡(x1,x2,...,xN)T对应的目标标量集合记作t≡(t1,t2...,tN)T\bm{t}\equiv(t_1,t_2...,t_N)^Tt≡(t1,t2...,tN)T。
目标变量 t 的特点拥有一个内在规律t f(x)这个规律是我们想要探索的。但是目标变量的观测值被随机噪声干扰。
图1.2
目标利用训练集建模自变量和因变量之间的内在规律实现预测新的输入变量x^\hat{x}x^对应的目标变量t^\hat{t}t^的值。
对于实现这个目标概率论 提供了以精确的形式描述目标变量不确定性 的解题框架 决策论提供合适的标准用于最优决策采取下一步的应对措施。
1.1.2 最小化平方和误差
下面先介绍一种通用习惯性做法 – 采用M阶多项式函数拟合数据 y(x,w)w0w1xw2x2...wMxM∑j0Mwjxj(1.1)y(x,\bm{w}) w_0 w_1x w_2x^2...w_Mx^M\sum_{j0}^Mw_jx^j\tag{1.1}y(x,w)w0w1xw2x2...wMxMj0∑Mwjxj(1.1)
其中多项式系数{w0,w1,...,wM}\{w_0,w_1,...,w_M\}{w0,w1,...,wM}记作w\bm{w}w。 key point: 虽然y(x,w)y(x,\bm{w})y(x,w)是xxx的非线性函数却是系数的w\bm{w}w的线性函数。这一类关于未知参数满足线性关系的函数被叫做 线性模型有重要的性质将在第三章第四章展开讨论。
我们需要调整y(x,w)y(x,\bm{w})y(x,w)的参数找到使y(x,w)y(x,\bm{w})y(x,w)与对应的t\bm{t}t之间的差距最小的参数组合。常用的做法为构造一个衡量差距度量函数该差距度量函数为w的函数通过梯度下降法最小化该差距度量函数得到最优的参数组合。差距度量函数常被称作 误差函数(error function), 在拟合问题中可以使用平方误差函数1/2是为了计算方便加入的 E(w)12∑n1N{y(xn,w)−tn}2(1.2)E(\bm{w})\frac{1}{2}\sum_{n1}^N\{y(x_n,\bm{w})-t_n\}^2\tag{1.2}E(w)21n1∑N{y(xn,w)−tn}2(1.2)
其实还有许多函数也能作为误差函数用于衡量模型输出与目标值之间的差距这类函数有两个特点 1非负 2当且仅当模型输出与目标值相同时误差函数取得最小值为0.
求解w\bm{w}w: E(w)E(\bm{w})E(w)为w\bm{w}w的二次函数所以存在唯一的最小值解。可以通过对w\bm{w}w的各个分量求导另梯度为0解方程组得到最优的解w∗\bm{w^*}w∗最终多项式函数由y(x,w∗)y(x,\bm{w^*})y(x,w∗)给出。
1.1.3 多项式阶数确定
问题解决了么没有不同的M必定得到不同的多项式函数这多项式的阶数M该怎么确定呢图1.4展示了四种不同阶数的拟合曲线红色当M较小时(M1,2)模型无法准确 表示 观测数据规律欠拟合现象发生 当M较大时M9模型曲线可以完美适配所有训练数据点但是震荡现象太明显将无法准确预测新数据的值过拟合现象发生。图1.4
如何选择合适的M涉及到模型选择(model selection)/模型对比(model comaprison)的问题。通过不同M对应的模型在测试集上的性能指标 完成模型选择。性能指标推荐使用根均方误差其中去除了样本规模N、量纲的影响。 ERMS2E(w∗)/N(1.3)E_{RMS} \sqrt{2E(\bm{w^*})/N}\tag{1.3}ERMS2E(w∗)/N(1.3)
图1.5 为不同的M对应的训练集和测试集合根均方误差折线图选择测试集合误差小且M小的M即最优的M3。
1.1.4 有趣问题–高阶模型为什么效果不好
考虑一个有趣问题 直觉高阶数的多项式 包含了 低阶数的多项式多出来的系数置为0即可 那么M 9的多项式 至少能产生和 M 3 的多项式一样好的结果才对可是结果却与直觉相反问题出在哪里 观察到的现象是M越大时最优解对应的系数也会较大。书中描述不甚理解更大的M使得模型被过渡调参使得多项式被调节成与噪声相符的模型。
1.1.4 数据集规模对模型的影响
给定M训练数据集规模越大过拟合现象越不明显。也就是说数据集规模越大能够用来拟合的模型就越复杂。一个粗略的启示数据数量不应该 模型可以调节参数的若干倍5/10倍。但是实际上很多参数都是不必要的。
问题在哪以上启示使得我们需要依据数据集来确定模型的复杂度但是更加合理的方式应该是依据待解决问题的复杂性来确定模型复杂度。
在1.2.3中将看到 最小化平方误差拟合 实际是最大似然(Max likelihood)的一种特例而过拟合问题 是 最大似然的通用属性。而使用**贝叶斯(Bayesan)**可以避免过拟合问题模型参数超过训练数据的情形并不难解书中描述不甚理解在贝叶斯模型中参数的有效数量 会自动依据 数据集规模调节。
1.1.5 参数正则化缓解过拟合问题
正则化(regularization)–给目标函数增加参数w惩罚项限制参数w的大小。惩罚项可以使用参数的一范数减少参数数量二范数限制参数大小。二范数和平方和是等价的书中此处用平方和加了正则想的误差函数为 E~(w)12∑n1N{y(xn,w)−tn}2λ2∣∣w∣∣2(1.4)\tilde{E}(\bm{w})\frac{1}{2}\sum_{n1}^N\{y(x_n,\bm{w})-t_n\}^2\frac{\lambda}{2}||\bm{w}||^2\tag{1.4}E~(w)21n1∑N{y(xn,w)−tn}22λ∣∣w∣∣2(1.4)
其中∣∣w∣∣2wTw||\bm{w}||^2\bm{w}^T\bm{w}∣∣w∣∣2wTwλ\lambdaλ为这则化系数又是需要通过验证集来确定其大小 1.4式也可用解析的形式求解最小值。相关技术在神经网络中叫权值衰减(weight decay)书中描述不甚理解在统计学中叫收缩(shrinkage)二次正则项的一个特殊情况叫山脊回归(ride regresion).
1.2 概率论
不确定性 是模式识别领域的一个关键概念 概率论提供了一个合理的框架用来描述、量化、计算不确定性结合决策论使我们能够依据所提供的信息作出最优决策。
1.2.1离散型随机变量
demo1:盒子抽球 假设我们有红蓝两个盒子红盒子中有2个苹果和6个橘子蓝盒子中有3个苹果和1个橘子。每次随机选择一个盒子然后再从该盒子中随机抽一个水果论观察是什么水果后放回盒中。
在概率论中: 每次选的盒子的颜色是一个随机变量记作B这个随机变量的实际取之为红®或者蓝(b); 盒子中水果的种类也是一个随机变量记作F这个随机变量的取之为苹果(a)或者橘子(o).
由这个概率demo引发的问题选择苹果的整体概率是多少如果取出的是橘子那么这个橘子来自蓝色盒子的概率是多少
要解决这些问题需要找我概率论的两个基本规则加和规则(sum rule)、乘积规则(product relu)以下使用更为一般的符号系统。
假定有两个随机变量X、Y其中X的可能取值为{xi∣i1,2,...,M}\{x_i|i1,2,...,M\}{xi∣i1,2,...,M}Y的可能取值为{xyj∣j1,2,...,L}\{xy_j|j1,2,...,L\}{xyj∣j1,2,...,L}。从X与Y的集合中随机的选取一个取值构成一次随机实验重复N次随机实验。将XxiandYyjXx_i\ and\ Yy_jXxi and Yyj出现的次数记为ni,jn_{i,j}ni,j将XxiXx_iXxi出现的次数记为cic_ici将YyjYy_jYyj出现的次数记为rjr_jrj。依据概率论基础, 不严谨叙述概率频率不难得出
联合概率(joint probability - - XxiandYyjXx_i\ and\ Yy_jXxi and Yyj两者同时出现的概率(joint probability)p(Xxi,Yyj)p(Xx_i,Yy_j)p(Xxi,Yyj)为 p(Xxi,Yyj)nijN(1.5)p(Xx_i,Yy_j)\frac{n_{ij}}{N}\tag{1.5}p(Xxi,Yyj)Nnij(1.5)
加和规则得到各个随机变量的边缘概率(marginal probability) p(Xxi)ciN∑j1Lp(Xxi,Yyj)(1.7)p(Xx_i)\frac{c_i}{N}\sum_{j1}^Lp(Xx_i,Yy_j)\tag{1.7}p(Xxi)Ncij1∑Lp(Xxi,Yyj)(1.7)
条件概率 - - 给定XxiXx_iXxi条件下YyjYy_jYyj的概率 p(Yyi∣Xxi)nijci(1.8)p(Yy_i|Xx_i)\frac{n_{ij}}{c_i}\tag{1.8}p(Yyi∣Xxi)cinij(1.8)
乘积规则由边缘概率 和 条件概率 得到联合概率 p(Xxi,Yyj)p(Yyi∣Xxi)p(Xxj)p(Xx_i,Yy_j) p(Yy_i|Xx_i)p(Xx_j)p(Xxi,Yyj)p(Yyi∣Xxi)p(Xxj)
符号规定p(B)p(B)p(B)表示随机变量B的分布p(r)p(r)p(r)随机变量B取特定的值rrr时的估计。重写 加和规则和乘积规则(PRML一书所有概率推导的基础) p(X)∑Yp(X,Y)(1.10)p(X)\sum_Yp(X,Y)\tag{1.10}p(X)Y∑p(X,Y)(1.10)
p(X,Y)p(Y∣X)p(X)(1.11)p(X,Y)p(Y|X)p(X)\tag{1.11}p(X,Y)p(Y∣X)p(X)(1.11)
贝叶斯定理(Bayes’ theorem)–在模式识别 和 机器学习中扮演着中心角色实现条件转换 p(Y∣X)p(X∣Y)p(Y)p(X)(1.12)p(Y|X)\frac{p(X|Y)p(Y)}{p(X)}\tag{1.12}p(Y∣X)p(X)p(X∣Y)p(Y)(1.12)
分母可以写为加和规则的展开那么就完全转换为条件Y了。
先验概率在没有观测到取出的水果是啥时红盒子和蓝盒子被选中的先验概率(prior probability)分别是(410,610)(\frac{4}{10},\frac{6}{10})(104,106)。 后验概率假定已经观察到了取出的水果是橘子那么红盒子和蓝盒子被选中的后验概率(posterior probability)分别是(23,13)(\frac{2}{3},\frac{1}{3})(32,31)。
两个随机变量相互独立联合分布可以分解成边缘分布的乘积只能定性的理解一个变量对另一个变量的取值并没有影响没有关系随机变量的分布就不能画在同一个直角坐标系下但是联合概率密度是可以画在X和Y为轴的坐标系中。 p(X,Y)p(X)p(Y)p(X,Y)p(X)p(Y)p(X,Y)p(X)p(Y) 1.2.2 连续型随机变量
概率密度(probability density): 如果一维实值随机变量x在区间(x,xδx)(x, x\delta x)(x,xδx)的概率用p(x)δxp(x)\delta xp(x)δx表示那么p(x)p(x)p(x)就叫做x的概率密度。
x在区间(a, b)上的概率 p(x∈(a,b))∫abp(x)dx(1.24)p(x\in(a,b))\int_a^bp(x)dx\tag{1.24}p(x∈(a,b))∫abp(x)dx(1.24)
概率密度的两大性质 p(x)0(1.25)p(x)0\tag{1.25}p(x)0(1.25)
∫−∞∞p(x)dx1(1.26)\int_{-\infty}^{\infty}p(x)dx1\tag{1.26}∫−∞∞p(x)dx1(1.26)
随机变量函数变换与通常的表示习惯相反xg(y)xg(y)xg(y)如果有函数f(x)那么f^(y)f(g(y))\hat{f}(y)f(g(y))f^(y)f(g(y))。 如果x 的概率密度用pxxp_x{x}pxx表示那么y的概率密度py(y)p_y(y)py(y)可以表示为[存在一个同伦关系px(x)δx≃py(y)δyp_x(x)\delta x\simeq p_y(y)\delta ypx(x)δx≃py(y)δy,式子的左边可以连续变换到右边] py(y)px(x)∣dxdy∣px(g(y))∣g′(y)∣p_y(y)p_x(x)|\frac{dx}{dy}|p_x(g(y))|g(y)|py(y)px(x)∣dydx∣px(g(y))∣g′(y)∣
累计分布函数(cumulative distribution function)–又叫概率分布函数[有点像变上限积分函数]。 P(z)∫−∞zp(x)dx(1.28)P(z)\int_{-\infty}^zp(x)dx \tag{1.28}P(z)∫−∞zp(x)dx(1.28)
累计分布函数的导数就是概率密度P′(x)p(x)P(x)p(x)P′(x)p(x)
向量x[x1,x2,...,xD]\bm{x}[x_1,x_2,...,x_D]x[x1,x2,...,xD]的规律类比于一维度p(x)p(x1,x2,...,xD)p(\bm{x})p(x_1,x_2,...,x_D)p(x)p(x1,x2,...,xD)。
概率质量函数(probability mass function)离散随机变量的p(x)可以看作集中在合法的x值处的“概率质量”的集合。
连续型随机变量的概率加和规则和乘积规则 p(x)∫p(x,y)dy(1.31)p(x)\int p(x,y)dy \tag{1.31}p(x)∫p(x,y)dy(1.31)
p(x,y)p(y∣x)p(x)(1.32)p(x,y)p(y|x)p(x) \tag{1.32}p(x,y)p(y∣x)p(x)(1.32)
1.2.3 期望和方差
期望(expectation) : 函数f(x)f(x)f(x)对于随机变量x的均值。离散型随机变量和连续型随机变量的期望分别定义为 E[f]∑xp(x)f(x)(1.33)\mathbb{E}[f]\sum_{x}p(x)f(x)\tag{1.33}E[f]x∑p(x)f(x)(1.33)
E[f]∫p(x)f(x)dx(1.34)\mathbb{E}[f] \int p(x)f(x)dx\tag{1.34}E[f]∫p(x)f(x)dx(1.34)
在实际应用中用样本均值来近似样本的期望 E[f]≈1N∑n1Nf(xn)(1.35)\mathbb{E}[f]\approx \frac{1}{N}\sum_{n1}^Nf(x_n)\tag{1.35}E[f]≈N1n1∑Nf(xn)(1.35)
方差(variance)随机变量在均值附近的离散程度定义为 var[f]E[(f(x)−E[f(x)])2]var[f]\mathbb{E}[(f(x)-\mathbb{E}[f(x)])^2]var[f]E[(f(x)−E[f(x)])2]
将中间的平方项展开可以转化为 var[f]E[f(x)2]−E[f(x)]2(1.39)var[f]\mathbb{E}[f(x)^2]-\mathbb{E}[f(x)]^2\tag{1.39}var[f]E[f(x)2]−E[f(x)]2(1.39)
协方差(covariance):描述两个随机变量x,y之间有多大程度会共同变化定义为 KaTeX parse error: Expected EOF, got } at position 124: …E}[y]\tag{1.42}}̲ 1.2.4 贝叶斯概率
频率学家利于用随机重复事件发生的频率来考察概率数据集合可重复参数是确定的。常用最大似然来计算w。 贝叶斯观点 定量描述不确定性依据少量新的证据修正不确定性数据集合只有一个参数具有不确定性
回顾水果盒子利用贝叶斯定理通过观察到的水果类型将选择盒子的先验概率转化为后验概率。
在对模型参数w进行推断时在观测到数据之前我们有关于w的一些假设以先验概率p(w)p(w)p(w)的形式给出。观测数据集D{t1,t2,...,tN}\mathcal{D}\{t_1, t_2,...,t_N\}D{t1,t2,...,tN}的效果可以通过条件概率p(D∣w)p(\mathcal{D}|w)p(D∣w)表示此时观测数据集合利用贝叶斯定理修正模型参数 p(w∣D)P(D∣w)∗p(w)p(D)(1.43)p(w|\mathcal{D})\frac{P(\mathcal{D}|w)*p(w)}{p(\mathcal{D})}\tag{1.43}p(w∣D)p(D)P(D∣w)∗p(w)(1.43)
其中p(D∣w)p(\mathcal{D|w})p(D∣w)在www已知的情况下依据具体观测数据集计算被称作似然函数。表示在不同www条件下观测数据出现的可能性。移项两端对w积分可以得到p(D)p(\mathcal{D})p(D)。
贝叶斯定理的自然语言描述方式 posterior∝likelihood×priorposterior \propto likelihood \times prior posterior∝likelihood×prior
扔硬币3次朝上的例子 概率学家未来所有的投掷都会是正面朝上–极端结论 贝叶斯观点依据新的观察来纠正现有的结论–严重依赖先验假设。
贝叶斯框架源于18世纪但是近来才被重视。主要困难执行完整的贝叶斯步骤需要在整个参数空间求和或者求期望。
1.2.5 单高斯分布参数的最大似然估计
高斯分布/正态分布一元实值随机变量x服从高斯分布其概率密度可以写为 N(x∣μ,σ2)1(2πσ2)12exp{−12σ2(x−μ)2}\mathcal{N}(x|\mu,\sigma^2)\frac{1}{(2\pi\sigma^2)^{\frac{1}{2}}}\exp\{-\frac{1}{2\sigma^2}(x-\mu)^2\}N(x∣μ,σ2)(2πσ2)211exp{−2σ21(x−μ)2}
随机变量x的N次独立观测构成数据集合(x1,x2,...,xN)(x_1,x_2,...,x_N)(x1,x2,...,xN)。各个数据独立同分布相互独立的两个事件的联合概率可以由边缘概率的乘积得到那么抽取到该数据集的概率为(似然函数) p(x1,x2,...,xN∣μ,σ)∏n1NN(xn∣μ,σ2)p(x_1,x_2,...,x_N|\mu,\sigma)\prod_{n1}^N\mathcal{N}(x_n|\mu,\sigma^2)p(x1,x2,...,xN∣μ,σ)n1∏NN(xn∣μ,σ2)
有两种说法
给定数据集下最大化概率的参数–最大化参数才不自然吧给定参数的情况下最大化数据集出现的概率–最大化概率才自然吧
最大化对数似然函数对应参数求导令其等于零来求解μ,σ\mu,\sigmaμ,σ–对数似然可以简化计算和避免小概率乘积下溢。
均值与方差的最大似然解为 μML1N∑n1Nxn\mu_{ML}\frac{1}{N}\sum_{n1}^Nx_nμMLN1n1∑Nxn
σML1N∑n1N(xn−μML)2\sigma_{ML}\frac{1}{N}\sum_{n1}^N(x_n-\mu_{ML})^2σMLN1n1∑N(xn−μML)2
对以上最大似然解求期望可得到μML\mu_{ML}μML为无偏估计σML2\sigma^2_{ML}σML2为有偏差估计。修正σML2\sigma^2_{ML}σML2为无偏估计量有 σ^21N−1∑n1N(xn−μML)2\hat{\sigma}^2\frac{1}{N-1}\sum_{n1}^N(x_n-\mu _{ML})^2σ^2N−11n1∑N(xn−μML)2
最大似然估计的问题低估分布的方差这实质是过拟合问题的核心。 1.2.6 重新考虑曲线拟合问题–MLE,MAP
回顾曲线拟合问题已知数据集x\bm{x}x和t\bm{t}t目标是预测给定新测试点x对应点目标值t.
可以使用概率分布来表达关于目标变量值的不确定性:假定对应的t值服从均值为y(x,w)y(x,\bm{w})y(x,w)的高斯分布。 p(t∣x,w,β)N(t∣y(x,w),β−1)p(t|x,\bm{w},\beta)\mathcal{N}(t|y(x,\bm{w}),\beta^{-1})p(t∣x,w,β)N(t∣y(x,w),β−1)
通过最大似然函数求解模型参数w\bm{w}w可以得到最大似然函数 等价于 最小化平方误差函数。
引入w\bm{w}w先验假设–假定也服从高斯分布 p(w∣a)N(w∣0,α−1I)p(\bm{w}|a)\mathcal{N}(\bm{w}|0,\alpha^{-1}\bm{I})p(w∣a)N(w∣0,α−1I)
计算参数的后验概率 p(w∣x,t,α,β)∝p(t∣x,w,β)∗p(w∣a)p(\bm{w}|\bm{x},\bm{t},\alpha,\beta)\propto p( \bm{t}|\bm{x},\bm{w},\beta)*p(\bm{w}|a)p(w∣x,t,α,β)∝p(t∣x,w,β)∗p(w∣a)
通过最大后验求解模型参数w\bm{w}w可以得到最大后验 等价于 最小化带正则项的平方误差函数。 最大后验可以减少过你和问题
1.2.7 贝叶斯曲线拟合
贝叶斯的观点预测分布可以写为如下积分形式 p(w∣x,t,x)∫p(t∣w,x)∗p(w∣x,t)dw(1.68)p(\bm{w}|\bm{x},\bm{t},x)\int p(t|\bm{w},x)*p(\bm{w}|\bm{x},\bm{t})d\bm{w}\tag{1.68}p(w∣x,t,x)∫p(t∣w,x)∗p(w∣x,t)dw(1.68)
p(t∣w,x)p(t|\bm{w},x)p(t∣w,x)–式子1.60的形式实际值不知道鸡生蛋蛋生鸡 p(w∣x,t)p(\bm{w}|\bm{x},\bm{t})p(w∣x,t)–参数的后验概率、
具体怎么求会在3.3节中详细讲解求出来p(w∣x,t,x)p(\bm{w}|\bm{x},\bm{t},x)p(w∣x,t,x)也是个高斯分布。
