时代网站管理系统怎么做网站,网站设计制作体会,找人做网赌网站需要多少钱,二次元网站设计一、最大似然估计的基本思想
最大似然估计的基本思想是#xff1a;从样本中随机抽取n个样本#xff0c;而模型的参数估计量使得抽取的这n个样本的观测值的概率最大。最大似然估计是一个统计方法#xff0c;它用来求一个样本集的概率密度函数的参数。
二、似然估计
在讲最…一、最大似然估计的基本思想
最大似然估计的基本思想是从样本中随机抽取n个样本而模型的参数估计量使得抽取的这n个样本的观测值的概率最大。最大似然估计是一个统计方法它用来求一个样本集的概率密度函数的参数。
二、似然估计
在讲最小二乘法的时候我们的例子是奥运会男子100m金牌所需要的时间通过最小二乘法我们求得了我们的模型参数。但是我们的模型目前预测的只是一个特定的值。实际上所有的模型都有误差也就是噪声。所以我们需要思考如何产生与我们观察到的数据相似的数据。定义新的模型如下
tnωTxnεn
t_n = \boldsymbol{\omega}^T\boldsymbol{x}_n+\varepsilon_n假设误差ε\varepsilon是独立的、连续的、而且服从正态分布。即上式满足
εn∼N(0,σ2)\varepsilon_n \sim N(0, \sigma^2)给高斯随机变量添加一个常量等同于具有相同常量转换来的均值的另一个高斯随机变量 yazp(z)N(m,s)p(y)N(ma,s)y = a + z \\
p(z) = N(m, s) \\
p(y) = N(m+a, s) \\则 p(tn|xn,ω,σ2)N(ωTxn,σ2)p(t_n|\boldsymbol{x_n, \omega, }\sigma^2) = N(\boldsymbol{\omega}^T\boldsymbol{x}_n, \sigma^2), 这里我们需要确定两个值: ω,σ2\omega, \sigma^2的最优值。
对于给定的ω,tn\omega, t_n是独立的也就是说观测值是独立的。那么整个数据集的似然值为
Lp(t|xn,ω,σ2)∏n1Np(tn|xn,ω,σ2)∏n1NN(ωTxn,σ2)L = p(\boldsymbol{t|x_n, \omega, }\sigma^2) = \prod_{n=1}^Np(t_n|\boldsymbol{x_n, \omega, }\sigma^2) =\prod_{n=1}^NN(\boldsymbol{\omega}^T\boldsymbol{x}_n, \sigma^2)最大化似然值即最大化似然对数所以上式等价于求w和σ2w 和
\sigma^2的最大似然解使得logLlog L最大。 则通过求解
∂logL∂ω0(1)∂logL∂σ0(2)\frac{\partial{log L}}{\partial{\boldsymbol{\omega}}} = \boldsymbol{0}(1)\\
\frac{\partial{log L}}{\partial{\sigma}}=0(2)求解的过程略过得到ω和σ2^\boldsymbol{\omega}和\hat{\sigma^2}的最大似然解:
ω^(XTX)−1XTyσ2^1N(tTt−tTXω^)\boldsymbol{\hat{\omega}=(X^TX)^{-1}X^Ty}\\
\hat{\sigma^2} = \frac{1}{N}(\boldsymbol{t}^T\boldsymbol{t}-\boldsymbol{t}^T\boldsymbol{X\hat{\omega}})求解最大似然函数的一般步骤为 1. 写出似然函数 2. 写出对数似然函数并整理 3. 求导数 4. 解似然方程
