响应式网站建设联雅,新建网站做优化,没有网站可以域名备案吗,做网站开发的薪酬怎么样模式识别——贝叶斯决策理论BDR 须知基本原则0-1损失下的BDRMAP#xff08;极大后验#xff09;log trick 须知
所有内容在分类问题下讨论。
基本原则
定义 X X X为观测 Y Y Y为状态 g ( x ) g(x) g(x)用 x x x对 y y y进行预测预测损失为 L [ g ( x ) , i ] L[g(x),i] L[… 模式识别——贝叶斯决策理论BDR 须知基本原则0-1损失下的BDRMAP极大后验log trick 须知
所有内容在分类问题下讨论。
基本原则
定义 X X X为观测 Y Y Y为状态 g ( x ) g(x) g(x)用 x x x对 y y y进行预测预测损失为 L [ g ( x ) , i ] L[g(x),i] L[g(x),i]
风险 R i s k Risk Risk为损失的期望即对所有观测造成的损失的平均即对大量观测判别的损失最低 R i s k E X , Y [ L ( X , Y ) ] ∫ ∑ i 1 M P Y , X ( i , x ) L [ g ( x ) , i ] d x R i s kE_{X,Y}[L(X,Y)]\\ \int\sum_{i1}^{M}P_{Y,X}(i,x)L[g(x),i]d x RiskEX,Y[L(X,Y)]∫i1∑MPY,X(i,x)L[g(x),i]dx
通过条件概率展开成如下形式 R i s k E X [ R ( x ) ] ∫ P X ( x ) R ( x ) d x RiskE_X[R(x)]\\ \textstyle\int P_{X}(x)R(x)d x RiskEX[R(x)]∫PX(x)R(x)dx
其中 R ( x ) R(x) R(x)为条件风险即给定观测下的风险 R ( x ) ∑ i 1 M P Y ∣ X ( i ∣ x ) L [ g ( x ) , i ] R(x)\sum_{i1}^{M}P_{Y|X}(i\mid x)L[g(x),i] R(x)i1∑MPY∣X(i∣x)L[g(x),i]
我们的目标就是找一个最优的判别函数在观测 x x x给定的情况使得对状态的预测损失最小。 g ∗ ( x ) arg min g ( x ) R ( x ) g^{*}(x)\arg\operatorname*{min}_{g(x)}R(x) g∗(x)argg(x)minR(x)
gpt给出的使用条件风险代替全局风险的原因可以参考
0-1损失下的BDR
通过推导可以得出结论,0-1损失下的BDR就是MAP极大后验准则这是非常符合认知的 g ∗ ( x ) a r g m a x i P Y ∣ X ( i ∣ x ) {\mathcal{g}}^{*}(x)argmax_{i}P_{Y|X}(i\mid x) g∗(x)argmaxiPY∣X(i∣x) 对应的损失为 R ∗ ∫ P Y , X ( y ≠ g ∗ ( x ) , x ) d x R^{*}\int P_{Y,X}(y\neq g^{*}(x),x)d x R∗∫PY,X(yg∗(x),x)dx
MAP极大后验
考虑二分类问题使用极大后验可以表示为 使用贝叶斯公式对极大后验展开由于展开后的分母相同可以约掉观测x已知,可以得到:
log trick
两边取对数等价可以将决策函数化为以下形式以简化计算 总而言之
