创建集团上海公司网站,网站说服力 营销型网站策划 下载,wordpress 外观 编辑,百度收录网站方法上一节中讲了朴素贝叶斯算法将实例分到后验概率最大的类。这等价于期望风险最小化。
假设使用0-1损失函数#xff1a; L(Y,f(X)){1,0,Y≠f(X)Yf(X)L(Y, f(X)) = \Bigg\{ \begin{array} {ll}1, Y \neq f(X) \\0, Y = f(X)\end{array}上式中的f(x)是分类决策函数… 上一节中讲了朴素贝叶斯算法将实例分到后验概率最大的类。这等价于期望风险最小化。
假设使用0-1损失函数
L(Y,f(X)){1,0,Y≠f(X)Yf(X)
L(Y, f(X)) = \Bigg\{ \begin{array} {ll}1, 这时期望风险函数是
Rexp(f)E[L(Y,f(X))]R_{exp}(f)=E[L(Y, f(X))]此期望是对联合分布P(X,Y)P(X, Y) 取的。由此取条件期望
Rexp(f)EX∑k1K[L(ck,f(X))]P(ck|X)R_{exp}(f) = E_X \sum_{k=1}^K[L(c_k, f(X))]P(c_k|X)为了使期望风险最小化只需对XxX=x逐个极小化 f(x)argminy∈Y∑k1KL(ck,y)P(ck|Xx)argminy∈Y∑k1KP(ck≠Y|Xx)argminy∈Y∑k1K(1−P(ckY|Xx))argmaxy∈Y∑k1KP(ckY|Xx)f(x) =arg \min_{y \in Y} \sum_{k=1}^KL(c_k,y)P(c_k|X=x) \\
=arg \min_{y \in Y} \sum_{k=1}^KP(c_k \neq Y|X=x) \\
=arg \min_{y \in Y} \sum_{k=1}^K(1-P(c_k = Y|X=x) )\\
=arg \max_{y \in Y} \sum_{k=1}^KP(c_k = Y|X=x) 通过以上推导根据期望风险最小化得到了后验概率最大化 f(x)argmaxckP(ck|Xx)f(x)=arg \max_{c_k}P(c_k|X=x) 这就是朴素贝叶斯算法所使用的原理。
