上海网站建设有限公司,网上信息发布平台,企业网站建设须知,济南网站开发为什么逻辑回归的输出值可以作为概率#xff1f;或者说为什么逻辑回归要求假设因变量符合伯努利分布#xff1f;
这是因为逻辑回归#xff08;Logistic Regression#xff09;的Sigmoid函数是符合广义线性模型#xff08;General Linear Model#xff09;的伯努利分布或者说为什么逻辑回归要求假设因变量符合伯努利分布
这是因为逻辑回归Logistic Regression的Sigmoid函数是符合广义线性模型General Linear Model的伯努利分布Bernoulli Distribution的规范联结函数Canonical Link Function的反函数Sigmoid函数将线性函数映射到伯努利分布的期望
要解释清楚上面的这段话还得从广义线性模型GLM详见传送门说起
广义线性模型不是一个模型而是一类模型的总称当一个模型属于指数分布族时我们认为该模型是广义线性模型的一个特例
每一个特定的广义线性模型对应一个特定的分布例如我们之前提到的线性回归模型对应的是正态分布
广义线性模型中每一个分布都对应存在一个正则规范联结函数Canonical Link Function这一函数的反函数可以将线性函数映射到该分布的期望
例如通过正态分布的正则联结函数的反函数我们可以将线性回归模型映射到正态分布的期望值 μ μ μ这正是我们所熟悉的线性回归模型中所做的事情
为什么线性回归要求假设因变量符合正态分布这是因为线性回归对于一个新的数据的预测值其本身就是正态分布的期望详见传送门如果我们所使用的数据本身不符从正态分布那么强行使用线性回归显然会得到一个很差的结果
与之相似逻辑回归也是广义线性模型的特例其对应的分布是伯努利分布
而Sigmoid函数是伯努利分布的联结函数的反函数它将线性函数映射到了伯努利分布的期望上而伯努利分布的期望本身就是概率因此逻辑回归得到的输出可以代表概率也正是因为它代表概率才落在(0,1)之间
如果该函数的反函数能够将线性方程映射到某个广义线性模型的期望则该函数称为联结函数使用 g ( ⋅ ) \rm g(·) g(⋅)表示联结函数的反函数使用 g ′ ( ⋅ ) \rm g(·) g′(⋅)表示
例如对于线性函数 y ω T x b y\omega^T xb yωTxb
使用 ln ( ⋅ ) \ln(·) ln(⋅)联结函数将上面线性函数转换为非线性函数即 ln ( ⋅ ) \ln(·) ln(⋅)联结函数的反函数为 y e ω T x b ye^{\omega ^Txb} yeωTxb
如果使用Sigmoid函数 s ( z ) 1 1 e − z s(z)\frac{1}{1e^{-z}} s(z)1e−z1
作为联结函数将上述线性函数转换为非线性函数即Sigmoid联结函数的反函数为 s ′ ( z ) s ( z ) ( 1 − s ( z ) ) s(z)s(z)(1-s(z)) s′(z)s(z)(1−s(z))
具体计算过程见文章传送门
即Sigmoid函数的联结函数的反函数是伯努利分布详见传送门该函数将线性函数映射到伯努利分布的期望上使其输出可以作为概率
推导过程详见文章传送门
