工信部网站备案修改,沈阳小程序建设,镇江互联网公司,大同网站建设优化推广卖萌屋的妹子们#xff08;划掉#xff09;作者团整理的算法工程师思维导图#xff0c;求职/自我提升/查漏补缺神器。该手册一共分为数据结构与算法、数学基础、统计机器学习和深度学习四个部分。下面是第二部分统计机器学习的内容~公众号后台回复【思维导图】获取完整手册划掉作者团整理的算法工程师思维导图求职/自我提升/查漏补缺神器。该手册一共分为数据结构与算法、数学基础、统计机器学习和深度学习四个部分。下面是第二部分统计机器学习的内容~公众号后台回复【思维导图】获取完整手册Xmind脑图源文件学习起来更方便(ง •_•)ง统计机器学习线性回归回归方程Y WX解析解损失函数-最小二乘法用高斯概率密度函数表示出y然后进行极大似然估计理解频率派角度-误差复合高斯分布的最大似然估计求法误差服从正太分布(0,sigma) y服从正太分布(wx,sigma)正则化从两个角度理解频率角度维度太大无法求逆矩阵且容易过拟合给w加上约束 是半正定不一定可逆 为半正定加单位矩阵是正定的可逆贝叶斯角度最大后验参数符合laplace分布L1正则符合高斯分布L2岭回归线性分类线性分类器是通过特征的线性组合来做出分类决定的分类器。数学上来说线性分类器能找到权值向量w使得判别公式可以写成特征值的线性加权组合。硬分类感知机二分类模型y为{-1, 1} 损失函数误分类点到分类平面到距离分对为0分错0 Fisher判别分析把样本点投影到一个平面类间均值差大使得类内方差小软分类P(Y|X) P(X|Y)P(Y) / P(X)判别模型直接求P(Y|X) 生成模型求P(X,Y)P(X|Y)P(Y)P(Y|X)判别式: 逻辑回归由对数几率sigmoidhttps://zhuanlan.zhihu.com/p/42656051公式推导https://zhuanlan.zhihu.com/p/44591359简介逻辑回归是使用sigmoid作为链接函数的广义线性模型应用于二分类任务。它假设数据服从伯努利分布对条件概率进行建模通过极大似然估计的方法运用梯度下降求解参数。目标函数求解迭代法为什么不求解析解换成矩阵形式后X和exp(X)同时存在无法求出解析解。逻辑回归的损失函数L是一个连续的凸函数它只会有一个全局最优的点不存在局部最优。可以用SGD。Bias的可解释性:对于偏差b (Bias)一定程度代表了正负两个类别的判定的容易程度。假如b是0那么正负类别是均匀的。如果b大于0说明它更容易被分为正类反之亦然。线性决策边界为什么不能用线性回归做分类https://www.zhihu.com/question/319865092/answer/661614886平方差的意义和交叉熵的意义不一样。概率理解上平方损失函数意味着模型的输出是以预测值为均值的高斯分布损失函数是在这个预测分布下真实值的似然度softmax损失意味着真实标签的似然度。由来及其表达式用线性回归拟合 得到对数几率回归生成式朴素贝叶斯朴素贝叶斯是基于贝叶斯定理与特征条件独立假设大分类方法对于给定的x对xy的联合分布建模(P(x|y)P(y))输出后验概率最大的Y对P(x|y)采用了极大似然估计当特征离散时为线性分类离散特征的朴素贝叶斯分类器判别公式能够写成特征值的加权线性组合。https://www.jianshu.com/p/469accb2e1a0假设特征间相互独立,P(x1|y)与P(x2|y)相互独立 P(x1, x2, .., xn | Y) P(x1|Y) * P(x2|Y) * ... * P(xn|Y)求解:对于给定的x对xy的联合分布建模(P(x|y)P(y))输出后验概率最大的Y对P(x|y)采用了极大似然估计max[P(x|y)P(y)]y服从伯努利分布x|y服从categorial分布或高斯分布一般假设朴素贝叶斯的特征为离散值生成式高斯判别分析假定已知类中的x的分别服从高斯分布对于二分类p(x|y0)和p(x|y1)分别服从两个高斯分布方差一样y服从bernoulli(p), 方差相同的情况下为线性分类可以写成特征值x的线性加权组合https://www.jianshu.com/p/469accb2e1a0方差相同时把消掉了否则带有就不是线性了SVMhttps://zhuanlan.zhihu.com/p/61123737解读https://zhuanlan.zhihu.com/p/49331510考点https://zhuanlan.zhihu.com/p/76946313分类线性可分SVM当训练数据线性可分时通过硬间隔(hard margin什么是硬、软间隔下面会讲)最大化可以学习得到一个线性分类器即硬间隔SVM线性SVM当训练数据不能线性可分但是可以近似线性可分时通过软间隔(soft margin)最大化也可以学习到一个线性分类器即软间隔SVM非线性SVM当训练数据线性不可分时通过使用核技巧(kernel trick)和软间隔最大化可以学习到一个非线性SVM线性可分SVM凸二次规划形式的推导拉格朗日乘子法和KKT条件凸二次规划求解软间隔最大化序列最小优化算法(SMO)核函数常见问题与感知机的区别与逻辑回归的对比SVM优缺点二分类到多分类树模型常见算法XGBOOST优点不用做特征标准化可以处理缺失数据对outlier不敏感理解泰勒展开https://www.zhihu.com/question/25627482/answer/31229830理解GBDThttps://www.zybuluo.com/yxd/note/611571官方文档https://github.com/dmlc/xgboost/tree/master/demo http://xgboost.readthedocs.io/en/latest/parameter.html#general-parametershttp://xgboost.readthedocs.io/en/latest/python/python_api.html调参https://www.analyticsvidhya.com/blog/2016/03/complete-guide-parameter-tuning-xgboost-with-codes-python/ https://www.dataiku.com/learn/guide/code/python/advanced-xgboost-tuning.html源码剖析https://wenku.baidu.com/view/44778c9c312b3169a551a460.html min_child_weight: https://www.zhihu.com/question/68621766scale_pos_weight: https://blog.csdn.net/h4565445654/article/details/72257538节点分裂HWeighted Quantile Sketch, h对loss有加权的作用稀疏值处理行抽样、列抽样Shrinkage学习速率减小迭代次数增多有正则化作用系统设计Columns Block, Cache Aware Access Gradient-based One Side Sampling (GOSS) Exclusive Feature Bundling (EFB)LightGBM官方文档http://lightgbm.readthedocs.io/en/latest/ https://github.com/Microsoft/LightGBM改进直方图算法直方图差加速Leaf-wise建树特征并行和数据并行的优化Random Forest调参http://www.cnblogs.com/pinard/p/6160412.htmlhttps://www.zhihu.com/question/34470160/answer/114305935https://zhuanlan.zhihu.com/p/25308120原理http://www.cnblogs.com/pinard/p/6156009.html https://www.jianshu.com/p/dbf21ed8be88优化https://stackoverflow.com/questions/23075506/how-to-improve-randomforest-performance信息熵相关概念生成ID3:信息增益C4.5:信息增益比CART回归-平方误差/分类-基尼指数剪枝叶节点个数预剪枝/后剪枝图模型有向图https://www.zhihu.com/question/53458773/answer/554436625贝叶斯网络(Bayesian Networks, BNs)是有向图, 每个节点的条件概率分布表示为P(当前节点|父节点)从朴素贝叶斯到HMM在输出序列的y时依据朴素贝叶斯只有 。没有考虑yi之间的关系因此加入得到HMMHMM定义HMM是关于时序的概率模型由一个隐藏的马尔可夫链生成不可观测的状态随机序列再由各个状态生成观测序列三要素初始状态概率向量状态转移矩阵A观测/发射概率矩阵B假设齐次马尔可夫观测独立概率计算给定三要素和观测序列生成观测序列概率学习问题给定观测序列用极大似然估计三要素预测/解码给定观测序列和三要素求最可能的状态序列朴素贝叶斯https://www.zhihu.com/question/53458773/answer/554436625无向图https://www.zhihu.com/question/53458773/answer/554436625马尔可夫网络则是无向图, 包含了一组具有马尔可夫性质的随机变量. 马尔可夫随机场(Markov Random Fields, MRF)是由参数(S,π,A)表示, 其中S是状态的集合π是初始状态的概率, A是状态间的转移概率。一阶马尔可夫链就是假设t时刻的状态只依赖于前一时刻的状态与其他时刻的状态和观测无关。这个性质可以用于简化概率链的计算。逻辑回归https://www.zhihu.com/question/265995680/answer/303148257朴素贝叶斯与逻辑回归的关系都是对几率P/(1-P)进行拟合。朴素贝叶斯基于条件独立假设另特征间相互独立通过P(X|Y)P(Y)联合概率分布求得几率逻辑回归拟合特征间的关系用线性回归逼近几率CRF模型定义举例https://zhuanlan.zhihu.com/p/104562658无向图在给一个节点打标签时把相邻节点的信息考虑进来马尔可夫性只与相邻的两个状态有关线性链条件随机场P(Yi|X,Y1,...Yn) P(Yi|X, Yi-1, Yi1)只考虑当前和前一个 由输入序列预测输出序列的判别模型对条件概率建模观测序列状态/标记序列特征函数转移特征t依赖当前和前一个位置状态特征s依赖当前位置t和s对取值为1或0特征函数转移特征t依赖当前和前一个位置状态特征s依赖当前位置t和s对取值为1或0与逻辑回归比较CRF是逻辑回归的序列化版本与HMM比较每一个HMM模型都可以用CRF构造出来。CRF更加强大1.CRF可以定义数量更多种类更丰富的特征函数。HMM从朴素贝叶斯而来有条件独立假设每个观测变量只与状态变量有关。但是CRF却可以着眼于整个句子s定义更具有全局性的特征函数2.CRF可以使用任意的权重。将对数HMM模型看做CRF时特征函数的权重由于是log形式的概率https://zhuanlan.zhihu.com/p/311870601.HMM是生成模型CRF是判别模型2.HMM是概率有向图CRF是概率无向图3.HMM求解过程可能是局部最优CRF可以全局最优对数似然为凸函数4.CRF概率归一化较合理HMM则会导致label bias 问题公众号后台回复【思维导图】获取完整手册Xmind脑图源文件学习起来更方便(ง •_•)ง
