泰州网站关键词优化,谷歌建站,用自己的电脑做网站服务器,上海装修公司排行目录
1 绪论
2 模型
3 决策树面试总结
1 绪论 决策树算法包括ID3、C4.5以及C5.0等#xff0c;这些算法容易理解#xff0c;适用各种数据#xff0c;在解决各种问题时都有良好表现#xff0c;尤其是以树模型为核心的各种集成算法#xff0c;在各个行业和领域都有广泛的…目录
1 绪论
2 模型
3 决策树面试总结
1 绪论 决策树算法包括ID3、C4.5以及C5.0等这些算法容易理解适用各种数据在解决各种问题时都有良好表现尤其是以树模型为核心的各种集成算法在各个行业和领域都有广泛的应用。 决策树是一种树结构从根节点出发每个分支都将训练数据划分成了互不相交的子集。分支的划分可以以单个特征为依据也可以以特征的线性组合为依据。决策树可以解决回归和分类问题在预测过程中一个测试数据会依据已经训练好的决策树到达某一叶子节点该叶子节点即为回归或分类问题的预测结果。 从概率论的角度理解决策树是定义在特征空间和类空间上的条件概率分布。每个父节点可以看作子树的先验分布子树则为父节点在当前特征划分下的后验分布。 决策树中的每一条路径都对应是划分的一个条件概率分布. 每一个叶子节点都是通过多个条件之后的划分空间在叶子节点中计算每个类的条件概率必然会倾向于某一个类即这个类的概率最大。
2 模型
2.1 ID3
信息熵信息熵用来度量样本集合的纯度。信息熵值越小D 的纯度越高。 信息增益信息增益用来描述一次划分之后纯度的提升有多大。分裂节点前后不确定性提升了多少。 用不同的属性划分样本会得到不同的信息增益。在 ID3 决策树算法中我们取能使信息增益最大即划分后纯度提升不确定性降低最大的属性作为当前决策树的划分属性。 信息增益率(c4.5)使用信息增益当作 cost function 会对可取值数目较多的属性有所偏好使用信息增益率可以减小这种偏好。添加一个权重一个特征取值个数越多那么折算越大。折算系数就是特征的熵。 -- IV 是属性 a 的固有值a 的可能取值数目越多(V 越大)IV(a) 的值通常越大信息增益率就会减小。显然信息增益率偏好可取值数目少的属性不能直接使用它当作 cost function在 C4.5 决策树算法中先从侯选属性里找出信息增益高于平均值的属性们再从中选取信息增益率最高的。
信息增益就是互信息。 互信息 描述的是两个随机变量之间相互依赖的程度。具体而言互信息指获得一个随机变量后观察另一个随机变量所获得的“信息量”。 https://blog.csdn.net/weixin_36480255/article/details/112640356
互信息、交叉熵、KL散度等公式 信息量、熵、最大熵、联合熵、条件熵、相对熵、互信息信息增益_熵和信息量-CSDN博客
3 决策树面试总结
ref : https://blog.csdn.net/Heitao5200/article/details/103762474
1 . 决策树和条件概率分布的关系
决策树可以表示成给定条件下类的条件概率分布PAB。我们知道贝叶斯分类中采用贝叶斯定律以及条件独立假设使用极大似然以及先验概率求得寻找能在当前输入X最大的概率y PYyXx。 2. 信息增益比相对信息增益有什么好处
使用信息增益时模型偏向于选择取值较多的特征使用信息增益比时对取值多的特征加上的惩罚对这个问题进行了校正。
3 ID3算法—C4.5算法— CART算法
ID3:
ID3算法没有考虑连续特征比如长度密度都是连续值无法在ID3运用。这大大限制了ID3的用途。ID3算法采用信息增益大的特征优先建立决策树的节点偏向于取值比较多的特征;ID3算法对于缺失值的情况没有做考虑;ID3算法没有考虑过拟合的问题;
C4.5:
连续的特征离散化使用信息增益比通过剪枝算法解决过拟合
C4.5算法常选择后剪枝的方法消除决策树的过度拟合
C4.5的不足
C4.5生成的是多叉树C4.5只能用于分类如果能将决策树用于回归的话可以扩大它的使用范围。C4.5由于使用了熵模型里面有大量的耗时的对数运算,如果是连续值还有大量的排序运算
CART算法:(二叉树)
可以做回归也可以做分类使用基尼系数来代替信息增益比CART分类树离散值的处理问题采用的思路是不停的二分离散特征。CART剪枝分为预剪枝和后剪枝两种主要方式
4 决策树怎么防止过拟合
预剪枝(提前停止)控制深度、当前的节点数、分裂对测试集的准确度提升大小限制树的高度可以利用交叉验证选择利用分类指标如果下一次切分没有降低误差则停止切分限制树的节点个数比如某个节点小于100个样本停止对该节点切分后剪枝(自底而上)生成决策树、交叉验证剪枝子树删除节点代替子树、测试集准确率判断决定剪枝。在决策树构建完成之后根据加上正则项的结构风险最小化自下向上进行的剪枝操作. 剪枝的目的就是防止过拟合是模型在测试数据上变现良好更加鲁棒。
5 如果特征很多决策树中最后没有用到的特征一定是无用吗
不是无用的从两个角度考虑
特征替代性如果可以已经使用的特征A和特征B可以提点特征C特征C可能就没有被使用但是如果把特征C单独拿出来进行训练依然有效决策树的每一条路径就是计算条件概率的条件前面的条件如果包含了后面的条件只是这个条件在这棵树中是无用的如果把这个条件拿出来也是可以帮助分析数据.
6 .决策树的优缺点
优点:
简单直观生成的决策树很直观。基本不需要预处理不需要提前归一化处理缺失值。使用决策树预测的代价是O(log2m)O(log2m)。 m为样本数。既可以处理离散值也可以处理连续值。很多算法只是专注于离散值或者连续值。可以处理多维度输出的分类问题。相比于神经网络之类的黑盒分类模型决策树在逻辑上可以得到很好的解释可以交叉验证的剪枝来选择模型从而提高泛化能力。对于异常点的容错能力好健壮性高。
缺点:
决策树算法非常容易过拟合导致泛化能力不强。可以通过设置节点最少样本数量和限制决策树深度来改进。决策树会因为样本发生一点点的改动就会导致树结构的剧烈改变。这个可以通过集成学习之类的方法解决。寻找最优的决策树是一个NP难的问题我们一般是通过启发式方法容易陷入局部最优。可以通过集成学习之类的方法来改善。有些比较复杂的关系决策树很难学习比如异或。这个就没有办法了一般这种关系可以换神经网络分类方法来解决。如果某些特征的样本比例过大生成决策树容易偏向于这些特征。这个可以通过调节样本权重来改善。
