网站源码分享网,wordpress仪表盘404,北京专业建设网站价格,网站游戏网站建设很多人想学习或者了解随机森林#xff0c;查到的资料都是先讲熵#xff0c;再讲决策树#xff0c;然后再讲随机森林#xff0c;前面坚持不下来或者一个地方没理解透彻#xff0c;导致无法向下学习#xff0c;而且公式讲解不够清晰#xff0c;例子不够详细#xff0c;很…很多人想学习或者了解随机森林查到的资料都是先讲熵再讲决策树然后再讲随机森林前面坚持不下来或者一个地方没理解透彻导致无法向下学习而且公式讲解不够清晰例子不够详细很难让小白彻底搞清楚到底是怎么回事。这里呢就先讲整体知识架构然后再学习公式最后和大家手把手计算一遍体会其中的奥妙。
一、随机森林宏观介绍
随机森林顾名思义用随机的的方式构建森林森林是由树组成的而随机森林的树就是决策树。为什么认为多个决策树结果比一个决策树结果好呢大家可以理解为三个臭皮匠顶上一个诸葛亮。这里还要说其他只讲公式博客中忽略的地方有四点增加大家对随机森林的理解
1、从样本中选出一份数据集只能画一棵树
2 、要花多棵树就要选多次数据集随机森林中的随机指的就是这里
3 、最终结果由所有决策树投票决定没涉及到权重
4 、建树的数量是由多中因素决定的比如数据集大小、计算资源等一般来说在几十到 一千之间
二、决策树宏观介绍
决策树很好理解就是根据判断条件形成一个树状结构对结果进行判断比如下面就是顾客是否会买裤子的决策树模型。构建决策树的重点在于如何选择根节点和内部节点根节点对应下图中的材料内部节点对应下图中的裤型、尺寸、价钱。 决策树的发展主要经过了三个阶段这三个阶段本质区别就是如何选择下一个内部节点。这三个阶段分别是
1 、用信息增益选择下一个内部节点代表算法是 ID3
2 、用信息增益率选择下一个内部节点代表算法是 C4.5
3 、用基尼指数选择下一个内部节点代表算法是 CART
目前随进森林中的决策树都是根据基尼指数来构建的。
三、随机森林四种实现方法
随机森林是常用的机器学习算法既可以用于分类问题也可用于回归问题。本文对 scikit-learn、Spark MLlib、DolphinDB、XGBoost 四个平台的随机森林算法实现进行对比测试。评价指标包括内存占用、运行速度和分类准确性。
测试结果如下
