wordpress 三一重工,搜索引擎优化ppt,学校网站框架,通辽网站公司决策树与分类案例分析 文章目录 决策树与分类案例分析1. 认识决策树2. 分类3. 决策树的划分依据4. 决策树API5. 案例#xff1a;鸢尾花分类6. 决策树可视化7. 总结 1. 认识决策树
决策树思想的来源非常朴素#xff0c;程序设计中的条件分支结构就是if-else结构#xff0c;最…决策树与分类案例分析 文章目录 决策树与分类案例分析1. 认识决策树2. 分类3. 决策树的划分依据4. 决策树API5. 案例鸢尾花分类6. 决策树可视化7. 总结 1. 认识决策树
决策树思想的来源非常朴素程序设计中的条件分支结构就是if-else结构最早的决策树就是利用这类结构分割数据的一种分类学习方法。下面就来举一个例子 通过这一个例子我们会有一个问题为什么女生会把年龄放在第一个呢这就是决策树的一个思想高效性。
2. 分类
为了更好理解决策树是怎么分类的我们给出一个例子 现在我们有这些数据请你根据这些数据判断一个ID为16的人是否能够贷款。我们现在要做的就是如何划分年龄、工作、房子、信贷这些数据。我们可以先看房子再看工作…也可以先看工作再看信贷…我们该如何选择来更高效的进行判断所以我们引入信息熵、信息增益、条件熵、不确定性…
机器学习笔记02–决策树算法(手把手教你看懂)—信息熵信息增益增益率基尼系数
计算过程这里就不演示了直接出结果吧我们以A·1A2A3A4代表年龄、有工作、有自己的房子和贷款情况。最终计算的结果g(D,A1)0.313g(D,A2)0.324g(D,A3)0.420g(D,A4)0.363所以我们选择A3作为划分的第一个特征这样我们就可以慢慢建立起一棵树。
3. 决策树的划分依据
决策树的原理不止信息增益这一种还有其他方法。但是原理都类似我们就不去举例计算了
ID3信息增益最大的准则C4.5信息增益比最大的准则CART 分类树基尼系数 最小的准则 再sklearn中可以选择划分的默认原则优势划分更加细致
4. 决策树API
class sklearn.tree.DecisionTreeClassifier(criterion‘gini’,max_depthNone,random_stateNone)
决策树分类器criterion默认是‘gini’系数也可以选择信息增益的熵‘entropy’max_depth树的深度大小random_state随机数种子
5. 案例鸢尾花分类
def decision_iris():决策数对鸢尾花进行分类:return:# 划分数据集iris load_iris()# 划分数据集x_train, x_test, y_train, y_test train_test_split(iris.data, iris.target, random_state 22)# 决策树预估器estimator DecisionTreeClassifier(criterion entropy)estimator.fit(x_train, y_train)# 模型评估y_predict estimator.predict(x_test)print(y_predict:\n, y_predict)print(直接比对真实值和预测值\n, y_test y_predict)# 方法2计算准确率score estimator.score(x_test, y_test)print(准确率为, score)return Noney_predict:[0 2 1 2 1 1 1 1 1 0 2 1 2 2 0 2 1 1 1 1 0 2 0 1 2 0 1 2 2 1 0 0 1 1 1 0 00]
直接比对真实值和预测值[ True True True True True True True False True True True TrueTrue True True True True True False True True True True TrueTrue True False True True False True True True True True TrueTrue True]
准确率为 0.89473684210526326. 决策树可视化
保存树的结构到dot文件
sklearn.tree.export_graphviz()
tree.export_graphviz(estimator,out_file“./tree.dot”,feature_name[“,”])
export_graphviz(estimator, out_file ./tree.dot, feature_names iris.feature_names)生成了一个文件之后我们需要把里面的文本导入到一个网站里面http://webgraphviz.com/ 导入之后就成功了。 7. 总结
优点
简单的理解和解释树木可视化
缺点
决策树学习者可以创建不能很好地推广数据的过于复杂的树这被称为过拟合
改进
减枝cart算法随机森林
