【机器学习】【决策树】分类树|回归树学习笔记总结

决策树算法概述

基本概念

决策树：从根节点开始一步步走到叶子节点，每一步都是决策过程 对于判断的先后顺序把控特别严格 一旦将判断顺序进行变化则最终的结果将可能发生改变

往往将分类效果较佳的判断条件放在前面，即先初略分在进行细节分

所有的数据最终都将会落到叶子节点，树模型既可以做分类也可以做回归

树的组成：

根节点：第一个选择点

非叶子节点与分支：中间过程

叶子节点：最终的决策结果

决策树的训练与测试：

训练阶段：从给定的训练集构造出一棵树（从根节点开始选择特征，即判断条件等；如何进行特征切分）

测试阶段：根据构造出来的树模型从上至下运行一遍即可

熵

熵：是表示随机变量不确定性的度量，即物体内部的混乱程度

在实际运用过程中，熵值越低越好 在树模型构建时也是使得熵值降低的的好

信息增益

表示特征X使得类别Y的不确定性减少的程度。（分类后的专一性，希望分类后的结果是同类在一起）

即如何经过一个节点后左右子树的熵值之和比原来的要小，则信息增益为正

计算各个特征的信息增益，再选择最大的那个作为根节点 对于下一个节点其操作过程与选择根节点一致，每次都需要对剩下的特征进行遍历，选择出信息增益max的特征

信息增益存在的问题

当特征中存在非常稀疏，并且种类非常多的特征时，如id值 这时熵值经过该特征判断后值接近于0

信息增益率

公式为：信息增益/该节点的熵值

该方式很好的解决了信息增益所存在的问题

gini系数

如何处理连续值

选取连续值的哪个分界点：——对连续值的各个分界点进行尝试，判断每个分界点的信息增益率等，以选择最佳的分界点

剪枝策略

决策树过拟合风险很大，理论上可以将数据完全分开，即每个叶子节点只有一个数据

预剪枝

边建立决策树边进行剪枝操作

可以通过限制树的深度、叶子节点个数、叶子节点样本数、信息增益量等

预剪枝的参数都是需要通过实验不断的进行尝试来选择最佳参数的

后剪枝

建立完成决策树之后进行剪枝操作

在计算公式中ɑ的值需要自己设定，值越大说明希望自己的树模型越不过拟合，但是得到的结果可能不是很好；值越小说明希望结果好为主，对于过拟合程度不是很关注

C(T):gini系数或熵值

Tleaf：叶子节点个数

回归/分类问题解决

分类问题：

由于原始数据有自己的标签，对于最终的叶子节点，其类别所属类型使用众数方式，即何种类别数据多则该叶子节点属于该类型；

回归问题

回归由于没有具体的类别，因而无熵值。

判断标准：方差

在进行预测时该节点的节点值等于其平均数

树模型的可视化展示

下载安装包：Download | Graphviz

环境变量配置：GraphViz如何配置环境变量并保存图片-百度经验 (baidu.com)

import numpy as np
import os
# %matplotlib inline
import matplotlib
import matplotlib.pyplot as plt

plt.rcParams['axes.labelsize'] = 14
plt.rcParams['xtick.labelsize'] = 12
plt.rcParams['ytick.labelsize'] = 12
import warnings

warnings.filterwarnings('ignore')

'''导入鸢尾花数据集'''
from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier

iris = load_iris()
X = iris.data[:, 2:]
y = iris.target

'''创建决策树模型'''
tree_clf = DecisionTreeClassifier(max_depth=2)  ##max_depth限制决策树模型最大深度
tree_clf.fit(X,y)  ##模型训练

'''画图展示决策树模型'''
from sklearn.tree import export_graphviz

export_graphviz(
    tree_clf,  ##当前树模型  之前训练好的树模型
    out_file="iris_tree.dot",  ##输出文件 .dot文件  后续会将其转为图片文件
    feature_names=iris.feature_names[2:],  ##绘图时展示的特征名字
    class_names=iris.target_names,
    rounded=True,
    filled=True
)

将在文件夹中生成一个.dot文件，

再利用之前下载好的软件将该文件转为png图片文件

dot -Tpng iris_tree.dot -o iris_tree.png

将会得到对应的png图片

'''使用代码的方式展示照片'''
from IPython.display import Image
Image(filename="iris_tree.png",width=400,height=400)
##前提是已经将dot文件转为相关的照片格式

 

决策树的决策边界展示

import numpy as np
import os
# %matplotlib inline
import matplotlib
import matplotlib.pyplot as plt

plt.rcParams['axes.labelsize'] = 14
plt.rcParams['xtick.labelsize'] = 12
plt.rcParams['ytick.labelsize'] = 12
import warnings

warnings.filterwarnings('ignore')

'''导入鸢尾花数据集'''
from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier

iris = load_iris()
X = iris.data[:, 2:]
y = iris.target

'''创建决策树模型'''
tree_clf = DecisionTreeClassifier(max_depth=2)  ##max_depth限制决策树模型最大深度
tree_clf.fit(X, y)  ##模型训练

print(tree_clf.predict_proba([[5, 1.5]]))  ##预测概率值
'''绘制决策边界'''
from matplotlib.colors import ListedColormap


def plot_decision_boundary(clf, X, y, axes=[0, 7.5, 0, 3], iris=True, legend=False, plot_training=True):
    ##找特征
    x1s = np.linspace(axes[0], axes[1], 100)
    x2s = np.linspace(axes[2], axes[3], 100)
    # 构建棋盘
    x1, x2 = np.meshgrid(x1s, x2s)
    ##在棋盘中构建待测试数据
    X_new = np.c_[x1.ravel(), x2.ravel()]
    ##预测最终结果值
    y_pred = clf.predict(X_new).reshape(x1.shape)
    ##确定绘制的颜色  与等高线样式
    custom_cmap = ListedColormap(['#fafab0', '#9898ff', '#a0faa0'])
    plt.contourf(x1, x2, y_pred, alpha=0.3, cmap=custom_cmap)
    if not iris:
        custom_cmap2 = ListedColormap(['#7d7d58', '#4c4c7f', '#507d50'])
        plt.contour(x1, x2, y_pred, cmap=custom_cmap2, alpha=0.8)
    if plot_training:
        plt.plot(X[:, 0][y == 0], X[:, 1][y == 0], "yo", label="Iris-Setosa")
        plt.plot(X[:, 0][y == 1], X[:, 1][y == 1], "bs", label="Iris-Versicolor")
        plt.plot(X[:, 0][y == 2], X[:, 1][y == 2], "g^", label="Iris-Virginica")
        plt.axis(axes)
    if iris:
        plt.xlabel("Petal length", fontsize=14)
        plt.ylabel("Petal width", fontsize=14)
    else:
        plt.xlabel(r"$x_1$", fontsize=18)
        plt.ylabel(r"Sx_2$", fontsize=18, rotation=0)
    if legend:
        plt.legend(loc="lower right", fontsize=14)


plt.figure(figsize=(8, 4))
plot_decision_boundary(tree_clf, X, y)
###传入实际的位置值  即切割位置
plt.plot([2.45, 2.45], [0, 3], "k-", linewidth=2)
plt.plot([2.45, 7.5], [1.75, 1.75], "k--", linewidth=2)
plt.plot([4.95, 4.95], [0, 1.75], "k:", linewidth=2)
plt.plot([4.85, 4.85], [1.75, 3], "k:", linewidth=2)
plt.text(1.40, 1.0, "Depth=0", fontsize=15)
plt.text(3.2, 1.80, "Depth=1", fontsize=13)
plt.text(4.05, 0.5, "(Depth=2)", fontsize=11)
plt.title('Decision Tree decision boundaries')
plt.show()

 

树模型预剪枝参数作用

通常max_features不做限制,默认情况下全部使用，除非特征数非常多；max_depth（树最大的深度）

import numpy as np
import os
# %matplotlib inline
import matplotlib
import matplotlib.pyplot as plt

plt.rcParams['axes.labelsize'] = 14
plt.rcParams['xtick.labelsize'] = 12
plt.rcParams['ytick.labelsize'] = 12
import warnings

warnings.filterwarnings('ignore')

'''绘制决策边界'''
from matplotlib.colors import ListedColormap


def plot_decision_boundary(clf, X, y, axes=[0, 7.5, 0, 3], iris=True, legend=False, plot_training=True):
    ##找特征
    x1s = np.linspace(axes[0], axes[1], 100)
    x2s = np.linspace(axes[2], axes[3], 100)
    # 构建棋盘
    x1, x2 = np.meshgrid(x1s, x2s)
    ##在棋盘中构建待测试数据
    X_new = np.c_[x1.ravel(), x2.ravel()]
    ##预测最终结果值
    y_pred = clf.predict(X_new).reshape(x1.shape)
    ##确定绘制的颜色  与等高线样式
    custom_cmap = ListedColormap(['#fafab0', '#9898ff', '#a0faa0'])
    plt.contourf(x1, x2, y_pred, alpha=0.3, cmap=custom_cmap)
    if not iris:
        custom_cmap2 = ListedColormap(['#7d7d58', '#4c4c7f', '#507d50'])
        plt.contour(x1, x2, y_pred, cmap=custom_cmap2, alpha=0.8)
    if plot_training:
        plt.plot(X[:, 0][y == 0], X[:, 1][y == 0], "yo", label="Iris-Setosa")
        plt.plot(X[:, 0][y == 1], X[:, 1][y == 1], "bs", label="Iris-Versicolor")
        plt.plot(X[:, 0][y == 2], X[:, 1][y == 2], "g^", label="Iris-Virginica")
        plt.axis(axes)
    if iris:
        plt.xlabel("Petal length", fontsize=14)
        plt.ylabel("Petal width", fontsize=14)
    else:
        plt.xlabel(r"$x_1$", fontsize=18)
        plt.ylabel(r"Sx_2$", fontsize=18, rotation=0)
    if legend:
        plt.legend(loc="lower right", fontsize=14)


from sklearn.tree import DecisionTreeClassifier

from sklearn.datasets import make_moons

X, y = make_moons(n_samples=100, noise=0.25, random_state=53)  ##构造数据
tree_clf1 = DecisionTreeClassifier(random_state=42)
tree_clf2 = DecisionTreeClassifier(min_samples_leaf=4, random_state=42)  # 设置min_samples_leaf参数
tree_clf1.fit(X, y)
tree_clf2.fit(X, y)
##绘图展示对比
plt.figure(figsize=(12, 4))
plt.subplot(121)
plot_decision_boundary(tree_clf1, X, y, axes=[-1.5, 2.5, -1, 1.5], iris=False)
plt.title("min_samples_leaf=4")
plt.subplot(122)
plot_decision_boundary(tree_clf2, X, y, axes=[-1.5, 2.5, -1, 1.5], iris=False)
plt.title("No restrictions")
plt.show()

 

回归树模型

树模型对数据的形状较为敏感，当对数据进行旋转等变换后其得到的结果也是不同的

回归树与其他的不同的于 其使用的不是gini系数而是均方误差mse

import numpy as np
import os
# %matplotlib inline
import matplotlib
import matplotlib.pyplot as plt

plt.rcParams['axes.labelsize'] = 14
plt.rcParams['xtick.labelsize'] = 12
plt.rcParams['ytick.labelsize'] = 12
import warnings

warnings.filterwarnings('ignore')
'''构造数据'''
np.random.seed(42)
m = 200
X = np.random.rand(m, 1)
y = 4 * (X - 0.5) ** 2
y = y + np.random.randn(m, 1) / 10

'''导入包 但是不同于分类决策树的包'''

from sklearn.tree import DecisionTreeRegressor

tree_reg = DecisionTreeRegressor(max_depth=2)
tree_reg.fit(X, y)
from sklearn.tree import export_graphviz

export_graphviz(
    tree_reg,  ##当前树模型  之前训练好的树模型
    out_file="regression_tree.dot",  ##输出文件 .dot文件  后续会将其转为图片文件
    feature_names=["X1"],  ##绘图时展示的特征名字
    rounded=True,
    filled=True
)

sklearn工具包中都是使用CRT算法，即得到的都是二叉树

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/437780.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

python中的文件操作2

python中的文件操作2

文件遍历 在Python中，遍历文件通常指的是逐行读取文件中的内容。这种方式对于处理大型文件特别有用，因为它不需要一次性将整个文件加载到内存中。下面是几种常见的遍历文件内容的方法： 1. 使用with语句和for循环 这是最推荐的方式&#xf…
阅读更多...
[Java安全入门]三.URLDNS链

[Java安全入门]三.URLDNS链

一.前言 在初步学习java的序列化和反序列化之后，这里学习java反序列化漏洞的一个利用链，也是比较基础的一条链。 由于URLDNS不需要依赖第三方的包，同时不限制jdk的版本，所以通常用于检测反序列化的点。 二.代码展开分析 构造链 …
阅读更多...
appium解锁android真机系统的屏幕

appium解锁android真机系统的屏幕

在使用appium进行app自动化操作的过程中，经常遇到的第一个难题就是如何解锁系统屏幕，也就是亮屏解锁。 实际上解决办法如下：在desired_capabilities中增加两个参数unlockType和unlockKey，类似的示例代码如下： desire…
阅读更多...
2024年腾讯云优惠政策_腾讯云服务器特价购买活动入口

2024年腾讯云优惠政策_腾讯云服务器特价购买活动入口

腾讯云优惠活动2024新春采购节活动上线，云服务器价格已经出来了，云服务器61元一年起，配置和价格基本上和上个月没什么变化，但是新增了8888元代金券和会员续费优惠，腾讯云百科txybk.com整理腾讯云最新优惠活动云服务器配…
阅读更多...
Express学习（二）

Express学习（二）

Express路由 路由的概念 现实生活中的 路由：例如我们在拨打10086的时候，会让我们按指定的按键选择对应的服务，这里的路由就是按键和服务之间的映射关系。 Express中的路由 在Express中，路由指的是客户端的请求与服务器处理函数…
阅读更多...
基于STC系列单片机实现PNP型三极管S8550驱动共阳数码管或NPN型三极管S8050驱动共阴数码管功能

基于STC系列单片机实现PNP型三极管S8550驱动共阳数码管或NPN型三极管S8050驱动共阴数码管功能

Digitron.c #include "Digitron.h" //#include "Key.h" #define uchar unsigned char//自定义无符号字符型为uchar #define uint unsigned int//自定义无符号整数型为uint //uchar code DigitronBitCodeArray[] = {0x01,0x02,0x04,0x08,0x10,0x20,0x40,0x…
阅读更多...
AOP理解

AOP理解

AOP就是面向特定的方法进行编程，在不改动原始方法的基础上，可以增强原始方法的功能，或者改变某些功能，我们可以通过AOP记录数据库的操作日志 AOP的底层实现就是动态代理技术，在执行原始方法前，生成一个代理…
阅读更多...
【Linux】开始使用gdb吧！

【Linux】开始使用gdb吧！

开始使用gdb吧！ 1 下载安装2 开始使用3 实践运用补充一下 print 的 功能 （类似监视窗口的作用）和显示堆栈的功能Thanks♪(･ω･)ﾉ谢谢阅读！！！下一篇文章见！&am…
阅读更多...
JavaScript基础4之原型的原型继承、原型链和理解对象的数据属性、访问器属性

JavaScript基础4之原型的原型继承、原型链和理解对象的数据属性、访问器属性

JavaScript基础 原型原型继承问题解决 原型链isPrototypeOf()Object.getPrototypeOf() 理解对象数据属性访问器属性 原型 原型继承 继承是面向对象编程的另一个特征，通过继承进一步提升代码封装的程度，JavaScript中大多是借助原型对象实现继承的特性。…
阅读更多...
计算机基础专升本笔记十四-计算机网络基础（一）

计算机基础专升本笔记十四-计算机网络基础（一）

计算机基础专升本笔记十四-计算机网络基础（一） 一、计算机网络的发展历程 第一代计算机网络（数据通信） 以数据通信为主的第一代计算机网络。主要是指美国军方用于防控系统的一种联机系统。它只是计算机网络的雏形。 第二代计算…
阅读更多...
2022年浙江省职业院校技能大赛信息安全管理与评估 理论题答案

2022年浙江省职业院校技能大赛信息安全管理与评估 理论题答案

培训、环境、资料 公众号：Geek极安云科 网络安全群：775454947极安云科专注于技能提升，赋能 2024年广东省高校的技能提升，在培训中我们的应急响应环境 成功押题成功，知识点、考点、内容完美还原大赛赛题环境&#xff0c…
阅读更多...
比肩Gen-2，全新开源文生视频模型

比肩Gen-2，全新开源文生视频模型

著名开源平台Stability.ai在官网宣布，推出全新文生视频的扩散模型Stable Video Diffusion，已开源了该项目并公布了论文。 据悉，用户通过文本或图像就能生成高精准，14帧和25帧的短视频。目前，Stable Video Diffusion处…
阅读更多...
Vue+SpringBoot打造校园电商物流云平台

Vue+SpringBoot打造校园电商物流云平台

目录 一、摘要1.1 项目介绍1.2 项目录屏 二、功能模块2.1 数据中心模块2.2 商品数据模块2.3 快递公司模块2.4 物流订单模块 三、系统设计3.1 用例设计3.2 数据库设计3.2.1 商品表3.2.2 快递公司表3.2.3 物流订单表 四、系统展示五、核心代码5.1 查询商品5.2 查询快递公司5.3 查…
阅读更多...
基于YOLOv5的驾驶员疲劳驾驶行为​​​​​​​检测系统

基于YOLOv5的驾驶员疲劳驾驶行为​​​​​​​检测系统

💡💡💡本文主要内容:详细介绍了疲劳驾驶行为检测整个过程，从数据集到训练模型到结果可视化分析。 博主简介 AI小怪兽，YOLO骨灰级玩家，1）YOLOv5、v7、v8优化创新，轻松涨点和模型轻量…
阅读更多...
一次简单操作代替所有异常处理

一次简单操作代替所有异常处理

一、背景 在服务端处理前端发过来的响应的时候，开发者不可能穷尽用户的所有奇怪的操作。除此之外，我们还需要应付前端人员对我们的无情吐槽，你对XXXX请求返回的为啥是奇怪的响应数据呢？于是全局异常处理应运而生，一次处…
阅读更多...
高级控件

高级控件

1.下拉列表 package com.tiger.chapter08;import androidx.appcompat.app.AppCompatActivity;import android.os.Bundle; import android.view.View; import android.widget.AdapterView; import android.widget.ArrayAdapter; import android.widget.Spinner;public class Spi…
阅读更多...
tomcat搭建个人博客 实现动静分离

tomcat搭建个人博客 实现动静分离

jar包相关 .war：WebApp打包,类zip格式文件,通常包括一个应用的所有资源,比如jsp,html,配置文件等 .jar：EJB类文件的打包压缩类zip格式文件，,包括很多的class文件, 网景公司发明 .rar：资源适配器类打包文件，目前已不常…
阅读更多...
Pytorch学习 day06（torchvision中的datasets、dataloader）

Pytorch学习 day06（torchvision中的datasets、dataloader）

torchvision的datasets 使用torchvision提供的数据集API，比较方便，如果在pycharm中下载很慢，可以URL链接到迅雷中进行下载（有些URL链接在源码里）代码如下： import torchvision # 导入 torchvision 库 # …
阅读更多...
RISC-V架构学习资料整理

RISC-V架构学习资料整理

1、韦东山——D1S哪吒开发板的裸机代码仓库 https://github.com/bigmagic123/d1-nezha-baremeta 2、melis系统移植到D1S https://blog.51cto.com/u_13800193/6268813 3、韦东山的gitee仓库 https://gitee.com/weidongshan 4、D1S编译工具链下载 https://github.com/Tina-Linux/…
阅读更多...
第18课：让客户看了就满意的商业软文是如何练成的？

第18课：让客户看了就满意的商业软文是如何练成的？

选品上的注意事项 结合影视热点 通过追影视热点，找出能够跟产品贴合的点。在前面先道出痛点，痛点越深刻，用户对产品的过度才会更自然。 用户体验 真实体验才能真正写得出来。 结合时事热点 用的少，赶上了用就会效果很好&#xf…
阅读更多...
最新文章

Copyright @ 2022~2023