定义
决策树是一种可以用来解决回归和分类的问题的算法
决策树使用树形结构,通过叶子节点上的条件层层推理,得到最终的结果
例如:通过上面的简单决策,我们可以通过形状这一条件决策出水果属于哪一类。
决策树的学习结果和取什么规则来进行决策息息相关
决策树理解很简单,易于解释,决策树可视,因此,使用很广泛。
构建决策树的步骤
1. 特征选择
选择最有效的决策规则
2. 决策树生成
对选择的特征进行排列,以信息增益为准则进行决策树的构建
3. 决策树剪枝
防止决策树过拟合
决策树的优缺点
优点
- 易于理解,决策树可视化,容易提取出特征
- 测试数据集时,运行速度比较快
- 可以同时处理标称型和数值型数据
- 能够处理不相关的特征
缺点
- 容易发生过拟合(随机森林可以很大程度上减少过拟合);
- 容易忽略数据集中属性的相互关联;
- 对于那些各类别样本数量不一致的数据,在决策树中,进行属性划分时,不同的判定准则会带来不同的属性选择倾向;信息增益准则对可取数目较多的属性有所偏好(典型代表ID3算法),而增益率准则(CART)则对可取数目较少的属性有所偏好,但CART进行属性划分时候不再简单地直接利用增益率尽心划分,而是采用一种启发式规则)(只要是使用了信息增益,都有这个缺点,如RF)。
- ID3算法计算信息增益时结果偏向数值比较多的特征。
参考
一文看懂决策树 - Decision tree(3个步骤+3种典型算法+10个优缺点)