【Sklearn-驯化】一文搞懂机器学习树模型建模可视化过程

【Sklearn-驯化】一文搞懂机器学习树模型建模可视化过程

本次修炼方法请往下查看
在这里插入图片描述

🌈 欢迎莅临我的个人主页 👈这里是我工作、学习、实践 IT领域、真诚分享 踩坑集合，智慧小天地！
🎇 免费获取相关内容文档关注：微信公众号，发送 pandas 即可获取
🎇 相关内容视频讲解 B站

🎓 博主简介：AI算法驯化师，混迹多个大厂搜索、推荐、广告、数据分析、数据挖掘岗位 个人申请专利40+，熟练掌握机器、深度学习等各类应用算法原理和项目实战经验。

🔧 技术专长：在机器学习、搜索、广告、推荐、CV、NLP、多模态、数据分析等算法相关领域有丰富的项目实战经验。已累计为求职、科研、学习等需求提供近千次有偿|无偿定制化服务，助力多位小伙伴在学习、求职、工作上少走弯路、提高效率，近一年好评率100% 。

📝 博客风采：积极分享关于机器学习、深度学习、数据分析、NLP、PyTorch、Python、Linux、工作、项目总结相关的实用内容。

文章目录

- 🎯 1. 环境配置
- 💡 2. 使用方法
- - 2.1 使用决策树进行可视化
  - 2.2 xgb可视化
- 🔍 3. 注意事项

🎯 1. 环境配置

不管用哪种可视化的模型，都需要配置graphviz图形驱动用来对结果进行展示，Graphviz 是一个绘制关系图/流程图的工具包，使用它提供的 dot-language ，可以在文本中通过嵌入绘制代码的方式实现图的绘制。如果在mac电脑中相对比较好安装，具体的安装如下所示：

brew install graphviz

为了能够展示树的决策的节点过程，还需要安装pydotplus包，具体的安装办法如下所示：

pip install pydotplus

💡 2. 使用方法

决策树是一种模仿人类决策过程的分类和预测算法。它们通过一系列的问题将数据分割成越来越小的子集，直到每个子集可以被分类到特定的输出类别或预测值。：

2.1 使用决策树进行可视化

可视化决策树可以帮助我们理解模型是如何做出决策的。具体二叉树的可视化，如下所示


clf = tree.DecisionTreeClassifier()
clf = clf.fit(train_x, train_y)

import pydotplus
from IPython.display import Image
dot_data = tree.export_graphviz(clf, out_file=None, 
                         feature_names=df_all.columns.tolist()[:-1],  
                         class_names=['0','1','2'], 
                         filled=True, rounded=True, special_characters=False)  
graph = pydotplus.graph_from_dot_data(dot_data)
graph.set('label', 'Tree 30 from  Xgboost Tree')
graph.set('labelloc', 't')
# 遍历节点
# 获取图中所有节点
nodes = graph.get_node_list()
for index, node in enumerate(nodes):
    # 判断节点名称是否为'node'，即右上方背景框
    if node.get_name().startswith('node'):
        # 设置节点样式和属性
        
        node.set('style', 'filled')
        # node.set('color', 'none')
Image(graph.create_png())
graph.write_png('decision_tree.png')

具体的结果如下所示：
在这里插入图片描述

2.2 xgb可视化

除了使用决策树之外，我们可以很清楚的看出来树分裂的过程，但是都是单次的，而且二叉树的效果也很一般，因此，对于xgb的可视化的例子具体如下所示：

import xgboost as xgb
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
from sklearn.metrics import classification_report

# 创建XGBoost分类器
xgb_model = xgb.XGBClassifier(objective='multi:softmax', num_class=3, n_estimators=30, min_child_weight=1, subsample=0.9)

X_train, X_test= train_test_split(df_all, stratify=df['y'], test_size=0.2, random_state=56)
train_x, train_y = X_train.drop(['y'], axis=1), X_train['y']
test_x, test_y = X_test.drop(['y'], axis=1), X_test['y']
xgb_model.fit(train_x, train_y, verbose=2, eval_set=[(train_x, train_y),(test_x, test_y)])
xgb.to_graphviz(xgb_model, num_trees=10)