这是我的第246篇原创文章。
一、引言
pickle是Python 的标准库,用于序列化对象。可以使用 pickle.dump()将模型保存到文件,然后使用 pickle.load()从文件中加载模型。
序列化:指将一个对象转换为字节流,能够存储在文件或网络上,在python中使用pickle模块来实现。表现为将训练的模型保存为一个.pkl文件。
反序列化:指从字节流提取出对象。表现为运行应用程序时加载.pkl文件。
二、实现过程
2.1 数据准备与划分
将数据划分为训练集和测试集:
# 准备数据
data = pd.read_csv(r'Dataset.csv')
df = pd.DataFrame(data)
## 数据基本信息
cat_cols = [col for col in df.columns if df[col].dtype == "object"] # 类别型变量名
num_cols = [col for col in df.columns if df[col].dtype != "object"] # 数值型变量名
# 提取目标变量和特征变量
target = 'target'
features = df.columns.drop(target)
# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(df[features], df[target], test_size=0.2, random_state=0)
2.2 模型训练与保存
利用训练集进行训练模型:
# 模型的构建与训练
model = RandomForestClassifier()
model.fit(X_train, y_train)
# 使用 pickle 保存模型
with open('./random_forest_model.pkl', 'wb') as file:
pickle.dump(model, file)
模型保存为pkl文件:
2.3 模型推理与评价
加载训练好的模型(文件),输入测试集进行预测:
# 加载保存的模型
with open('./random_forest_model.pkl', 'rb') as file:
loaded_model = pickle.load(file)
print(loaded_model)
# 模型推理与评价
y_pred = loaded_model.predict(X_test)
y_scores = loaded_model.predict_proba(X_test)
acc = accuracy_score(y_test, y_pred) # 准确率acc
cm = confusion_matrix(y_test, y_pred) # 混淆矩阵
cr = classification_report(y_test, y_pred) # 分类报告
fpr, tpr, thresholds = roc_curve(y_test, y_scores[:, 1], pos_label=1) # 计算ROC曲线和AUC值,绘制ROC曲线
roc_auc = auc(fpr, tpr)
plt.figure()
plt.plot(fpr, tpr, color='darkorange', lw=2, label='ROC curve (area = %0.2f)' % roc_auc)
plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver Operating Characteristic')
plt.legend(loc="lower right")
plt.show()
结果:
作者简介:
读研期间发表6篇SCI数据挖掘相关论文,现在某研究院从事数据算法相关科研工作,结合自身科研实践经历不定期分享关于Python、机器学习、深度学习、人工智能系列基础知识与应用案例。致力于只做原创,以最简单的方式理解和学习,关注我一起交流成长。需要数据集和源码的小伙伴可以关注底部公众号添加作者微信。