昇思25天学习打卡营第8天|保存与加载

一、简介：

上一章节主要介绍了如何调整超参数，并进行网络模型训练。在训练网络模型的过程中，实际上我们希望保存中间和最后的结果，用于微调（fine-tune）和后续的模型推理与部署，本章节我们将介绍如何保存与加载模型。

二、环境准备：

没有安装MindSpore的小伙伴们，可以参考我的昇思25天学习打卡营第1天|快速入门-CSDN博客

import numpy as np
import time
import mindspore
from mindspore import nn
from mindspore import Tensor

再构建一个神经网络用于下面的操作：

def network():
    model = nn.SequentialCell(
                nn.Flatten(),
                nn.Dense(28*28, 512),
                nn.ReLU(),
                nn.Dense(512, 512),
                nn.ReLU(),
                nn.Dense(512, 10))
    return model

三、模型的保存和加载：

在MindSpore中，我们可以使用save_checkpoint接口，传入网络和指定的保存路径用以保存模型的参数，并使用load_checkpoint和load_param_into_net加载已经保存好的参数。

model = network()
mindspore.save_checkpoint(model, "model.ckpt")

# 在加载保存的参数之前，需要先构建相同的实例化参数：
model = network()
param_dict = mindspore.load_checkpoint("model.ckpt")
param_not_load, _ = mindspore.load_param_into_net(model, param_dict)
print(param_not_load)
print(time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time())), 'VertexGeek')

四、保存和加载MindIR:

除Checkpoint外，MindSpore提供了云侧（训练）和端侧（推理）统一的中间表示（Intermediate Representation，IR）。可使用export接口直接将模型保存为MindIR。已有的MindIR模型可以方便地通过load接口加载，传入nn.GraphCell即可进行推理。

model = network()
inputs = Tensor(np.ones([1, 1, 28, 28]).astype(np.float32))
mindspore.export(model, inputs, file_name="model", file_format="MINDIR")

mindspore.set_context(mode=mindspore.GRAPH_MODE)

graph = mindspore.load("model.mindir")
model = nn.GraphCell(graph)
outputs = model(inputs)
print(outputs.shape)
print(time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time())), 'VertexGeek')

① model = network()：这行代码创建了一个神经网络模型。network()在环境准备阶段定义好了的网络结构的函数，返回一个MindSpore的模型对象。

②inputs = Tensor(np.ones([1, 1, 28, 28]).astype(np.float32))：这行代码创建了一个输入张量，形状为[1, 1, 28, 28]，这意味着输入是一个单通道的28x28像素的图像。这个张量的所有值都被初始化为1，并且数据类型是浮点数。

③mindspore.export(model, inputs, file_name="model", file_format="MINDIR")：这行代码将模型导出为MINDIR格式。model是要导出的模型，inputs是模型的输入张量，file_name指定了导出文件的名称（没有指定路径，默认为当前目录），file_format指定了导出的文件格式为MINDIR。

④mindspore.set_context(mode=mindspore.GRAPH_MODE)：这行代码设置MindSpore的执行模式为图模式（GRAPH_MODE）。MindSpore支持图模式和PyNative模式，图模式提供了更好的性能和易于优化的执行图（其实这里是因为nn.GraphCell只支持图模式（doge））。