博客网站的建设,金融企业网站制作,广州网站百度排名推广,求一个全部用div做的网站保存与加载
在训练网络模型的过程中#xff0c;实际上我们希望保存中间和最后的结果#xff0c;用于微调#xff08;fine-tune#xff09;和后续的模型推理与部署#xff0c;下面是介绍如何保存与加载模型。
先定义一个模型用#xff1a;
import numpy as np
import m…保存与加载
在训练网络模型的过程中实际上我们希望保存中间和最后的结果用于微调fine-tune和后续的模型推理与部署下面是介绍如何保存与加载模型。
先定义一个模型用
import numpy as np
import mindspore
from mindspore import nn
from mindspore import Tensordef network():model nn.SequentialCell(nn.Flatten(),nn.Dense(28*28, 512),nn.ReLU(),nn.Dense(512, 512),nn.ReLU(),nn.Dense(512, 10))return model 保存和加载模型权重 保存模型使用save_checkpoint接口传入网络和指定的保存路径 要加载模型权重需要先创建相同模型的实例然后使用load_checkpoint和load_param_into_net方法加载参数。 param_not_load是未被加载的参数列表为空时代表所有参数均加载成功。 model network()
mindspore.save_checkpoint(model, model.ckpt)model network()
param_dict mindspore.load_checkpoint(model.ckpt)
param_not_load, _ mindspore.load_param_into_net(model, param_dict)
print(param_not_load)
保存和加载MindIR
除Checkpoint外MindSpore提供了云侧训练和端侧推理统一的中间表示Intermediate RepresentationIR。可使用export接口直接将模型保存为MindIR。 MindIR同时保存了Checkpoint和模型结构因此需要定义输入Tensor来获取输入shape。 已有的MindIR模型可以方便地通过load接口加载传入nn.GraphCell即可进行推理。 nn.GraphCell仅支持图模式。 model network()
inputs Tensor(np.ones([1, 1, 28, 28]).astype(np.float32))
mindspore.export(model, inputs, file_namemodel, file_formatMINDIR)mindspore.set_context(modemindspore.GRAPH_MODE)graph mindspore.load(model.mindir)
model nn.GraphCell(graph)
outputs model(inputs)
print(outputs.shape)代码实现 使用静态图加速
背景介绍
AI编译框架分为两种运行模式分别是动态图模式以及静态图模式。MindSpore默认情况下是以动态图模式运行但也支持手工切换为静态图模式。两种运行模式的详细介绍如下
动态图模式
动态图的特点是计算图的构建和计算同时发生Define by run其符合Python的解释执行方式在计算图中定义一个Tensor时其值就已经被计算且确定因此在调试模型时较为方便能够实时得到中间结果的值但由于所有节点都需要被保存导致难以对整个计算图进行优化。
在MindSpore中动态图模式又被称为PyNative模式。由于动态图的解释执行特性在脚本开发和网络流程调试过程中推荐使用动态图模式进行调试。 如需要手动控制框架采用PyNative模式可以通过以下代码进行网络构建
import numpy as np
import mindspore as ms
from mindspore import nn, Tensor
ms.set_context(modems.PYNATIVE_MODE) # 使用set_context进行动态图模式的配置class Network(nn.Cell):def __init__(self):super().__init__()self.flatten nn.Flatten()self.dense_relu_sequential nn.SequentialCell(nn.Dense(28*28, 512),nn.ReLU(),nn.Dense(512, 512),nn.ReLU(),nn.Dense(512, 10))def construct(self, x):x self.flatten(x)logits self.dense_relu_sequential(x)return logitsmodel Network()
input Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))
output model(input)
print(output)
静态图模式
相较于动态图而言静态图的特点是将计算图的构建和实际计算分开Define and run。有关静态图模式的运行原理可以参考静态图语法支持。
在MindSpore中静态图模式又被称为Graph模式在Graph模式下基于图优化、计算图整图下沉等技术编译器可以针对图进行全局的优化获得较好的性能因此比较适合网络固定且需要高性能的场景。
如需要手动控制框架采用静态图模式可以通过以下代码进行网络构建
import numpy as np
import mindspore as ms
from mindspore import nn, Tensor
ms.set_context(modems.GRAPH_MODE) # 使用set_context进行运行静态图模式的配置class Network(nn.Cell):def __init__(self):super().__init__()self.flatten nn.Flatten()self.dense_relu_sequential nn.SequentialCell(nn.Dense(28*28, 512),nn.ReLU(),nn.Dense(512, 512),nn.ReLU(),nn.Dense(512, 10))def construct(self, x):x self.flatten(x)logits self.dense_relu_sequential(x)return logitsmodel Network()
input Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))
output model(input)
print(output)
静态图模式的使用场景
MindSpore编译器重点面向Tensor数据的计算以及其微分处理。因此使用MindSpore API以及基于Tensor对象的操作更适合使用静态图编译优化。其他操作虽然可以部分入图编译但实际优化作用有限。另外静态图模式先编译后执行的模式导致其存在编译耗时。因此如果函数无需反复执行那么使用静态图加速也可能没有价值。
有关使用静态图来进行网络编译的示例请参考网络构建。
静态图模式开启方式
通常情况下由于动态图的灵活性我们会选择使用PyNative模式来进行自由的神经网络构建以实现模型的创新和优化。但是当需要进行性能加速时我们需要对神经网络部分或整体进行加速。MindSpore提供了两种切换为图模式的方式分别是基于装饰器的开启方式以及基于全局context的开启方式。
基于装饰器的开启方式
MindSpore提供了jit装饰器可以通过修饰Python函数或者Python类的成员函数使其被编译成计算图通过图优化等技术提高运行速度。此时我们可以简单的对想要进行性能优化的模块进行图编译加速而模型其他部分仍旧使用解释执行方式不丢失动态图的灵活性。无论全局context是设置成静态图模式还是动态图模式被jit修饰的部分始终会以静态图模式进行运行。
在需要对Tensor的某些运算进行编译加速时可以在其定义的函数上使用jit修饰器在调用该函数时该模块自动被编译为静态图。需要注意的是jit装饰器只能用来修饰函数无法对类进行修饰。jit的使用示例如下
import numpy as np
import mindspore as ms
from mindspore import nn, Tensorclass Network(nn.Cell):def __init__(self):super().__init__()self.flatten nn.Flatten()self.dense_relu_sequential nn.SequentialCell(nn.Dense(28*28, 512),nn.ReLU(),nn.Dense(512, 512),nn.ReLU(),nn.Dense(512, 10))def construct(self, x):x self.flatten(x)logits self.dense_relu_sequential(x)return logitsinput Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))ms.jit # 使用ms.jit装饰器使被装饰的函数以静态图模式运行
def run(x):model Network()return model(x)output run(input)
print(output)
除使用修饰器外也可使用函数变换方式调用jit方法示例如下
import numpy as np
import mindspore as ms
from mindspore import nn, Tensorclass Network(nn.Cell):def __init__(self):super().__init__()self.flatten nn.Flatten()self.dense_relu_sequential nn.SequentialCell(nn.Dense(28*28, 512),nn.ReLU(),nn.Dense(512, 512),nn.ReLU(),nn.Dense(512, 10))def construct(self, x):x self.flatten(x)logits self.dense_relu_sequential(x)return logitsinput Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))def run(x):model Network()return model(x)run_with_jit ms.jit(run) # 通过调用jit将函数转换为以静态图方式执行
output run(input)
print(output)
当我们需要对神经网络的某部分进行加速时可以直接在construct方法上使用jit修饰器在调用实例化对象时该模块自动被编译为静态图。示例如下
import numpy as np
import mindspore as ms
from mindspore import nn, Tensorclass Network(nn.Cell):def __init__(self):super().__init__()self.flatten nn.Flatten()self.dense_relu_sequential nn.SequentialCell(nn.Dense(28*28, 512),nn.ReLU(),nn.Dense(512, 512),nn.ReLU(),nn.Dense(512, 10))ms.jit # 使用ms.jit装饰器使被装饰的函数以静态图模式运行def construct(self, x):x self.flatten(x)logits self.dense_relu_sequential(x)return logitsinput Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))
model Network()
output model(input)
print(output)
基于context的开启方式
context模式是一种全局的设置模式。代码示例如下
import numpy as np
import mindspore as ms
from mindspore import nn, Tensor
ms.set_context(modems.GRAPH_MODE) # 使用set_context进行运行静态图模式的配置class Network(nn.Cell):def __init__(self):super().__init__()self.flatten nn.Flatten()self.dense_relu_sequential nn.SequentialCell(nn.Dense(28*28, 512),nn.ReLU(),nn.Dense(512, 512),nn.ReLU(),nn.Dense(512, 10))def construct(self, x):x self.flatten(x)logits self.dense_relu_sequential(x)return logitsmodel Network()
input Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))
output model(input)
print(output) 静态图的语法约束
在Graph模式下Python代码并不是由Python解释器去执行而是将代码编译成静态计算图然后执行静态计算图。因此编译器无法支持全量的Python语法。MindSpore的静态图编译器维护了Python常用语法子集以支持神经网络的构建及训练。详情可参考静态图语法支持。
JitConfig配置选项
在图模式下可以通过使用JitConfig配置选项来一定程度的自定义编译流程目前JitConfig支持的配置参数如下
jit_level: 用于控制优化等级。exec_mode: 用于控制模型执行方式。jit_syntax_level: 设置静态图语法支持级别详细介绍请见静态图语法支持。 代码实现 目录
保存与加载
保存和加载模型权重
保存和加载MindIR
代码实现 使用静态图加速
背景介绍
动态图模式
静态图模式
静态图模式的使用场景
静态图模式开启方式
基于装饰器的开启方式
基于context的开启方式
静态图的语法约束
JitConfig配置选项 代码实现
