周到的企业网站建设,会员管理系统代码,网络推广员是干什么的,名师工作室网站建设建议目标
用paddlepaddle来重写之前那个手写的梯度下降方案#xff0c;简化内容
流程
实际上就做了几个事#xff1a;
数据准备#xff1a;将一个批次的数据先转换成nparray格式#xff0c;再转换成Tensor格式前向计算#xff1a;将一个批次的样本数据灌入网络中#xff…目标
用paddlepaddle来重写之前那个手写的梯度下降方案简化内容
流程
实际上就做了几个事
数据准备将一个批次的数据先转换成nparray格式再转换成Tensor格式前向计算将一个批次的样本数据灌入网络中计算出结果计算损失函数以前向计算的结果和真是房价作为输入通过算是函数sqare_error_cost计算出损失函数。反向传播执行梯度反向传播backward函数即从后到前逐层计算每一层的梯度并根据设置的优化算法更新参数(opt.step函数)。
paddlepaddle做了什么
paddle库替你做了前向计算和损失函数计算以及反向传播相关的计算函数
数据准备
这部分代码和之前一样读取数据是独立的 点击查看代码
#数据划分函数不依赖库还是自己读
def load_data():# 从文件导入数据datafile ./work/housing.datadata np.fromfile(datafile, sep , dtypenp.float32)# 每条数据包括14项其中前面13项是影响因素第14项是相应的房屋价格中位数feature_names [ CRIM, ZN, INDUS, CHAS, NOX, RM, AGE, \DIS, RAD, TAX, PTRATIO, B, LSTAT, MEDV ]feature_num len(feature_names)# 将原始数据进行Reshape变成[N, 14]这样的形状data data.reshape([data.shape[0] // feature_num, feature_num])# 将原数据集拆分成训练集和测试集# 这里使用80%的数据做训练20%的数据做测试# 测试集和训练集必须是没有交集的ratio 0.8offset int(data.shape[0] * ratio)training_data data[:offset]# 计算train数据集的最大值最小值maximums, minimums training_data.max(axis0), training_data.min(axis0)# 记录数据的归一化参数在预测时对数据做归一化global max_valuesglobal min_valuesmax_values maximumsmin_values minimums# 对数据进行归一化处理for i in range(feature_num):data[:, i] (data[:, i] - min_values[i]) / (maximums[i] - minimums[i])# 训练集和测试集的划分比例training_data data[:offset]test_data data[offset:]return training_data, test_data
定义一个依赖paddle库的类 点击查看代码
class Regressor(paddle.nn.Layer):#self代表对象自身def __init__(self):#初始化父类的参数super(Regressor, self).__init__()#定义一层全连接层输入维度是13输出维度是1self.fc Linear(in_features13, out_features1)#网络的前向计算函数def forward(self, inputs):x self.fc(inputs)return x在上面这个类中不论是前向计算还是初始化都是继承了这个paddle.nn.Layer类用其内部的成员函数执行的
代码
我们定义一个循环来执行这个流程如下 点击查看代码
EPOCH_NUM 10 # 设置外层循环次数
BATCH_SIZE 10 # 设置batch大小# 定义外层循环
for epoch_id in range(EPOCH_NUM):# 在每轮迭代开始之前将训练数据的顺序随机的打乱np.random.shuffle(training_data)# 将训练数据进行拆分每个batch包含10条数据mini_batches [training_data[k:kBATCH_SIZE] for k in range(0, len(training_data), BATCH_SIZE)]# 定义内层循环for iter_id, mini_batch in enumerate(mini_batches):x np.array(mini_batch[:, :-1]) # 获得当前批次训练数据y np.array(mini_batch[:, -1:]) # 获得当前批次训练标签真实房价# 将numpy数据转为飞桨动态图tensor的格式house_features paddle.to_tensor(x)prices paddle.to_tensor(y)# 前向计算predicts model(house_features)# 计算损失loss F.square_error_cost(predicts, labelprices)avg_loss paddle.mean(loss)if iter_id%200:print(epoch: {}.format(epoch_id))print(iter: {}.format(str(iter_id)))print(loss is : {}.format(float(avg_loss)))# 反向传播计算每层参数的梯度值avg_loss.backward()# 更新参数根据设置好的学习率迭代一步opt.step()# 清空梯度变量以备下一轮计算opt.clear_grad()保存模型
在梯度下降得到一个模型了之后可以把这个神经网络模型保存下来 点击查看代码
paddle.save(model.state_dict(), LR_model.pdparams)
print(模型保存成功模型参数保存在LR_model.pdparams中)读取模型
在启动模型之前当然可以读取这样一个模型 点击查看代码
def load_one_example():# 从上边已加载的测试集中随机选择一条作为测试数据idx np.random.randint(0, test_data.shape[0])idx -10one_data, label test_data[idx, :-1], test_data[idx, -1]# 修改该条数据shape为[1,13]one_data one_data.reshape([1,-1])return one_data, label # 参数为保存模型参数的文件地址
#读取保存模型
model_dict paddle.load(LR_model.pdparams)
model.load_dict(model_dict) #读取模型文件
model.eval() #转变为预测模式尝试进行预测 点击查看代码
# 参数为数据集的文件地址
one_data, label load_one_example()
# 将数据转为动态图的variable格式
one_data paddle.to_tensor(one_data)
#model是定义的模型这个model(one_data)实际上是对one_Data进行了一次前向传播
predict model(one_data)# 因为这个predict的值实际上是做了归一化处理的所以这里需要进行反归一化处理
predict predict * (max_values[-1] - min_values[-1]) min_values[-1]
# 对label数据做反归一化处理
label label * (max_values[-1] - min_values[-1]) min_values[-1]#模型预测值是22.72234,实际值是19.700000762939453
print(Inference result is {}, the corresponding label is {}.format(predict.numpy(), label))
