网站空间多大合适,中国人做外贸网站都卖什么,上海网站的优化,神马网站快速排名案例一 网络层和块
单个神经网络#xff08;1#xff09;接受一些输入#xff1b;#xff08;2#xff09;生成相应的标量输出#xff1b;#xff08;3#xff09;具有一组相关 参数#xff08;parameters#xff09;#xff0c;更新这些参数 可以优化某目标函数。
当…一 网络层和块
单个神经网络1接受一些输入2生成相应的标量输出3具有一组相关 参数parameters更新这些参数 可以优化某目标函数。
当考虑具有 多个输出的网络 时我们利用矢量化算法来描述整层神经元。像单个神经元一样层1 接受一组输入2生成相应的输出3由 一组可调整参数 描述。当我们使用softmax回归时一个单层本 身就是模型。对于多层感知机而言整个模型及其组成层都是这种架构。整个模型接受原始输入特征生成输出预测并包含一些参数所有组成层的参数集合。同样每个单独的层接收输入由前一层提供生成输出 到下一层的输入并且具有一组可调参数这些参数根据从下一层反向传播的信号进行更新。
研究讨论 “比单个层大”但“比整个模型小”的组件 更有价值。例如在计算机视觉中广泛流行 的ResNet‐152架构就有数百层这些层是由 层组groups of layers的重复模式 组成。
为了实现这些复杂的网络我们引入了 神经网络块 的概念。块block可以描述单个层、由多个层组成的组 件或整个模型本身。使用块进行抽象的一个好处是可以将一些块组合成更大的组件这一过程通常是递归的通过定义代码来按需生成任意复杂度的块我们可以 通过简洁的代码实现复杂的神经网络 。
从编程的角度来看块由类class表示。它的任何子类都必须定义一个将其输入转换为输出的前向传播函 数并且必须存储任何必需的参数。注意有些块不需要任何参数。最后为了计算梯度块必须具有反向 传播函数。在定义我们自己的块时由于 自动微分 提供了一些后端实现我们只需要 考虑前向传播函数和必需的参数 。
在构造自定义块之前我们先回顾一下多层感知机的代码。下面的代码生成一个网络其中 包含一 个具有256个单元和ReLU激活函数的全连接隐藏层然后是一个 具有10个隐藏单元且不带激活函数的全连接 输出层。
import torch
from torch import nn
from torch.nn import functional as Fnet nn.Sequential(nn.Linear(20, 256),nn.ReLU(),nn.Linear(256, 10))
x torch.rand(2, 20)
net(x)
# tensor([[-0.0623, -0.0274, -0.2331, -0.0459, 0.0158, -0.2020, 0.1520, -0.0947,
# -0.0174, -0.1227],
# [-0.0661, -0.1481, -0.2220, -0.0799, 0.0868, -0.2966, 0.0611, -0.0926,
# 0.1705, -0.1844]], grad_fnAddmmBackward0)
我们通过实例化nn.Sequential来构建我们的模型层的执行顺序是作为参数传递的。简而言 之nn.Sequential定义了一种特殊的Module即在PyTorch中表示一个块的类它维护了一个由Module组成 的有序列表。 1.1 自定义 MLP块
在实现我们自定义块之前我们简要总 结一下每个块必须提供的基本功能。
将输入数据作为其前向传播函数的参数。通过前向传播函数来生成输出。请注意输出的形状可能与输入的形状不同。例如我们上面模型中的 第一个全连接的层接收一个20维的输入但是返回一个维度为256的输出。计算其输出关于输入的梯度可通过其反向传播函数进行访问。通常这是自动发生的。存储和访问前向传播计算所需的参数。根据需要初始化模型参数。
从零开始编写一个块。它包含一个多层感知机其具有256个隐藏单元的隐藏层和一 个10维输出层。注意下面的MLP类继承了表示块的类。我们的实现 只需要提供我们自己的构造函数Python中 的__init__函数和 前向传播函数。
class MLP(nn.Module):def __init__(self):super().__init__()self.hidden nn.Linear(20, 256)self.out nn.Linear(256, 10)def forward(self, x):return self.out(F.relu(self.hidden(x)))net MLP()
net(x)
# tensor([[ 0.1071, -0.0359, 0.1099, -0.0187, -0.1082, 0.2240, 0.1722, -0.0395,
# 0.1113, -0.1054],
# [ 0.0774, -0.0566, 0.0681, -0.0103, -0.1178, 0.3237, 0.1305, -0.0296,
# 0.2475, -0.0299]], grad_fnAddmmBackward0) 1.2 顺序块
现在我们可以更仔细地看看 Sequential类 是如何工作的回想一下Sequential的设计是为了把其他模块串起 来。为了构建我们自己的简化的MySequential我们只需要定义 两个关键函数
一种将块逐个追加 到列表中的函数一种 前向传播函数用于 将输入按追加块的顺序传递 给块组成的“链条”。
下面的 MySequential类 提供了与默认Sequential类相同的功能。
class MySequential(nn.Module):def __init__(self, *args):super().__init__()for idx, module in enumerate(args):self._modules[str(idx)] moduledef forward(self, x):for block in self._modules.values():x block(x)return xnet MySequential(nn.Linear(20, 256),nn.ReLU(),nn.Linear(256, 10))
net(x)
# tensor([[-0.2334, -0.0205, -0.1584, -0.0673, -0.0580, 0.1391, -0.3126, 0.0790,
# 0.0275, 0.1145],
# [-0.1682, 0.0906, -0.1422, -0.0216, -0.0185, 0.0337, -0.3259, 0.0087,
# -0.0530, 0.0759]], grad_fnAddmmBackward0)
__init__函数将每个模块逐个添加 到有序字典_modules中。 1.3 在前向传播函数中执行代码
Sequential类使模型构造变得简单允许我们组合新的架构而不必定义自己的类。我们可能希望在前向传播 函数中执行Python的控制流。此外我们可能希望执行任意的数学运算而不是简单地依赖预定义的神经网 络层。
我们 网络中的所有操作都对网络的激活值及网络的参数起作用。有时我们可能 希望合并 既不是上一层的结果也不是可更新参数的项我们称之为 常数参数constant parameter。
class FixedHiddenMLP(nn.Module):def __init__(self):super().__init__()self.rand_weight torch.rand((20, 20), requires_gradFalse)self.linear nn.Linear(20, 20)def forward(self, x):x self.linear(x)x F.relu(torch.mm(x, self.rand_weight) 1)x self.linear(x)while x.abs().sum() 1:x / 2return x.sum()net FixedHiddenMLP()
net(x)
# tensor(-0.1004, grad_fnSumBackward0)
在这个FixedHiddenMLP模型中我们 实现了一个隐藏层其权重self.rand_weight在实例化时被随机初始化之后为常量。
我们可以 混合搭配各种组合块 的方法。在下面的例子中我们以一些想到的方法嵌套块。
class NestMLP(nn.Module):def __init__(self):super().__init__()self.net nn.Sequential(nn.Linear(20, 64), nn.ReLU(),nn.Linear(64, 32), nn.ReLU())self.linear nn.Linear(32, 16)def forward(self, x):return self.linear(self.net(x))net nn.Sequential(NestMLP(), nn.Linear(16, 20), FixedHiddenMLP())
net(x)# tensor(-0.2628, grad_fnSumBackward0)
小结
一个块可以由许多层组成一个块可以由许多块 组成。块可以包含代码。块负责大量的内部处理包括参数初始化和反向传播。层和块的顺序 连接由Sequential块 处理。 二 参数管理
在 选择了架构并设置了超参数后我们就进入了训练阶段。此时我们的目标是找到使损失函数最小化的模型参数值。我们的目标是 找到使损失函数最小化的模型参数值。经过训练后我们将需要 使用这些参数来做出未来的预测。
首先看一下 具有单隐藏层的多层感知机。
import torch
from torch import nnnet nn.Sequential(nn.Linear(4, 8),nn.ReLU(),nn.Linear(8, 1))
x torch.rand(size(2, 4))
net(x)# tensor([[-0.1399],
# [-0.1824]], grad_fnAddmmBackward0)
2.1 参数访问
我们从已有模型中 访问参数。当 通过Sequential类定义模型 时我们 可以通过索引来访问模型的任意层。这就像模型是一个列表一样每层的参数都在其属性中。如下所示我们可以检查第二个全连接层的参数。
print(net[2].state_dict())# OrderedDict([(weight, tensor([[-0.1551, 0.0119, -0.2359, -0.1020, 0.3216, -0.0773,
# 0.1579, -0.2118]])), (bias, tensor([-0.0633]))])
这个全连接层包含两个参数分别是该层的权重和偏置。两者都存储为单精度浮点数float32。注意参数名称允许唯一标识每个参数即使在包含数百个层的网络中也是如此。
每个参数都表示为参数类的一个实例。要对参数执行任何操作首先我们需要访问底层的数值。下面的代码 从第二个全连接层提取偏置提取后返回的是一个参数类实例并进一步访问该参数的值。
print(type(net[2].bias))
print(net[2].bias)
print(net[2].bias.data)# class torch.nn.parameter.Parameter
# Parameter containing:
# tensor([-0.0633], requires_gradTrue)
# tensor([-0.0633])
参数是复合的对象包含值、梯度和额外信息。这就是我们需要显式参数值的原因。除了值之外我们还可 以访问每个参数的梯度。在上面这个网络中由于我们还没有调用反向传播所以参数的梯度处于初始状态。
net[2].weight.grad None
# True
一次性访问所有参数当我们需要对所有参数执行操作时逐个访问它们可能会很麻烦。当我们处理更复杂的块例如嵌套块 时情况可能会变得特别复杂因为我们需要递归整个树来提取每个子块的参数。下面我们将通过演示来 比较访问第一个全连接层的参数和访问所有层。
print(*[(name, param.shape) for name, param in net[0].named_parameters()])
print(*[(name, param.shape) for name, param in net.named_parameters()])# (weight, torch.Size([8, 4])) (bias, torch.Size([8]))
# (0.weight, torch.Size([8, 4])) (0.bias, torch.Size([8]))
# (2.weight, torch.Size([1, 8])) (2.bias, torch.Size([1]))
net.state_dict()[2.bias].data
# tensor([-0.0633])
2.2 从嵌套块收集参数
如果我们 将多个块相互嵌套参数命名约定是如何工作的。我们首先 定义一个生成块的函数然后将这些块组合到更大的块中。
def block1():return nn.Sequential(nn.Linear(4, 8), nn.ReLU(),nn.Linear(8, 4), nn.ReLU())def block2():net nn.Sequential()for i in range(4):net.add_module(fblock {i}, block1())return netrgnet nn.Sequential(block2(), nn.Linear(4, 1))
rgnet(x)# tensor([[0.0523],
# [0.0526]], grad_fnAddmmBackward0)
设计了网络后我们看看它是如何工作的
print(rgnet) rgnet[0][1][0].bias.data
# tensor([-0.0168, -0.2004, 0.2405, 0.4927, -0.4288, 0.2842, 0.1791, -0.4535])
2.3 参数初始化
内置初始化让我们首先调用内置的初始化器。下面的代码 将所有权重参数初始化为标准差为0.01的高斯随机变量且将 偏置参数设置为0。
def init_normal(m):if type(m) nn.Linear:nn.init.normal_(m.weight, mean0, std0.01)nn.init.zeros_(m.bias)
net.apply(init_normal)
net[0].weight.data[0], net[0].bias.data[0]# (tensor([ 0.0027, 0.0009, -0.0121, 0.0037]), tensor(0.))
常数初始化我们还可以将所有参数初始化为给定的常数比如初始化为1。
def init_constant(m):if type(m) nn.Linear:nn.init.constant_(m.weight, 1)nn.init.zeros_(m.bias)net.apply(init_constant)
net[0].weight.data[0], net[0].bias.data[0]# (tensor([1., 1., 1., 1.]), tensor(0.))
Xavier初始化 方法初始化第一个神经网络层然后将第三个神经网络层初始化为常量值42。
def init_xavier(m):if type(m) nn.Linear:nn.init.xavier_uniform_(m.weight)def init_42(m):if type(m) nn.Linear:nn.init.constant_(m.weight, 42)net[0].apply(init_xavier)
net[2].apply(init_42)
print(net[0].weight.data[0])
print(net[2].weight.data)# tensor([-0.2505, 0.2279, -0.2505, -0.4728])
# tensor([[42., 42., 42., 42., 42., 42., 42., 42.]])
自定义初始化有时深度学习框架没有提供我们需要的初始化方法。在下面的例子中我们使用以下的分布为任意权重参 数w定义初始化方法同样我们实现了一个my_init函数来应用到net。
def my_init(m):if type(m) nn.Linear:print(init, *[(name, param.shape) for name, param in m.named_parameters()][0])nn.init.uniform_(m.weight, -10, 10)m.weight.data * m.weight.data.abs() 5net.apply(my_init)
net[0].weight[:2]# tensor([[-7.0848, 0.0000, -6.0501, 0.0000],
# [ 0.0000, -6.4478, -6.0328, 0.0000]], grad_fnSliceBackward0)
我们始终 可以直接设置参数。
net[0].weight.data[:] 1
net[0].weight.data[0, 0] 42
net[0].weight.data[0]# tensor([42., 1., 1., 1.])
参数绑定有时我们希望在 多个层间共享参数我们可以定义一个稠密层然后使用它的参数来设置另一个层的参数
shared nn.Linear(8, 8)
net nn.Sequential(nn.Linear(4, 8), nn.ReLU(),shared, nn.ReLU(),shared, nn.ReLU(),nn.Linear(8, 1))
net(x)
print(net[2].weight.data[0] net[4].weight.data[0])
net[2].weight.data[0, 0] 100
print(net[2].weight.data[0] net[4].weight.data[0])# tensor([True, True, True, True, True, True, True, True])
# tensor([True, True, True, True, True, True, True, True])
2.4 参数延后初始化
到目前为止我们忽略了建立网络时需要做的以下这些事情
我们定义了网络架构但 没有指定输入维度。我们添加层时 没有指定前一层的输出维度。我们在初始化参数时甚至没有足够的信息来确定模型应该包含多少参数。
延后初始化即直到数据第一次通过模型传递时框架才会 动态地推断出每个层的大小。
当使用卷积神经网络时由于 输入维度即图像的分辨率将影响每个后续层的维数有了该技术 将更加方便。现在我们 在编写代码时无须知道维度是什么就可以设置参数这种能力可以大大简化定义和修 改模型的任务。接下来我们将更深入地 研究初始化机制。
延后初始化使框架能够自动推断参数形状使修改模型架构变得容易避免了一些常见的错误。我们可以通过模型传递数据使框架最终初始化参数。 三 自定义层
3.1 不带参数的层
首先我们构造一个没有任何参数的自定义层。下面的CenteredLayer类要 从其输入中减去均值。要构建它我们只需 继承基础层类并实现前向传播 功能。
import torch
import torch.nn.functional as F
from torch import nnclass CenteredLayer(nn.Module):def __init__(self):super().__init__()def forward(self, x):return x - x.mean()layer CenteredLayer()
layer(torch.FloatTensor([1, 2, 3, 4, 5]))
# tensor([-2., -1., 0., 1., 2.])
现在我们可以将层作为组件 合并到更复杂的模型 中。
net nn.Sequential(nn.Linear(8, 128), CenteredLayer())
net# Sequential(
# (0): Linear(in_features8, out_features128, biasTrue)
# (1): CenteredLayer()
# )
我们可以在向该网络发送随机数据后检查均值是否为0。由于我们处理的是浮点 数因为存储精度的原因我们仍然可能会看到一个非常小的非零数。
Y net(torch.rand(4, 8))
Y.mean()
# tensor(-1.3970e-09, grad_fnMeanBackward0)
3.2 带参数的层
以上我们知道了如何定义简单的层下面我们继续定义具有参数的层这些参数可以 通过训练进行调整。我们可以使用内置函数来创建参数这些函数提供一些基本的管理功能。比如 管理访问、初始化、共享、保存 和加载模型参数。这样做的好处之一是我们不需要为每个自定义层编写自定义的序列化程序。
现在让我们实现 自定义版本的全连接层。回想一下该层需要两个参数一个用于表示权重另一个用于 表示偏置项。在此实现中我们使用修正线性单元作为激活函数。该层需要输入参数in_units和units分 别表示输入数和输出数。
class MyLinear(nn.Module):def __init__(self, in_uints, units):super().__init__()self.weight nn.Parameter(torch.randn(in_uints, units))self.bias nn.Parameter(torch.randn(units,))def forward(self, x):linear torch.matmul(x, self.weight.data) self.bias.datareturn F.relu(linear)linear MyLinear(5, 3)
linear.weight
# Parameter containing:
# tensor([[-1.4090, 0.7069, 0.1600],
# [ 1.9402, 0.4876, 0.4502],
# [-0.2079, -0.1784, -0.1167],
# [-0.3181, -1.1001, -0.0849],
# [ 1.2840, 1.9195, 0.0115]], requires_gradTrue)
我们可以 使用自定义层直接执行前向传播 计算
linear(torch.rand(2, 5))
# tensor([[0.0000, 0.7136, 1.6907],
# [0.0000, 0.2382, 1.9910]])
我们还可以使用 自定义层构建模型就像使用内置的全连接层一样使用自定义层。
net nn.Sequential(MyLinear(64, 8), MyLinear(8, 1))
net(torch.rand(2, 64))
# tensor([[ 6.8479],
# [12.4943]])
小结
我们可以 通过基本层类设计自定义层。这允许我们定义灵活的新层其行为与深度学习框架中的任何 现有层不同。在自定义层定义完成后我们就 可以在任意环境和网络架构中调用该自定义层。层可以有局部参数这些参数可以通过内置函数创建。 四 读写文件
4.1 加载和保存张量
对于单个张量我们可以直接 调用load和save函数分别读写 它们。这两个函数都要求我们提供一个名称save要 求将要保存的变量作为输入。
import torch
from torch import nn
from torch.nn import functional as Fx torch.arange(4)
torch.save(x, x-file)
我们现在可以将存储在文件中的数据 读回内存。
x2 torch.load(x-file)
x2
# tensor([0, 1, 2, 3])
我们可以 存储一个张量列表然后把它们读回内存。
y torch.zeros(4)
torch.save([x, y], x-files)
x2, y2 torch.load(x-files)
x2, y2
# (tensor([0, 1, 2, 3]), tensor([0., 0., 0., 0.]))
我们甚至 可以写入或读取从字符串映射到张量的字典。当我们要读取或写入模型中的所有权重时这很方便。
mydict {x: x, y: y}
torch.save(mydict, mydict)
mydict2 torch.load(mydict)
mydict2
# {x: tensor([0, 1, 2, 3]), y: tensor([0., 0., 0., 0.])}
4.2 加载和保存模型参数
保存模型参数
class MLP(nn.Module):def __init__(self):super().__init__()self.hidden nn.Linear(20, 256)self.output nn.Linear(256, 10)def forward(self, x):return self.output(F.relu(self.hidden(x)))net MLP()
x torch.randn(size(2, 20))
y net(x)torch.save(net.state_dict(), mlp.params)
为了恢复模型我们实例化了原始多层感知机模型的一个备份。这里我们不需要随机初始化模型参数而是 直接读取文件中存储的参数。
clone MLP()
clone.load_state_dict(torch.load(mlp.params))
clone.eval()# MLP(
# (hidden): Linear(in_features20, out_features256, biasTrue)
# (output): Linear(in_features256, out_features10, biasTrue)
# )
由于两个实例 具有相同的模型参数在输入相同的X时两个实例的计算结果应该相同。
Y_clone clone(x)
Y_clone y# tensor([[True, True, True, True, True, True, True, True, True, True],
# [True, True, True, True, True, True, True, True, True, True]])
小结
save和load函数 可用于张量对象的文件读写。我们可以 通过参数字典保存和加载网络的全部参数。保存架构必须在代码中完成而不是在参数中完成。 5 执行设备 (GPU)
可以使用 nvidia-smi 命令 来查看显卡信息。
!nvidia-smi 在PyTorch中每个数组都有一个设备device我们通常将其称为环境context。默认情况下所有 变量和相关的计算都分配给CPU。有时环境可能是GPU。当我们 跨多个服务器部署作业时事情会变得更加棘手。通过智能地将数组分配给环境我们可以 最大限度地减少在设备之间传输数据的时间。例如当在带有GPU的服务器上训练神经网络时我们通常希望模型的参数在GPU上。
5.1 计算设备
我们可以指定用于存储和计算的设备如CPU和GPU。默认情况下张量是在内存中创建的然后使用CPU计 算它。
在PyTorch中CPU和GPU可以用torch.device(cpu) 和torch.device(cuda)表示。应该注意的是cpu设 备意味着所有物理CPU和内存这意味着PyTorch的计算将尝试使用所有CPU核心。然而gpu设备只代表一 个卡和相应的显存。如果有多个GPU我们使用torch.device(fcuda:{i}) 来表示第i块GPUi从0开始。 另外cuda:0和cuda是等价 的。
import torch
from torch import nntorch.device(cpu), torch.device(cuda), torch.device(cuda:1)
# (device(typecpu), device(typecuda), device(typecuda, index1))
查询可用gpu的数量。
torch.cuda.device_count()
# 1
现在我们定义了两个方便的函数这两个函数 允许我们在不存在所需所有GPU的情况下运行代码。
def try_gpu(i0): #saveif torch.cuda.device_count() i 1:return torch.device(fcuda:{i})return torch.device(cpu)def try_all_gpus(): #savedevices [torch.device(fcuda:{i}) for i in range(torch.cuda.device_count())]return devices if devices else [torch.device[cpu]]try_gpu(), try_gpu(10), try_all_gpus()
# (device(typecuda, index0),
# device(typecpu),
# [device(typecuda, index0)])
5.2 张量与GPU
我们可以查询张量所在的设备。默认情况下张量是在CPU上创建 的。
x torch.tensor([1, 2, 3])
x.device
# device(typecpu)
存储在GPU上有几种方法可以在GPU上存储张量。例如我们可以 在创建张量时指定存储设备。接下来我们 在第一个gpu上 创建张量变量X。在GPU上创建的张量只消耗这个GPU的显存。我们可以使用nvidia-smi命令查看显存使用情 况。一般来说我们需要确保不创建超过GPU显存限制的数据。
x torch.ones(2, 3, devicetry_gpu())
x
# tensor([[1., 1., 1.],
# [1., 1., 1.]], devicecuda:0)
假设我们至少有两个GPU下面的代码将 在第二个GPU上创建 一个随机张量。
y torch.rand(2, 3, devicetry_gpu(1))
y.device
# device(typecpu)
复制如果我们要计算X Y我们 需要决定在哪里执行这个操作。例如我们可以将X传输到第二 个GPU并在那里执行操作。
z x.cuda(0)
print(x)
print(z)# tensor([[1., 1., 1.],
# [1., 1., 1.]], devicecuda:0)
# tensor([[1., 1., 1.],
# [1., 1., 1.]], devicecuda:0)
现在数据在同一个GPU上Z和Y都在我们可以将它们相加。
y.cuda(0) z
# tensor([[1.0594, 1.1017, 1.8743],
# [1.5926, 1.4837, 1.8689]], devicecuda:0)
人们使用GPU来进行机器学习因为单个GPU相对运行速度快。但是在 设备CPU、GPU和其他机器之间 传输数据比计算慢得多。
5.3 神经网络与GPU
神经网络模型可以指定设备。下面的代码将模型参数放在GPU上。
net nn.Sequential(nn.Linear(3, 1))
net net.to(devicetry_gpu())
net# Sequential(
# (0): Linear(in_features3, out_features1, biasTrue)
# )
当输入为GPU上的张量时模型将在同一GPU上计算结果。
net(x)
# tensor([[-0.0076],
# [-0.0076]], devicecuda:0, grad_fnAddmmBackward0)
让我们确认 模型参数存储在同一个GPU上。
net[0].weight.data.device
# device(typecuda, index0)
小结
我们 可以指定用于存储和计算的设备例如CPU或GPU。默认情况下数据在主内存中创建然后使 用CPU进行计算。 深度学习框架 要求计算的所有输入数据都在同一设备 上无论是CPU还是GPU。不经意地移动数据可能会显著降低性能。一个典型的错误如下计算GPU上每个小批量的损失并在命 令行中将其报告给用户或将其记录在NumPy ndarray中时将触发全局解释器锁从而使所有GPU阻 塞。最好是为GPU内部的日志分配内存并且只移动较大的日志。
