沙井做网站的公司,wordpress 4.5.3,在线开发app,影视后期制作培训机构全国排名深度学习与神经网络pytorch版 2.3 线性代数
目录
深度学习与神经网络pytorch版 2.3 线性代数
1. 简介
2. 线性代数
2.3.1 标量
编辑2.3.2 向量
2.3.3 矩阵
2.3.4 张量及其性质
2.3.5 降维
2.3.6 非降维求和
2.3.7 点积
2.3.8 矩阵-向量积
2.3.9 矩阵-矩阵乘法
…深度学习与神经网络pytorch版 2.3 线性代数
目录
深度学习与神经网络pytorch版 2.3 线性代数
1. 简介
2. 线性代数
2.3.1 标量
编辑2.3.2 向量
2.3.3 矩阵
2.3.4 张量及其性质
2.3.5 降维
2.3.6 非降维求和
2.3.7 点积
2.3.8 矩阵-向量积
2.3.9 矩阵-矩阵乘法
2.3.10 范数
3. 小结 1. 简介 深度学习与线性代数之间有着密切的联系。线性代数是深度学习算法中用于表达和处理数据的数学工具之一尤其是在构建神经网络和处理多维数据时。
线性代数中的基本概念包括向量、矩阵和线性变换等这些概念在深度学习中有着广泛的应用。例如在神经网络的训练过程中权重和偏差可以看作是矩阵和向量它们通过线性变换来改变输入数据的特征从而实现分类或回归等任务。
此外线性代数中的范数也是深度学习中常用的概念。范数可以用来衡量向量的大小对于限制模型复杂度和提升模型的泛化能力具有重要作用。在深度学习中范数通常用于正则化、优化算法等。
最后特征值分解是线性代数中的另一个重要概念它在深度学习中用于将矩阵分解成一组特征向量和特征值。特征值分解可以帮助我们了解数据的内在结构和关系例如在降维、数据可视化等方面有着广泛的应用。
综上所述线性代数在深度学习中扮演着重要的角色它为深度学习提供了数学基础和工具使得我们能够更好地理解和处理复杂的数据结构和模式。
2. 线性代数
2.3.1 标量
# 2.3.1 标量
# 导入PyTorch库。PyTorch是一个开源的深度学习库提供了张量计算等功能。
import torch
# 打印字符串2.3.1 标量到控制台。
print(2.3.1 标量)
# 使用torch.tensor()函数创建一个标量张量x1其值为4.0。
x1 torch.tensor(4.0)
# 使用torch.tensor()函数创建另一个标量张量y1其值为3.0。
y1 torch.tensor(3.0)
# 打印x1和y1的和。由于x1和y1都是标量所以直接相加即可。
print(x1 y1)
# 打印x1和y1的乘积。
print(x1 * y1)
# 打印x1除以y1的结果。
print(x1 / y1)
# 打印x1的y1次幂。
print(x1 ** y1)
2.3.2 向量 # 2.3.2 向量
import torch
print(2.3.2 向量)
x2 torch.arange(6)
print(x2)
print(x2[4]) # 可以通过x[i]来引用第个i个元素(从0开始)
print(len(x2)) # 通过len()函数来访问长度
print(x2.shape) # 通过.shape属性访问向量的长度 2.3.3 矩阵
# 2.3.3 矩阵
import torch
print(2.3.3 矩阵)
A torch.arange(20).reshape(5,4)
print(A)
W A.T # 交换矩阵的行和列时结果称为矩阵的转置transpose
print(W)
B torch.tensor([[1,2,3],[2,0,4],[3,4,5]])
print(B)
E B B.T # 对称矩阵symmetric matrix
print(E) 2.3.4 张量及其性质
# 2.3.4 张量及其性质
import torch
print(2.3.4 张量)
X3 torch.arange(24).reshape(2,3,4)
print(X3)
A torch.arange(20,dtypetorch.float32).reshape(5,4)
B A.clone() # 重新分配内存将A复制给B
print(A)
print(A B)
print(A * B)
# 将张量乘以或加上一个标量不会改变张量的形状其中张量的每个元素都将与标量相加或相乘
a 3
X4 torch.arange(24).reshape(2,3,4)
print(a X4)
print((a * X4).shape) 2.3.5 降维
# 2.3.5 降维import torch
print(2.3.5 降维)
# 创建一个从0到3的浮点数张量总共有4个元素。
x torch.arange(4, dtypetorch.float32)
print(x) # 输出: tensor([0., 1., 2., 3.])
print(x.sum()) # 输出: 6.0求和结果为1236 # 创建一个20元素的浮点数张量并将其重新塑形为一个5x4的二维张量。
A torch.arange(20, dtypetorch.float32).reshape(5, 4)print(A.shape) # 输出: tensor([5, 4])表示张量A有5行和4列。
print(A.sum()) # 输出: 120.0求和结果为012345678910111213141516171819120
# 对A的每一列求和结果为一个包含5个元素的张量。
A_sum_axis0 A.sum(axis0)
print(A_sum_axis0) # 输出: tensor([30., 35., 40., 45., 50.])
print(A_sum_axis0.shape) # 输出: tensor([5])表示每个元素都是一个独立的张量。 # 对A的每一行求和结果为一个包含4个元素的张量。
A_sum_axis1 A.sum(axis1)
print(A_sum_axis1) # 输出: tensor([ 6., 6., 6., 6., 6.])
print(A_sum_axis1.shape) # 输出: tensor([5])表示每个元素都是一个独立的张量。 # 同时对A的行和列求和。结果为一个单一的数值。
print(A.sum(axis[0, 1])) # 输出: 600.0求和结果为(0481216)(1591317)(26101418)(37111519)600
print(A.mean()) # 输出: tensor(6.)计算所有元素的平均值。
print(A.sum() / A.numel()) # 输出: tensor(6.)计算所有元素的平均值。通过总和除以元素总数得到。
print(A.mean(axis0),A.sum(axis0) / A.shape[0]) # 输出: tensor([6., 7., 8., 9.]) 和 tensor([7., 7., 7., 7.])。分别计算每列和每行的平均值。 2.3.6 非降维求和
# 2.3.6 非降维求和
print(2.3.6 非降维求和)
import torch
A torch.arange(20,dtypetorch.float32).reshape(5,4)
sum_A A.sum(axis1, keepdimsTrue)
print(sum_A)
print(A / sum_A) #由于sum_A在对每行进行求和后仍保持两个轴我们可以通过广播将A除以sum_A。
print(A.cumsum(axis0)) 2.3.7 点积
# 2.3.7 点积
import torch
print(2.3.7 点积)
x torch.arange(4, dtypetorch.float32)y torch.ones(4, dtype torch.float32)
print(x)
print(y)
print(torch.dot(x, y)) 2.3.8 矩阵-向量积
# 2.3.8. 矩阵-向量积import torch
print(2.3.8. 矩阵-向量积)
A torch.arange(20,dtypetorch.float32).reshape(5,4)
x torch.arange(4, dtypetorch.float32)print(A.shape)
print(x.shape)
print(torch.mv(A, x)) 2.3.9 矩阵-矩阵乘法
# 2.3.9. 矩阵-矩阵乘法
import torch
print(2.3.9. 矩阵-矩阵乘法)
A torch.arange(20,dtypetorch.float32).reshape(5,4)
B torch.ones(4, 3)
print(torch.mm(A, B)) 2.3.10 范数
# 2.3.10. 范数
import torch
print(2.3.10. 范数)
# 创建一个包含两个浮点数的张量u。
u torch.tensor([3.0, -4.0])
print(torch.norm(u)) # 输出: 5.0计算u的范数默认使用欧几里得范数。 # 计算张量u中每个元素的绝对值之和。
print(torch.abs(u).sum()) # 输出: 7.0绝对值之和为347。 # 创建一个形状为(4,9)的全1张量并计算其范数。
print(torch.norm(torch.ones((4, 9)))) # 输出: 9.0计算全1张量的范数默认使用欧几里得范数。
3. 小结 标量、向量、矩阵和张量是线性代数中的基本数学对象。 向量泛化自标量矩阵泛化自向量。 标量、向量、矩阵和张量分别具有零、一、二和任意数量的轴。 一个张量可以通过sum和mean沿指定的轴降低维度。 两个矩阵的按元素乘法被称为他们的Hadamard积。它与矩阵乘法不同。 在深度学习中我们经常使用范数如\(L_1\)范数、\(L_2\)范数和Frobenius范数。 我们可以对标量、向量、矩阵和张量执行各种操作。
