html5 wap网站模板,配置网站开发环境,网上怎么做网站赚钱,公司网站建设计入什么费用文中程序以Tensorflow-2.6.0为例 部分概念包含笔者个人理解#xff0c;如有遗漏或错误#xff0c;欢迎评论或私信指正。 截图和程序部分引用自北京大学机器学习公开课 TF2基础常用函数
1、张量处理类
强制数据类型转换#xff1a;
a1 tf.constant([1,2,3], dtypetf.floa… 文中程序以Tensorflow-2.6.0为例 部分概念包含笔者个人理解如有遗漏或错误欢迎评论或私信指正。 截图和程序部分引用自北京大学机器学习公开课 TF2基础常用函数
1、张量处理类
强制数据类型转换
a1 tf.constant([1,2,3], dtypetf.float64)
print(a1)
a2 tf.cast(a1, tf.int64) # 强制数据类型转换
print(a2)查找数据中的最小值和最大值
print(tf.reduce_min(a2), tf.reduce_max(a2))上一行例子中是对整个张量查找也按照一定的方向查找只按照行或只按照列这由axis变量决定。通常axis0代表按列查找axis1代表按行查找
a1 tf.constant([[1,2,3],[2,3,4]])
print(a1)
print(tf.reduce_max(a1, axis0)) # 按照列查找最大的行
print(tf.reduce_sum(a1,axis1)) # 按照行计算各列的和常见的张量检索类函数在tf.reduce_xxx可以查看
张量中数据的索引可以按照行或者按照列索引一个张量数据中的最大值和最小值
test np.array([[1, 2, 3],[2, 3, 4],[5, 6, 7], [7, 8, 2]])
print(test)
print(tf.argmax(test, axis0)) # 按列查找找到每一列的最大值序列号
print(tf.argmax(test, axis1)) # 按行查找找到每一行的最大值序列号随机数生成最常用的随机数生成是正态分布和均匀分布有时候后我们期望生成的随机数在0到1之间归一化的数据有利于网络的快速收敛。除了上一篇博客深度学习笔记三 中提及的tf中的随机数张量生成也可以便捷的使用numpy后文使用np表示提供的随机数生成器同时补充一点大多数区间范围性质的函数输入的区间都是前闭后开的这点在tf np skl 甚至其他C库中都是成立的。
# 生成[0,1)内的随机数
rdm np.random.RandomState(seed1) # 定义随机数生成器rdm使用随机数种子seed1
usr_random1 rdm.rand() # 无输入维度时返回一个常量
usr_random2 rdm.rand(2, 3) # 返回2行3列的随机数矩阵
print(usr_random1 {} \r\n usr_random2 {}.format(usr_random1, usr_random2))下面继续归纳几个np中常用的数组处理函数。这几个np函数只做简单说明具体用法可以用到时再深度查阅资料 数组垂直叠加
# 数组垂直叠加
a1 np.array([1, 2, 3])
a2 np.array([4, 5, 6])
b np.vstack((a1, a2))
print(b)根据多组范围和步长生成多维数组每组的起始结束和步长可以不同最终输出的列数会以最长的那组为准行数等于总的组数
# np.mgrid[起始值结束值步长起始值结束值步长 ...... ]
a1, a2 np.mgrid[1:3:1, 3:6:0.5]
print(a1)
print(a2)多维数组拉伸为一个维度并且将多个数组对齐后一 一配对
# a1 a2 续上一段代码
b np.c_[np.ravel(a1), np.ravel(a2)] # a1.ravel()执行二维变一维拉伸np.c_进行组合操作
print(b)2、数学运算类
四则运算类注意只有维度相同的数据才可以做四则运算运算均是对应位置元素进行计算同时tf中除非指定默认生成的张量数据时类型为int32或float32
a1 tf.constant([[1,2,3],[1,2,3]])
a2 tf.constant([[2,3,4],[2,3,4]])
print(tf.add(a1, a2)) # 加
print(tf.subtract(a1, a2)) # 减
print(tf.multiply(a1, a2)) # 乘
print(tf.divide(a1, a1)) # 除平方与开根号这里的计算同样是对应位置元素进行计算
a1 tf.fill([1,3], 3.) # 这里的指定值为3. 小数点是为了生成float32类型数据
print(a1)
print(tf.pow(a1, 3)) # 开三次方根第二个参数就是开根的次数
print(tf.square(a1)) # 平方
print(tf.square(a1)) # 开方张量的叉乘向量积
a tf.ones([3, 2]) # 3行2列
b tf.fill([2, 3], 3.) # 2行3列
print(tf.matmul(a, b)) # 矩阵叉乘得6行6列叉乘的两个矩阵前者的列数必须和后者的行数相等3、训练处理类
标记训练参数网络训练的过程实质上最重要的就是更新网络中的参数所以需要告知网络中哪一个参数是可以被跟新的这样tensorflow框架会自动的在网络反向传播的过程中记录每一层的梯度信息便于处理。
# tf.Variable(初始值) 函数用于标记可变参数
tf.Variable(tf.random.normal([2,2],mean0,stddev1))标签/特征数据匹配训练之前预先准备的特征数据和标签数据往往是区分开的所以需要将他们一 一对应上。将输入数据的特征和标签对应匹配构建出新的用于训练的变量
# data tf.data.Dataset.from_tensor_slices((特征数据, 标签数据)) 可以直接输入numpy或者tensor格式的数据
features tf.constant([12, 15, 20, 11]) # 特征数据
labels tf.constant([0, 1, 1, 0]) # 标签
dataset tf.data.Dataset.from_tensor_slices((features, labels)) # 对应结合
for element in dataset:print(element) # 输出在上面的程序中from_tensor_slices函数要求两个数据的第一个维度的大小必须相同即可所以第一行的特征数据也可以改为
features tf.constant([[12,13], [15,16], [20,21], [10,11]]) # 第一个维度任然是4记录梯度以及自动微分在训练的过程中自动跟新参数是一个循环加反向传播的过程反向传播时我们需要知道每个网络层中损失函数的梯度在tf中可以使用上下文记录器自动在迭代过程中记录每个层的梯度信息。这主要由两个函数组成tf.GradientTape() 函数起到上下文记录的作用用于记录层信息gradient函数用于求导即求梯度
with tf.GradientTape() as tape: # 记录下两行的层信息w tf.Variable(tf.constant(3.0)) # 标记可变参数loss tf.pow(w, 2) # 设置损失函数类型
grad tape.gradient(loss, w) # 损失函数对w求导
print(grad)在上面的代码中tf.pow(w, 2)表示损失函数为 l o s s w 2 loss w^2 lossw2 梯度求导后得到 ∂ w 2 ∂ w 2 w \frac{\partial w^2}{\partial w} 2w ∂w∂w22w 由于初始的参数w为3.0,求导后结果为6.0程序结果grad为6。注意此处使用的with as结构中必须申明被导的变量这样才能正常生效记录数据。 枚举数据为了遍历数据并逐个处理使用python中内置的enumerate(列表名)进行数据的枚举通常配合for使用。
# 枚举列表
data [one, two, three]
for i, element in enumerate(data): # 返回的第一个是序列号第二个是内容print(i, element)条件循环在tf训练输出时我们计算得到的结果有时需要和一个标准数据进行匹配判断并根据判断结果输出数据。可以实现类似于C语言中的循环三元操作符的效果。tf.where函数的传参依次是条件语句真值返回假值返回。
a tf.constant([1, 2, 3, 4, 5])
b tf.constant([0, 1, 3, 4, 5])
c tf.where(tf.greater(a, b), a, b) # 如果条件为真返回第一个值条件假返回第二个值
print(c)上面的代码中配合tf.greater函数来比较大小整行函数将会依次遍历a和b中的元素当ab为真时返回a否则返回b 独热编码在分类的问题中我们还需要了解独热码的概念通常使用独热码作为标签数据在被标记的类别中1表示是0表示非可以通俗理解为有几类被分类数据独热码就有几个每一类数据对应一个的独热码类似译码器选址原理。
举例有3个类
那么第一类的独热码是 1 0 0
第2类的独热码是 0 1 0
第3类的独热码是 0 0 1在tf中转化独热码
classes 4 # 标签数
labels tf.constant([1, 0, 6 ,3]) # 输入标签数据
output tf.one_hot(labels, depthclasses) # 独热码转换第一个变量为输入的标签数据第二个为类别数
print(output)上面使用了tf.one_hot函数用来转化独热码值得注意的是输入的数据会自动的从小到大排序后再转化对应的独热码。所以上面的程序输出了
tf.Tensor(
[[0. 1. 0. 0.] # 对应1[1. 0. 0. 0.] # 对应0[0. 0. 0. 0.] # 对应6[0. 0. 0. 1.]], # 对应3shape(4, 4), dtypefloat32)softmax(函数在网络输出的结果中如果直接按照最终输出的值判断类型结果往往比较抽象。比如网络最终会输出一个矩阵[2.52 -3.1 5.62]那么如何确定这个矩阵是对应哪一个类别。这里我们需要通过归一化和概率来判断假设这个输出的三列矩阵分别对应三个类别的得分数值那我们可以将三个值相加求和再分别除以各自来得到每个数的百分比占比。当然在机器学习中softmax()也是类似这样做的不过为了避免负数和特殊0值以及数据的连续性引入指数函数辅助计算 S o f t m a x ( y i ) e y i ∑ j 0 n e y i \mathit{Softmax(y_{i} )\frac{e^{y_{i} } }{ {\textstyle \sum_{j0}^{n}e^{y_{i} {\LARGE {\ } } } } } } Softmax(yi)∑j0neyi eyi 同时softmax(函数的输出符合概率分布定义 ∀ x , P ( X x ) ∈ [ 0 , 1 ] 且 ∑ x P ( X x ) 1 \mathit{{\LARGE } \forall x, P(Xx)\in [0, 1] 且\sum_{x}^{} P(Xx)1 } ∀x,P(Xx)∈[0,1]且x∑P(Xx)1 所以在上面的[2.52 -3.1 5.62]例子中不难计算得到对应结果为[0.256, 0.695, 0.048] 第二列最大所以我们可以认为这个输出举证表示第二类的可能性最大。综上softmax(的属性决定它大多数时候应用在网络的输出位置。
y tf.constant([1.01, 2.02, -1.11])
y_out tf.nn.softmax(y)
print(data {}, after softmax is {}.format(y, y_out))跟新权重参数在上面的程序中完成了数据的读入损失梯度计算那么计算过的结果就需要计时更新到权重上。值得注意跟新参数之前一定要申明参数是可训练自更新的。通常计算得到梯度后直接跟新参数就可以完成一次反向传播。
w tf.Variable(4) # 申明可变参数并赋初值为4
w.assign_sub(1) # 对可变参数执行一次自减跟新传入参数为被减数
print(w)根据鸢尾花数据进行简单的分类任务
软件环境
cuda 11.2
python3.7
numpy1.19.5
matplotlib 3.5.3
notebook6.4.12
scikit-learn1.2.0
tensorflow2.6.0分类时主要有以下几步 **1、加载数据**这里直接通过sklearn 包中自带的数据进行举例
# 导入所需模块
import tensorflow as tf
from sklearn import datasets
from matplotlib import pyplot as plt
import numpy as np
# 导入数据分别为输入特征和标签
x_data datasets.load_iris().data
y_data datasets.load_iris().target2、打乱数据顺序由于这里的数据是直接加载已有数据所以先打乱对于其他数据不一定要这步分割数据为训练部分和测试部分。注意使用随机数种子这样可以保证在不同设备和时间运行得到的结果是相同的。
# 随机打乱数据因为原始数据是顺序的顺序不打乱会影响准确率
# seed: 随机数种子是一个整数当设置之后每次生成的随机数都一样
np.random.seed(116) # 使用相同的seed保证输入特征和标签一一对应
np.random.shuffle(x_data)
np.random.seed(116)
np.random.shuffle(y_data)
tf.random.set_seed(116)
# 将打乱后的数据集分割为训练集和测试集训练集为前120行测试集为后30行
x_train x_data[:-30]
y_train y_data[:-30]
x_test x_data[-30:]
y_test y_data[-30:]3、转换数据类型格式匹配特征数据和标签数据设置训练可变参数在输入到tf中进行计算之前要先把np格式的数据转化成tf格式。同时输入的数据最好进行分组处理这样可以调整数据的吞吐量适配不同性能的设备。同时由于数据简单只构建了一个四输入的单层神经元模型。
# 转换x的数据类型否则后面矩阵相乘时会因数据类型不一致报错
x_train tf.cast(x_train, tf.float32)
x_test tf.cast(x_test, tf.float32)# from_tensor_slices函数使输入特征和标签值一一对应。把数据集分批次每个批次batch组数据
train_db tf.data.Dataset.from_tensor_slices((x_train, y_train)).batch(32)
test_db tf.data.Dataset.from_tensor_slices((x_test, y_test)).batch(32)# 生成神经网络的参数4个输入特征故输入层为4个输入节点因为3分类故输出层为3个神经元
# 用tf.Variable()标记参数可训练
# 使用seed使每次生成的随机数相同方便教学使大家结果都一致在现实使用时不写seed
w1 tf.Variable(tf.random.truncated_normal([4, 3], stddev0.1, seed1))
b1 tf.Variable(tf.random.truncated_normal([3], stddev0.1, seed1))4、初始化超参数一般来说常用到的超参数有学习率lr、迭代次数epoch、分组大小batch_size
lr 0.1 # 学习率为0.1
train_loss_results [] # 将每轮的loss记录在此列表中为后续画loss曲线提供数据
test_acc [] # 将每轮的acc记录在此列表中为后续画acc曲线提供数据
epoch 500 # 循环500轮
loss_all 0 # 每轮分4个steploss_all记录四个step生成的4个loss的和5、开始训练,训练过程中的主要流程为开始迭代 根据bach分组加载数据 开始记录梯度信息 神经元层执行计算 计算结果softmax 独热码转换 计算loss 求导计算梯度 跟新参数 继续返回迭代循环
# 训练部分
for epoch in range(epoch): #数据集级别的循环每个epoch循环一次数据集for step, (x_train, y_train) in enumerate(train_db): #batch级别的循环 每个step循环一个batchwith tf.GradientTape() as tape: # with结构记录梯度信息y tf.matmul(x_train, w1) b1 # 神经网络乘加运算y tf.nn.softmax(y) # 使输出y符合概率分布此操作后与独热码同量级可相减求lossy_ tf.one_hot(y_train, depth3) # 将标签值转换为独热码格式方便计算loss和accuracyloss tf.reduce_mean(tf.square(y_ - y)) # 采用均方误差损失函数mse mean(sum(y-out)^2)loss_all loss.numpy() # 将每个step计算出的loss累加为后续求loss平均值提供数据这样计算的loss更准确# 计算loss对各个参数的梯度grads tape.gradient(loss, [w1, b1])# 实现梯度更新 w1 w1 - lr * w1_grad b b - lr * b_gradw1.assign_sub(lr * grads[0]) # 参数w1自更新b1.assign_sub(lr * grads[1]) # 参数b自更新6、训练的同时在每个epoch中进行一次测试实际训练时若果测试输出需要耗时较高可以每10次进行一次测试测试时首先执行神经元层计算不用进行反向传播所以只需要根据softmax的输出匹配到对应的便签上并统计正确值的数量。
# 测试部分# total_correct为预测对的样本个数, total_number为测试的总样本数将这两个变量都初始化为0total_correct, total_number 0, 0for x_test, y_test in test_db:# 使用更新后的参数进行预测y tf.matmul(x_test, w1) b1y tf.nn.softmax(y)pred tf.argmax(y, axis1) # 返回y中最大值的索引即预测的分类# 将pred转换为y_test的数据类型pred tf.cast(pred, dtypey_test.dtype)# 若分类正确则correct1否则为0将bool型的结果转换为int型correct tf.cast(tf.equal(pred, y_test), dtypetf.int32)# 将每个batch的correct数加起来correct tf.reduce_sum(correct)# 将所有batch中的correct数加起来total_correct int(correct)# total_number为测试的总样本数也就是x_test的行数shape[0]返回变量的行数total_number x_test.shape[0]# 总的准确率等于total_correct/total_numberacc total_correct / total_numbertest_acc.append(acc)7、输出结果可视化训练过程
# 绘制 loss 曲线
plt.title(Loss Function Curve) # 图片标题
plt.xlabel(Epoch) # x轴变量名称
plt.ylabel(Loss) # y轴变量名称
plt.plot(train_loss_results, label$Loss$) # 逐点画出trian_loss_results值并连线连线图标是Loss
plt.legend() # 画出曲线图标
plt.show() # 画出图像# 绘制 Accuracy 曲线
plt.title(Acc Curve) # 图片标题
plt.xlabel(Epoch) # x轴变量名称
plt.ylabel(Acc) # y轴变量名称
plt.plot(test_acc, label$Accuracy$) # 逐点画出test_acc值并连线连线图标是Accuracy
plt.legend()
plt.show()最后的输出结果
