为什么很多中国人去菲律宾做网站,wordpress分类页面,seo是什么字,wordpress主题解锁目录
摘要
一、文献阅读
1、题目
2、摘要
3、模型架构
4、文献解读
一、Introduction
二、实验
三、结论
二、PINN
一、PINN比传统数值方法有哪些优势
二、PINN方法
三、正问题与反问题
三、PINN实验
一、数学方程
二、模型搭建
总结
摘要
本周我阅读了一篇…目录
摘要
一、文献阅读
1、题目
2、摘要
3、模型架构
4、文献解读
一、Introduction
二、实验
三、结论
二、PINN
一、PINN比传统数值方法有哪些优势
二、PINN方法
三、正问题与反问题
三、PINN实验
一、数学方程
二、模型搭建
总结
摘要
本周我阅读了一篇题目为Deep Residual Learning for Image Recognition的文献文章的贡献是作者提出了残差网络的思想且证明了更深层的残差网络具有比VGG网络更低的复杂度和更高的准确性同时残差网络实现了更容易的训练过程。其次对PINN进行了继续的学习PINN 是一种科学机器在传统数值领域的应用方法特别是用于解决与偏微分方程相关的各种问题包括方程求解、参数反演、模型发现、控制与优化等。
This week, I read a paper titled Deep Residual Learning for Image Recognition. The contribution of the paper is that the author introduces the concept of residual networks and demonstrates that deeper residual networks have lower complexity and higher accuracy compared to VGG networks. Additionally, residual networks achieve a more straightforward training process. Furthermore, I gained preliminary insights into Physics-Informed Neural Networks (PINN). PINN is an application of scientific machine learning in traditional numerical domains, particularly for solving various problems related to partial differential equations. This includes equation solving, parameter inversion, model discovery, control, and optimization.
一、文献阅读
1、题目
题目Deep Residual Learning for Image Recognition
链接https://arxiv.org/abs/1512.03385
2、摘要
本文展示了一种残差学习框架能够简化使那些非常深的网络的训练该框架使得层能根据其输入来学习残差函数而非原始函数。作者提出了残差网络的思想且证明了更深层的残差网络具有比VGG网络更低的复杂度和更高的准确性。同时残差网络实现了更容易的训练过程。
This article presents a residual learning framework that simplifies the training of very deep networks. The framework allows layers to learn residual functions based on their inputs rather than the original functions. The author introduces the concept of residual networks and demonstrates that deeper residual networks have lower complexity and higher accuracy compared to VGG networks. Additionally, residual networks achieve a more straightforward training process. 3、模型架构 Plain Network 受VGG网络的影响plain网络如下图中间的卷积层主要是3*3的滤波器加权层的层数为34在网络的最后是全局的平均pooling层和一个1000种类的包含softmax函数的全连接层。plain网络比VGG网络有更少的滤波器卷积核后面的64128256等代表个数和更低的计算复杂度VGG-19模型有196亿个FLOPSplain网络含有36亿个FLOPS。Residual Network 在plain网络的基础上加入shortcut连接就变成了相应的残差网络上图中所加实线表明可以直接使用恒等shortcuts虚线表示维度不匹配时的情况需要先调整维度再相加调整维度的方法有两种A)仍然使用恒等映射只是在增加的维度上使用0来填充这种方法不会引入额外的参数(B)使用1x1的卷积映射shortcut来调整维度保持一致。这两种方法都使用stride为2的卷积。
4、文献解读
一、Introduction
神经网络模型的深度对训练任务起着至关重要的作用但是当模型深度太大时会存在梯度消失/梯度爆炸的问题尽管normalized initial-ization和intermediate normalization可以在一定程度上解决这个问题但是准确率依然会在达到饱和后迅速退化因此错误率甚至会更高如下图所示越深的网络有越高的训练错误率和测试错误率。 文章提出了深度残差学习deep residual learning框架来解决上图中的问题如下图所示通过前馈神经网络的shortcut connections来跨过一个层或者多个层将前层的输出直接与卷积层的输出叠加相当于做了个恒等映射。在极端情况下如果恒等映射最优可以将残差设置为0就简单地实现了恒等映射。简单来说残差学习就是将一层的输入与另一层的输出结果一起作为一整个块的输出。 ResNet 之所以叫残差网络Residual Network是因为 ResNet 是由很多残差块Residual Block组成的。而残差块的使用可以解决前面说到的退化问题。残差块如下图所示。 残差residual在数理统计中是指实际观察值观测值与估计值拟合值之间的差。 假设上图中的 weight layer 是 3×3 的卷积层F(x) 表示经过两个卷积层计算后得到的结果identity x 表示恒等映射identity mapping也称为shortcut connections。其实就是把 x 的值是不做任何处理直接传过去。最后计算 F(x)x这里的 F(x) 跟 x 是种类相同的信号所以将其对应位置进行相加。我们让 H(x) F(x)x 所以 H(x) 就是观测值x 就是估计值。 我们如果使用plain networks一般的卷积神经网络那么 H(x) F(x) 这样某一层达到最优之后在加深就会出现退化问题。残差就体现在F(x) H(x)-x 我们假设优化残差映射比优化原始的、未引用残差的映射更容易。在极端情况下如果一个恒等映射 x 是最优的那么将残差 F(x) 推到 0 比通过一堆非线性层来拟合一个恒等映射要容易得多。 二、实验
1、数据集
数据集ImageNet 2012 classifi-cation dataset1000类 数据量128 万张训练图像5万张测试图像 标准评估 top-1 和 top-5 错误率
2、参数设置
从一张图像或者它的水平翻转图像中随机采样一个224*224的crop每个像素都减去均值。图像使用标准的颜色增强。我们在每一个卷积层之后激活层之前均使用batch normalizationBN。我们根据He2014spatial来初始化权值然后从零开始训练所有plain/残差网络。 我们使用的mini-batch的尺寸为256。学习率从0.1开始每当错误率平稳时将学习率除以10整个模型进行次迭代训练。我们将权值衰减设置为0.0001a 动量为0.9。
3、实验结果
普通网络结论 1较深的 34 层普通网络比较浅的 18 层普通网络具有更高的验证误差。34 层普通网络在整个训练过程中具有较高的训练误差尽管 18 层普通网络的解空间是 34 层网络的子空间。 2论文认为这种优化困难不是由梯度消失引起的。这些普通网络使用 BN 进行训练确保前向传播的信号具有非零方差。我们还验证了反向传播的梯度在 BN 中表现出健康的范数。所以前向和后向信号都不会消失。事实上34 层的普通网络仍然能够达到有竞争力的精度表 3这表明求解器在一定程度上起作用。我们推测深的普通网络的收敛速度可能呈指数级低这会影响训练误差的减少。
ResNet结论 134 层 ResNet 优于 18 层 ResNet提高 2.8%。更重要的是34 层的 ResNet 表现出相当低的训练误差并且可以推广到验证数据。这表明退化问题在此设置中得到了很好的解决可以通过增加深度来获得准确度。 2相比普通网络ResNet 将 top-1 误差降低了 3.5%表 2这是由于成功降低了训练误差。这种比较验证了残差学习在极深系统上的有效性。 3我们还注意到 18 层的普通/残差网络相当准确但 18 层的 ResNet 收敛速度更快。当网络“不太深”此处为 18 层时当前的 SGD 求解器仍然能够为普通网络找到好的解决方案。在这种情况下ResNet 通过在早期提供更快的收敛来简化优化。
三、结论
残差结构的主要作用是传递信号把深度学习浅层的网络信号直接传给深层的网络。深度学习中不同的层所包含的信息是不同的一般我们认为深层的网络所包含的特征可能对最后模型的预测更有帮助但是并不是说浅层的网络所包含的信息就没用深层网络的特征就是从浅层网络中不断提取而得到的。现在我们给网络提供一个捷径也就是Shortcut Connections它可以直接将浅层信号传递给深层网络跟深层网络的信号结合从而帮助网络得到更好的效果。
二、PINN
一、PINN比传统数值方法有哪些优势 PINN是一种深度网络在定义时空区域中给定一个输入点在训练后在微分方程的该点中产生估计的解。结合对控制方程的嵌入得到残差利用残差构造损失项。本质原理就是将方程物理知识集成到网络中并使用来自控制方程的残差项来构造损失函数由该项作为惩罚项来限制可行解的空间。用PINN来求解方程并不需要有标签的数据比如先前模拟或实验的结果。PINN算法本质上是一种无网格技术通过将直接求解控制方程的问题转换为损失函数的优化问题来找到偏微分方程解。 1、传统数值方法主要针对复杂问题的正计算比如说已知边界条件、已知控制方程的正计算在正计算上深度学习的方法逊色一些但是针对一些反问题比如说一些测量数据和部分物理(方程中某些参数未知、边界条件未知)深度学习方法可以形成数据和物理双驱动的模型比传统数值方法的效率更高。
2、当面对一些数值问题时PINN可以不需要用数值格式去推导求解可以直接利用加物理损失的方法得到一个参考解当问题边界需要不停地换时或者很多资源不停的变化的情况下如果利用大量时间去训练一个网络在推断阶段可以实现快速预测。
二、PINN方法
先构建一个输出结果为 的神经网络将其作为PDE解的代理模型将PDE信息作为约束编码到神经网络损失函数中进行训练。损失函数主要包括4部分偏微分结构损失(PDE loss)边值条件损失(BC loss)、初值条件损失(IC loss)以及真实数据条件损失(Data loss)。 后利用梯度优化算法最小化损失函数直到找到满足预测精度的网络参数 。
对于逆问题(即方程中的某些参数未知)若只知道PDE方程及边界条件PDE参数未知该问题为非定问题所以必须要知道其他信息如部分观测点u的值。此时PINN做法可将方程中的参数作为未知变量加到训练器中进行优化损失函数包括Data loss。
三、正问题与反问题
正问题和反问题的正经定义可以解释为正问题已知原因根据已有的模型和规律得到结果状态或者观测而反问题则是已知结果状态或者观测来反推原因。正问题例子包括设计飞机的方案参数然后通过模拟可以知道飞机的性能反问题则是根据飞机的设计需求反推应该给什么设计方案。因此工程界通常称正问题为模拟问题反问题为设计问题。对于一个PDE方程我们这样来定义正问题已知PDE方程求解PDE方程在场域内的解为正问题反问题我们定义为已知一些场域内的观测情况来反推最优的PDE方程的系数/参数的值。
对于PDE问题而言PINN的正问题就是根据已有的PDE来求解场域内的解。建立一个神经网络 来学习PDE的特性。具体来说就是建立时间坐标和空间坐标与解的映射即。
神经网络的训练需要一个目标函数PDE方程其实就是一个损失函数如果不满足等式关系就会产生损失因此把神经网络的放进PDE里面获取损失。
从数学角度看和传统的机器学习相比它最大的不同就是在要求0阶常数项与系统一致的基础上同时要求高阶梯度项与系统一致。从泰勒展开的角度来看它显然具有更高的精度因为它更满足系统的高维特征。 从机器学习和问题的适配角度来看采用神经网络而不是别的机器学习方法也是非常有见地的设计因为神经网络的可微性带来了梯度求解的可行性。求解正问题时PINN完全不需要数据只需要随意在空间和时间步上采样然后让PDE方程来评估神经网络的建模是否准确或者说真实数据是基于PDE损失函数的中间量。
PINN 解反问题的任务是需要反推出PDE中的各项的超参数。这个问题的设定意味着我们没有真实可靠的PDE方程来做评判 因此需要实际的观测场域的值来提供损失函数。简而言之我们就是在一族的PDE中挑一个最合适的来拟合实际的系统。
三、PINN实验
一、数学方程
使用一个最简单的常微分方程 这个微分方程其实就是 二、模型搭建
核心-使用最简单的全连接层
class Net(nn.Module):def __init__(self, NL, NN): # NL n个l线性全连接隐藏层 NN 输入数据的维数# NL是有多少层隐藏层# NN是每层的神经元数量super(Net, self).__init__()self.input_layer nn.Linear(1, NN)self.hidden_layer nn.linear(NN,int(NN/2)) ## 原文这里用NN我这里用的下采样经过实验验证“等采样”更优。更多情况有待我实验验证。self.output_layer nn.Linear(int(NN/2), 1)def forward(self, x):out torch.tanh(self.input_layer(x))out torch.tanh(self.hidden_layer(out))out_final self.output_layer(out)return out_final偏微分方程定义也就是第一个公式
def ode_01(x,net):ynet(x)y_x autograd.grad(y, x,grad_outputstorch.ones_like(net(x)),create_graphTrue)[0]return y-y_x # y-y 0源码
import torch
import torch.nn as nn
import numpy as np
import matplotlib.pyplot as plt
from torch import autograd
用神经网络模拟微分方程,f(x)f(x),初始条件f(0) 1
class Net(nn.Module):def __init__(self, NL, NN): # NL n个l线性全连接隐藏层 NN 输入数据的维数# NL是有多少层隐藏层# NN是每层的神经元数量super(Net, self).__init__()self.input_layer nn.Linear(1, NN)self.hidden_layer nn.Linear(NN,int(NN/2)) ## 原文这里用NN我这里用的下采样经过实验验证“等采样”更优。更多情况有待我实验验证。self.output_layer nn.Linear(int(NN/2), 1)def forward(self, x):out torch.tanh(self.input_layer(x))out torch.tanh(self.hidden_layer(out))out_final self.output_layer(out)return out_finalnetNet(4,20) # 4层 20个
mse_cost_function torch.nn.MSELoss(reductionmean) # Mean squared error 均方误差求
optimizer torch.optim.Adam(net.parameters(),lr1e-4) # 优化器def ode_01(x,net):ynet(x)y_x autograd.grad(y, x,grad_outputstorch.ones_like(net(x)),create_graphTrue)[0]return y-y_x # y-y 0# requires_gradTrue).unsqueeze(-1)plt.ion() # 动态图
iterations200000
for epoch in range(iterations):optimizer.zero_grad() # 梯度归0## 求边界条件的损失函数x_0 torch.zeros(2000, 1)y_0 net(x_0)mse_i mse_cost_function(y_0, torch.ones(2000, 1)) # f(0) - 1 0## 方程的损失函数x_in np.random.uniform(low0.0, high2.0, size(2000, 1))pt_x_in autograd.Variable(torch.from_numpy(x_in).float(), requires_gradTrue) # x 随机数pt_y_colectionode_01(pt_x_in,net)pt_all_zeros autograd.Variable(torch.from_numpy(np.zeros((2000,1))).float(), requires_gradFalse)mse_fmse_cost_function(pt_y_colection, pt_all_zeros) # y-y 0loss mse_i mse_floss.backward() # 反向传播optimizer.step() # 优化下一步。This is equivalent to : theta_new theta_old - alpha * derivative of J w.r.t thetaif epoch%10000:y torch.exp(pt_x_in) # y 真实值y_train0 net(pt_x_in) # y 预测值print(epoch, Traning Loss:, loss.data)print(ftimes {epoch} - loss: {loss.item()} - y_0: {y_0})plt.cla()plt.scatter(pt_x_in.detach().numpy(), y.detach().numpy())plt.scatter(pt_x_in.detach().numpy(), y_train0.detach().numpy(),cred)plt.pause(0.1)
结果展示
训练0次时的结果也就是没训练蓝色是真实值、红色是预测值 训练2000次时的结果蓝色是真实值、红色是预测值 训练20000时的结果蓝色是真实值、红色是预测值不过红色已经完全把蓝色覆盖了也就是完全拟合了 总结
ResNet网络的最初原始论文说明一味地加深网络深度会使得网络达到了一种饱和状态论文中强调不是过拟合现象而是一种网络深度到一定程度之后的退化问题而导致精度的下降。PINN的原理就是通过训练神经网络来最小化损失函数来近似PDE的求解所谓的损失函数项包括初始和边界条件的残差项以及区域中选定点按传统应该称为配点处的偏微分方程残差。
