公司建设网站的请示,山东专业企业网站建设,seo营销推广平台,网站开发济南首先#xff0c;如果out.backward()中的out是一个标量的话#xff08;相当于一个神经网络有一个样本#xff0c;这个样本有两个属性#xff0c;神经网络有一个输出#xff09;那么此时我的backward函数是不需要输入任何参数的。 运行结果#xff1a; 不难看出#xff0c…首先如果out.backward()中的out是一个标量的话相当于一个神经网络有一个样本这个样本有两个属性神经网络有一个输出那么此时我的backward函数是不需要输入任何参数的。 运行结果 不难看出我们构建了这样的一个函数 所以其求导也很容易看出 这是对其进行标量自动求导的结果 如果out.backward()中的out是一个向量或者理解成1xN的矩阵的话我们对向量进行自动求导看看会发生什么
先构建这样的一个模型相当于一个神经网络有一个样本这个样本有两个属性神经网络有两个输出 模型也很简单不难看出out求导出来的雅克比应该是 因为a1 2a2 4所以上面的矩阵应该是
运行的结果 嗯的确是8和96但是仔细想一想和咱们想要的雅克比矩阵的形式也不一样啊。难道是backward自动把0给省略了
咱们继续试试这次在上一个模型的基础上进行小修改如下 可以看出这个模型的雅克比应该是 运行一下看是不是 等等什么鬼正常来说不应该是 [ [ 8 , 2 ] , [ 2 , 96 ] ]么
我是谁我再哪
为什么就给我2个数而且是 8 2 10 96 2 98 。难道都是加的 2
想一想刚才咱们backward中传的参数是 [ [ 1 , 1 ] ]难道安装这个关系对应求和了
咱们换个参数来试一试程序中只更改传入的参数为[ [ 1 , 2 ] ] 运行一下 嗯这回可以理解了我们传入的参数是对原来模型正常求导出来的雅克比矩阵进行线性操作可以把我们传进的参数设为arg看成一个列向量那么我们得到的结果就是(注意这里是矩阵乘法为了好表示我用了*): ( Jacobi * arg )T
在这个题里我们得到的实际是 看起来一切完美的解释了但是就在我刚刚打字的一刻我意识到官方文档中说k.backward()传入的参数应该和k具有相同的维度所以如果按上述去解释是解释不通的。
哪里出问题了呢
仔细看了一下原来是这样的在对雅克比矩阵进行线性操作的时候应该把我们传进的参数设为arg看成一个行向量不是列向量那么我们得到的结果就是(注意这里是矩阵乘法为了好表示我用了*): ( arg * Jacobi )T
即 这回我们就解释的通了。
现在我们来输出一下雅克比矩阵吧为了不引起歧义我们让雅克比矩阵的每个数值都不一样一开始分析错了就是因为雅克比矩阵中有相同的数据所以模型小改动如下 如果没问题的话咱们的雅克比矩阵应该是 [ [ 8 , 2 ] , [ 4 , 96 ] ]
好了下面是见证奇迹的时刻了,不要眨眼睛奥千万不要眨眼睛...... 好了现在总结一下因为经过了复杂的神经网络之后out中每个数值都是由很多输入样本的属性也就是输入数据线性或者非线性组合而成的那么out中的每个数值和输入数据的每个数值都有关联也就是说【out】中的每个数都可以对【a】中每个数求导那么我们backward的参数[k1,k2,k3....kn]的含义就是 也可以理解成每个out分量对an求导时的权重。 现在如果out是一个矩阵呢
下面的例子也可以理解为相当于一个神经网络有两个样本每个样本有两个属性神经网络有两个输出. 如果前面的例子理解了那么这个也很好理解backward输入的参数k是一个2x1的矩阵2代表的就是样本数量就是在前面的基础上再对每个样本进行加权求和。
结果是 如果有兴趣也可以拓展一下多个样本的多分类问题猜一下k的维度应该是【输入样本的个数 X 分类的个数】
好啦纠结我好久的pytorch自动求导原理算是彻底搞懂啦~~~
