涛飞网站建设,wordpress小工具音乐美化,公司网站建设的心得,北京工商注册登记网官网一、卷积层的计算
4 ∗ * ∗ 4的输入矩阵 I I I 和 3 ∗ * ∗ 3 的卷积核 K K K:
在步长#xff08;stride#xff09;为 1 时#xff0c;输出的大小为 ( 4 − 3 1 ) ( 4 − 3 1)
计算公式#xff1a; ● 输入图片矩阵 I I I 大小#xff1a; w w w w ww ●…一、卷积层的计算
4 ∗ * ∗ 4的输入矩阵 I I I 和 3 ∗ * ∗ 3 的卷积核 K K K:
在步长stride为 1 时输出的大小为 ( 4 − 3 1 ) × ( 4 − 3 1)
计算公式 ● 输入图片矩阵 I I I 大小 w × w w × w w×w ● 卷积核 K K K k × k k × k k×k ● 步长 S S S s s s ● 填充大小padding p p p o ( w − k 2 p ) s 1 o \frac{(w − k 2p )}{s}1 os(w−k2p)1 输出图片大小为 o × o o × o o×o ● 步长为2卷积核为33p0的卷积情况如下 当卷积函数中paddingsame’时会动态调整 p p p 值确保 o w o w ow 即保证输入与输出一致。例如输入是 28281 输出也为 28281 。 ● 步长为1卷积核为33paddingsame’的卷积情况如下 实例 7 ∗ 7 7*7 7∗7 的 input 3 ∗ 3 3*3 3∗3 的 kernel无填充padding0步长为1则 o ( 7 − 3 ) 1 1 o \frac{(7 − 3 )}{1}1 o1(7−3)1也即 output size 为 5 ∗ 5 5*5 5∗5 7 ∗ 7 7*7 7∗7 的 input 3 ∗ 3 3*3 3∗3 的 kernel无填充padding0步长为2则 o ( 7 − 3 ) 2 1 o \frac{(7 − 3 )}{2}1 o2(7−3)1也即 output size 为 3 ∗ 3 3*3 3∗3
二、卷积层运算量的计算 对于第一个卷积过程涉及的计算量计算过程如下
首先我们需要计算卷积层的参数量。对于一个卷积核大小为 k × k k \times k k×k输入特征图大小为 h × w × c i n h \times w \times c_{in} h×w×cin输出特征图大小为 h ′ × w ′ × c o u t h \times w \times c_{out} h′×w′×cout的卷积层其参数量为 k 2 × c i n × c o u t k^2 \times c_{in} \times c_{out} k2×cin×cout c o u t c_{out} cout 其中最后的 c o u t c_{out} cout是bias的数量 引自 [假设卷积核的大小为 k*k, 输入channel为M 输出channel为N。] 1bias为True时参数数量为 k × k × M × N N k × k × M × N N k×k×M×NN bias的数量与输出channel的数量是一样的 2bias为False时参数数量为 k × k × M × N k×k×M×N k×k×M×N 3当使用BN时还有两个可学习的参数α和β参数量均为N 则参数数量为 k × k × M × N 3 × N k×k×M×N 3×N k×k×M×N3×N 对于本题输入特征图大小为 100 × 100 × 128 100 \times 100 \times 128 100×100×128输出特征图大小为 100 × 100 × 256 100 \times 100 \times 256 100×100×256卷积核大小为 5 × 5 5 \times 5 5×5且填充为 2步长为 1输出通道数为 256。因此每个卷积层的参数量为 5 2 × 128 × 256 5^2 \times 128 \times 256 52×128×256 256 ≈ 8.192 × 1 0 5 8.192 \times 10^5 8.192×105 参数量会计算了那么 F L O P s FLOPs FLOPs其实也是很简单的就一个公式 F L O P s t o t a l FLOPs_{total} FLOPstotal × h ′ × w ′ \times h \times w ×h′×w′ 8.192 × 1 0 5 × 100 × 100 8.192 \times 10^5 \times 100 \times 100 8.192×105×100×100 8.192 × 1 0 9 8.192 \times 10^9 8.192×109 因此经过具有 256 个输出的 5x5 卷积层之后输出数据为 100x100x256 的计算量是约为 8.192 × 1 0 9 F L O P s 8.192 \times 10^{9} FLOPs 8.192×109FLOPs。
对于第二个卷积过程涉及的计算量计算过程如下
首先考虑 1x1 卷积层的计算量。套用上面的公式输入特征图大小为 100 × 100 × 128 100 \times 100 \times 128 100×100×128输出通道数为 32因此经过 1x1 卷积层后输出特征图大小为 100 × 100 × 32 100 \times 100 \times 32 100×100×32这里的bias值很小我直接省了计算量为 F L O P s 1 × 1 FLOPs_{1\times1} FLOPs1×1 1 2 × 128 × 32 × 100 × 100 4.096 × 1 0 7 1^2 \times 128 \times 32 \times 100 \times 100 4.096 \times 10^7 12×128×32×100×1004.096×107 接下来考虑 5x5 卷积层的计算量经过 1x1 卷积层后输出特征图大小为 100 × 100 × 32 100 \times 100 \times 32 100×100×32输入通道数为 32输出通道数为 256卷积核大小为 5x5填充为 2步长为 1这里的bias值很小我直接省了计算量为 F L O P s 5 × 5 FLOPs_{5\times5} FLOPs5×5 5 2 × 32 × 256 × 100 × 100 2.048 × 1 0 9 5^2 \times 32 \times 256 \times 100 \times 100 2.048 \times 10^{9} 52×32×256×100×1002.048×109 因此经过具有 32 个 1x1大小的卷积核的卷积层和具有 256 个5x5大小的卷积核的卷积层之后输出数据为 100x100x256 的计算量为 F L O P s 1 × 1 F L O P s 5 × 5 FLOPs_{1\times1} FLOPs_{5\times5} FLOPs1×1FLOPs5×5 ≈ 2.048 × 1 0 9 2.048 \times 10^{9} 2.048×109
