上海利恩建设集团有限公司网站,dw网页设计源代码,东莞网站优化关键词排名,WordPress验证问题本文介绍量化中如何将BatchNorm和ReLU合并到Conv中。
Folding BatchNorm
BatchNorm是google提出的一种加速神经网络训练的技术#xff0c;在很多网络中基本是标配。回忆一下BatchNorm其实就是在每一层输出的时候做了一遍归一化操作#xff1a; Input:Values of x over a mi…本文介绍量化中如何将BatchNorm和ReLU合并到Conv中。
Folding BatchNorm
BatchNorm是google提出的一种加速神经网络训练的技术在很多网络中基本是标配。回忆一下BatchNorm其实就是在每一层输出的时候做了一遍归一化操作 Input:Values of x over a mini-batch:; Parameters to be learned: output: //mini batch mean // mini batch variance // normalization // scale and shift Algorithm1:Batch normalizing transform, applied to activation x over a mini-batch。其中是网络中间某一层的激活值、分别是其均值和方差则是经过BN后的输出。
一般卷积层与BN合并 Folding BatchNorm不是量化才有的操作在一般网络中为了加速网络推理我们也可以把BN合并到Conv中。
合并的过程是这样的假设有一个已经训练好的Conv和BN 假设Conv的weight和bias分别是w和b那么卷积层的输出为 (1)
途中BN层的均值和方差可以表示为和,那么BN层的输出可以表示为
(2)
然后我们将1式代入2式得 (3)
我们用来表示 那么3式可以表示为 (4)
可以发现4式形式上跟1式一模一样因此它本质上也是一个Conv运算我们只需要用和来作为原来卷积的weight和bias就相当于将BN的操作合并到了Conv里面。实际inference的时候由于BN层的参数已经固定了因此可以把BN层folding到Conv中省去BN层的计算开销。 卷积层和BN层合并从pytorch官方扒出的对应代码如下传送
def fuse_conv_bn_weights(conv_w: torch.Tensor,conv_b: Optional[torch.Tensor],bn_rm: torch.Tensor,bn_rv: torch.Tensor,bn_eps: float,bn_w: Optional[torch.Tensor],bn_b: Optional[torch.Tensor],transpose: bool False
) - Tuple[torch.nn.Parameter, torch.nn.Parameter]:rFuse convolutional module parameters and BatchNorm module parameters into new convolutional module parameters.Args:conv_w (torch.Tensor): Convolutional weight.conv_b (Optional[torch.Tensor]): Convolutional bias.bn_rm (torch.Tensor): BatchNorm running mean.bn_rv (torch.Tensor): BatchNorm running variance.bn_eps (float): BatchNorm epsilon.bn_w (Optional[torch.Tensor]): BatchNorm weight.bn_b (Optional[torch.Tensor]): BatchNorm bias.transpose (bool, optional): If True, transpose the conv weight. Defaults to False.Returns:Tuple[torch.nn.Parameter, torch.nn.Parameter]: Fused convolutional weight and bias.conv_weight_dtype conv_w.dtypeconv_bias_dtype conv_b.dtype if conv_b is not None else conv_weight_dtypeif conv_b is None:conv_b torch.zeros_like(bn_rm)if bn_w is None:bn_w torch.ones_like(bn_rm)if bn_b is None:bn_b torch.zeros_like(bn_rm)bn_var_rsqrt torch.rsqrt(bn_rv bn_eps)if transpose:shape [1, -1] [1] * (len(conv_w.shape) - 2)else:shape [-1, 1] [1] * (len(conv_w.shape) - 2)fused_conv_w (conv_w * (bn_w * bn_var_rsqrt).reshape(shape)).to(dtypeconv_weight_dtype)fused_conv_b ((conv_b - bn_rm) * bn_var_rsqrt * bn_w bn_b).to(dtypeconv_bias_dtype)return (torch.nn.Parameter(fused_conv_w, conv_w.requires_grad), torch.nn.Parameter(fused_conv_b, conv_b.requires_grad)) 量化BatchNorm Folding
量化网络时可以用同样的方法把BN合并到Conv中。
如果量化时不想更新BN的参数后训练量化那我们就先把BN合并到Conv中直接量化新的Conv即可。
如果量化时需要更新BN的参数比如量化感知训练那也很好处理。Google把这个流程的心法写在一张图上了 由于实际 inference 的时候BN 是 folding 到 Conv 中的因此在量化训练的时候也需要模拟这个操作得到新的 weight 和 bias并用新的 Conv 估计量化误差来回传梯度。
量化感知训练后期再做详细的解读和补充。
Conv和ReLU合并
在量化中Conv ReLU这样的结构一般也是合并成一个Conv进行运算的而这一点在全精度模型中则办不到。
之前的文章中有介绍过ReLU前后应该使用同一个scale和 zeropoint。这是因为ReLU本身没有做任何的数学运算只是一个截断函数如果使用不同的scale和zeropoint将会导致无法量化回float域。
