原理

【BatchNorm2d】是Pytorch中的归一化处理组件，其数学原理为

$$\mathbf{y}=\frac{\mathbf{x}-\mu }{\sigma +ϵ}\gamma +\beta$$

式中，$\mu ,\sigma$为期望核方差，$\mu =\frac{1}{m}{\sum }_{i=1}^m{x}_i$，${\sigma }^2=\frac{1}{m}{\sum }_{i=1}^m(x_i-\mu {)}^2$，其中$m$是当前batch的样本数乘以特征图的空间尺寸，$x_i$是该通道内的所有元素。$ϵ$是为了保证数值稳定性添加的微小量，$\gamma ,\beta$为科学系参数向量，默认$\gamma =1,\beta =0$。

在模型实现后，其输入张量的标准形状为$(N,C,H,W)$，分别代表批处理尺寸，通道数，高和宽。从公式可知，其输出$\mathbf{y}$和输入$\mathbf{x}$有着相同的形状。由于归一化针对的是通道$C$这个维度，所以在求期望与方差的时候，$m=N\times H\times W$。

一般来说，BatchNorm2d在训练模式和推理模式下应该采取不同的行为。在训练模式下，$\mu ,\sigma$为当前batch的实时统计量，同时，利用指数移动平均更新全局的运行均值(Running Mean, ${\mu }_r$)和运行方差(Running Var, ${\sigma }_r$)，为推理阶段做准备，更新公式为

$${\sigma }_r=(1-\alpha ){\sigma }_r+\alpha \sigma$$

而在推模式下，则直接使用训练阶段累积得到的全局${\mu }_r$和${\sigma }_r$代入标准化公式。

实现

【BatchNorm2d】的函数签名为

BatchNorm2d(num_features, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True, device=None, dtype=None)

其中

• num_features为预期输入大小$C$
• eps 即$ϵ$，默认$10^{-5}$
• momentum 用于 running_mean 和 running_var 计算。可以设置为 None 以进行累积移动平均（即简单平均）。默认为：0.1
• affine 默认为True，表示该模块具有可学习的仿射参数。
• track_running_stats 当设置为 True 时，此模块会跟踪运行中的均值和方差；当设置为 False 时，此模块不跟踪这些统计量，并将统计量缓冲区 running_mean 和 running_var 初始化为 None。当这些缓冲区为 None 时，此模块在训练和评估模式下始终使用批次统计量。默认值: True

测试

import torch
import torch.nn as nn

m=nn.BatchNorm2d(2,affine=True)
input=torch.randn(1,2,3,4)
output=m(input)

print(input)
print(m.weight)
print(m.bias)
print(output)
print(output.size())

其输入为

$$\left[\begin{array}{cc}\left[\begin{array}{cccc}-0.1083& 0.6814& 1.1752& -0.5405\\ -1.4278& -1.8828& 0.5529& 2.1013\\ 0.4706& 0.8746& -0.5013& -0.6921\end{array}\right]& \left[\begin{array}{cccc}-0.9154& 1.4002& 0.8023& -0.9378\\ 0.4337& 0.2682& 0.3224& 0.4463\\ -0.4859& 1.0584& -0.0986& -0.6655\end{array}\right]\end{array}\right]$$

输出为

$$\left[\begin{array}{cc}\left[\begin{array}{cccc}-0.1538& 0.5740& 1.0290& -0.5521\\ -1.3698& -1.7891& 0.4555& 1.8825\\ 0.3797& 0.7520& -0.5160& -0.6918\end{array}\right]& \left[\begin{array}{cccc}-1.4311& 1.7217& 0.9076& -1.4617\\ 0.4057& 0.1804& 0.2542& 0.4230\\ -0.8464& 1.2564& -0.3189& -1.0908\end{array}\right]\end{array}\right]$$