批量归一化是一种在深厚度学中常用的手艺，基本上用于加速训练过程并搞优良模型的稳稳当当性。

BN的基本原理

• 归一化BN通过对个个细小批量的输入数据进行标准化处理，使得数据具有零均值和单位方差。
• 少许些内部协变量偏移通过标准化输入， BN少许些了层与层之间输入分布的变来变去，这有助于加速训练过程。
• 权沉初始化BNNeng少许些对权沉初始化的依赖，基本上原因是归一化的输入数据有助于网络geng迅速地收敛。

BN的应用

• 全连接层在代码中， BNNeng应用于全连接层之前，如下所示： python fc = tf.layers.dense bn = tf.layers.batch_normalization activation = tf.nn.relu
• 卷积层BN同样适用于卷积层，如下所示： python conv1 = tf.layers.conv2d bn1 = tf.layers.batch_normalization activation1 = tf.nn.relu
• 循环神经网络BNNeng应用于RNN，如下所示： python cell = tf.nn.rnn_cell.BasicLSTMCell cell_bn = tf.contrib.rnn.LayerNormBasicLSTMCell output, state = tf.nn.dynamic_rnn

BN的注意事项

• 对batch size的敏感性BN的效果对batch size的巨大细小比比kan敏感。当batch size较细小时BN的效果兴许会少许些。
• 测试时的处理在测试时 需要用全局数据的均值和方差来geng新鲜当前BN层，所以呢需要保存训练时的均值和方差。
• 超参数选择BNNeng少许些对超参数的依赖，使得网络对超参数的选择geng加稳健。

BN是一种有力巨大的手艺，Neng显著搞优良深厚度学模型的训练速度和稳稳当当性。只是它也有一些管束和注意事项，需要在实际应用中谨慎处理。