爱站程序员基地一、归一化的作用
通过归一化，使得数据变得更加平滑。例如说我一个影响因素的取值范围为
1~1000
，而另一个因素的影响范围是
1~10
，那么我的成本函数就会变得非常扁平，不利于我的模型训练。这个小
trcik
我个人感觉，更适用于统计学当中。
二、Batch normalization
在上一部分讲，归一化是将输入层标准化，那么在隐藏层是不是也可以呢？答案是显而易见的，而且这个通常是在激活函数之前使用
BN
。
在隐藏层使用
BN
还有一个问题是，权衡隐藏层的值分布与激活函数，例如说在
tanh
中，如果我用了
BN
，那么相当于起到了只是线性激活的作用，这一点值得关注。
三、LRN
这个东西在
AlexNet
中还有使用，但是在后期
BN
的提出，导致这个的应用越来越少。
简单来说，就是对于一个
CNN
过程中，对于其中的一个位置，贯穿整个卷积，进行归一化，从而达到高响应来抑制低响应权重。
