Normalization的基本动机，原理，为什么要拉伸还原，类似的还有哪些
训练深层神经网络是非常艰难的，出格是正在较短的光阳内使他们支敛愈加棘手。 正在原节中，咱们将引见批质标准化（batch normalization），那是一种风止且有效的技术，可连续加快深层网络的支敛速度，但正常不扭转模型精度。 为什么须要运用批质归一化呢？ 总结来说：运用浅层模型时，跟着模型训练的停行，当每层中参数更新时，挨近输出层的输出较难显现剧烈厘革。而对深层神经网络来说，跟着网络训练的停行，前一层参数的调解使得后一层输入数据的分布发作厘革，各层正在训练的历程中就须要不停的扭转以适应进修那种新的数据分布。所
2024-10-12 07:28 阅读量:69