什么是批标准化 (Batch Normalization)

Batch Normalization, 批标准化, 和普通的数据标准化类似, 是将分散的数据统一的一种做法。

训练更深层的神经网络一直是深度学习中提高模型性能的重要手段之一。

批规范化操作,不仅加快了模型收敛速度,而且更重要的是在一定程度缓解了深层网络的一个难题“梯度弥散”,从而使得训练深层网络模型更加容易和稳定。另外,批规范化操作不光适用于深层网络,对传统的较浅层网络而言,批规范化也能对网络泛化性能起到一定提升作用。目前批规范化已经成为了几乎所有卷积神经网络的标配。

首先,我们来看一下批规范化操作(简称 BN)的流程。顾名思义,“批规范化”,即在模型每次随机梯度下降训练时,通过mini-batch来对相应的网络响应做规范化操作,使得结果(输出信号各个维度)的均值为0,方差为1。

BN 算法

什么是批标准化 (Batch Normalization)

我们引入一些 batch normalization 的公式. 这三步就是我们在刚刚一直说的 normalization 工序, 但是公式的后面还有一个反向操作, 将 normalize 后的数据再扩展和平移. 原来这是为了让神经网络自己去学着使用和修改这个扩展参数 gamma, 和 平移参数 β, 这样神经网络就能自己慢慢琢磨出前面的 normalization 操作到底有没有起到优化的作用, 如果没有起到作用, 我就使用 gamma 和 belt 来抵消一些 normalization 的操作.

什么是批标准化 (Batch Normalization)

最后我们来看看一张神经网络训练到最后, 代表了每层输出值的结果的分布图. 这样我们就能一眼看出 Batch normalization 的功效啦. 让每一层的值在有效的范围内传递下去。

BN 来规范化某些层或所有层的输入,从而可以固定每层输入信号的均值与方差。这样一来,即使网络模型较深层的响应或梯度很小,也可通过BN的规范化作用将其的尺度变大,以此便可解决深层网络训练很可能带来的“梯度弥散”问题。

在实验中, 研究人员发现可通过BN来规范化某些层或所有层的输入,从而可以固定每层输入信号的均值与方

差。这样一来,即使网络模型较深层的响应或梯度很小,也可通过BN的规范化作用将其的尺度变大,以此便可解决深层网络训练很可能带来的“梯度弥散”问题。

一个直观的例子:对一组很小的随机数做ℓ2 规范化操作:

什么是批标准化 (Batch Normalization)

关于BN 的使用位置,在卷积神经网络中BN 一般应作用在非线性映射函数前。另外,若神经网络训练时遇到收敛速度较慢,或“梯度爆炸”等无法训练的状况发生时也可以尝试用BN来解决。同时,常规使用情况下同样可加入BN 来加快模型的训练速度,甚至提高模型精度。

相关概念

归一化:

1)把数据变成(0,1)或者(1,1)之间的小数。主要是为了数据处理方便提出来的,把数据映射到0~1范围之内处理,更加便捷快速。

2)把有量纲表达式变成无量纲表达式,便于不同单位或量级的指标能够进行比较和加权。归一化是一种简化计算的方式,即将有量纲的表达式,经过变换,化为无量纲的表达式,成为纯量。

标准化:

在机器学习中,我们可能要处理不同种类的资料,例如,音讯和图片上的像素值,这些资料可能是高维度的,资料标准化后会使每个特征中的数值平均变为0(将每个特征的值都减掉原始资料中该特征的平均)、标准差变为1,这个方法被广泛的使用在许多机器学习算法中(例如:支持向量机、逻辑回归和类神经网络)。

中心化:平均值为0,对标准差无要求

归一化和标准化的区别:

归一化是将样本的特征值转换到同一量纲下把数据映射到[0,1]或者[-1, 1]区间内,仅由变量的极值决定,因区间放缩法是归一化的一种。标准化是依照特征矩阵的列处理数据,其通过求z-score的方法,转换为标准正态分布,和整体样本分布相关,每个样本点都能对标准化产生影响。它们的相同点在于都能取消由于量纲不同引起的误差;都是一种线性变换,都是对向量X按照比例压缩再进行平移。

标准化和中心化的区别:

标准化是原始分数减去平均数然后除以标准差,中心化是原始分数减去平均数。 所以一般流程为先中心化再标准化。

无量纲:我的理解就是通过某种方法能去掉实际过程中的单位,从而简化计算。

125jz网原创文章。发布者:江山如画,转载请注明出处:http://www.125jz.com/11121.html

(0)
上一篇 2022年9月22日 上午9:44
下一篇 2022年9月22日 下午2:17

99%的人还看了以下文章

  • 工业互联网的“三网四层”结构-从人类群体智慧的角度解读工业互联网

    互联和智能,是工业互联网最基本的要求和最重要的特征。工业互联网要使得已有的制造机器、生产设备和机械机组等更加智能(Intelligent),建立开放性的网络平台,让生产过程的各类机器以价值链上的所有环节互联化(Connected),从而达到整个生产与服务的智能化(smart)。 工业互联网的核心就是通过信息网络使原本割裂的工业数据实现流通,从而变成一个“智能…

    2018年7月5日
    4.3K0
  • 5个必须知道的手机选购误区

    很多人在选购手机时往往被商家忽悠,或者说自己并没有了解到底什么手机才是适合自己的好手机。那么,我们在选购手机时一般都会遇到哪些误区呢? 手机选购5大误区一:CPU 核心越多性能就越好 现在很多手机动不动就说CPU是八核十核甚至十几核的。然而堆这么多核的手机就恨真的好吗?一般来说,如今的8核10核手机当然是比以前单核双核手机性能要强劲很多。但如果说核心多就比核…

    2020年2月25日
    1.8K0
  • 免费送你课堂好帮手-分分钟让你的教学变的不一样!

    教学手段是师生教学相互传递信息的工具、媒体或设备。 今天豆豆科教给大家分享几款免费的课堂教学软件:课堂派、微助教、雨课堂、课立方、教学立方、蓝墨云班课、麦可思智能助教、学习通…… 一、雨课堂地址:https://www.yuketang.cn/ “雨课堂是清华大学和学堂在线共同推出的新型智慧教学解决方案,是教育部在线教育研究中心的最新研究成果,致…

    2019年8月30日 科技
    6.0K0
  • 华为nova3和荣耀10对比,华为nova3和荣耀10选哪个?

    华为nova3和荣耀10这两款手机都是定位简约时尚的年轻消费群体,作为两款定位和风格都比较相近的手机,华为nova3和荣耀10选哪个?华为nova3和荣耀10有什么区别?

    2018年7月24日 科技
    4.6K1
  • 购机误区:商家送的鼠标和键盘!你完全放弃了选择权?

    在选购电脑的时候,初学者往往对CPU、内存、硬盘、主板、显卡等经常升级换代的“热门”配件比较重视(因为各大报刊杂志以及IT网站经常的介绍已经使大家耳熟能详),而键盘和鼠标往往都被忽略。 很多人在去买电脑的时候,在键盘盒鼠标的这一栏里都是写“送”,就是说,完全放弃了选择权,商家给什么就用什么了。最多,这时候商家会吹吹那一款好,大大多数情况下,消费者都是无所谓的…

    2020年3月22日
    2.2K0
  • 首批深化产教融合服务新旧动能转换重大工程优质企业入库名单

    为贯彻落实全国全省教育大会和新时代全国高校本科教育工作会议精神,服务新旧动能转换重大工程,推动高等教育高质量发展,省教育厅建立了深化产教融合服务新旧动能转换优质企业资源库(以下简称资源库),积极组织高校和企业申报。 根据鲁教高函〔2019〕8号文件,经资格审核,遴选211家企业作为首批入库企业,其中服务新旧动能转换“十强产业”中的新一代信息技术产业59家、高…

    2019年8月30日
    1.3K0

发表回复

登录后才能评论