深度学习中的激活函数、防止过拟合的方法

激活函数需要具备的属性:

  1. 非线性:
  2. 几乎处处可微:
  3. 计算简单:
  4. 非饱和性(saturation):
  5. 单调性(monotonic):
  6. 输出范围有限:
  7. 接近恒等变换(identity):
  8. 参数少:

神经网络中激活函数的真正意义?一个激活函数需要具有哪些必要的属性?还有哪些属性是好的属性但不必要的?

  1. 非线性:
    即导数不是常数。这个条件是多层神经网络的基础,保证多层网络不退化成单层线性网络。这也是激活函数的意义所在。
  2. 几乎处处可微:
    可微性保证了在优化中梯度的可计算性。传统的激活函数如sigmoid等满足处处可微。对于分段线性函数比如ReLU,只满足几乎处处可微(即仅在有限个点处不可微)。对于SGD算法来说,由于几乎不可能收敛到梯度接近零的位置,有限的不可微点对于优化结果不会有很大影响。
  3. 计算简单:
    非线性函数有很多。极端的说,一个多层神经网络也可以作为一个非线性函数,类似于Network In Network中把它当做卷积操作的做法。但激活函数在神经网络前向的计算次数与神经元的个数成正比,因此简单的非线性函数自然更适合用作激活函数。这也是ReLU之流比其它使用Exp等操作的激活函数更受欢迎的其中一个原因。
  4. 非饱和性(saturation):
    饱和指的是在某些区间梯度接近于零(即梯度消失),使得参数无法继续更新的问题。最经典的例子是Sigmoid,它的导数在x为比较大的正值和比较小的负值时都会接近于0。更极端的例子是阶跃函数,由于它在几乎所有位置的梯度都为0,因此处处饱和,无法作为激活函数。ReLU在x>0时导数恒为1,因此对于再大的正值也不会饱和。但同时对于x<0,其梯度恒为0,这时候它也会出现饱和的现象(在这种情况下通常称为dying ReLU)。Leaky ReLU和PReLU的提出正是为了解决这一问题。
  5. 单调性(monotonic):
    即导数符号不变。这个性质大部分激活函数都有,除了诸如sin、cos等。个人理解,单调性使得在激活函数处的梯度方向不会经常改变,从而让训练更容易收敛。
  6. 输出范围有限:
    有限的输出范围使得网络对于一些比较大的输入也会比较稳定,这也是为什么早期的激活函数都以此类函数为主,如Sigmoid、TanH。但这导致了前面提到的梯度消失问题,而且强行让每一层的输出限制到固定范围会限制其表达能力。因此现在这类函数仅用于某些需要特定输出范围的场合,比如概率输出(此时loss函数中的log操作能够抵消其梯度消失的影响)、LSTM里的gate函数。
  7. 接近恒等变换(identity):
    即约等于x。这样的好处是使得输出的幅值不会随着深度的增加而发生显著的增加,从而使网络更为稳定,同时梯度也能够更容易地回传。这个与非线性是有点矛盾的,因此激活函数基本只是部分满足这个条件,比如TanH只在原点附近有线性区(在原点为0且在原点的导数为1),而ReLU只在x>0时为线性。这个性质也让初始化参数范围的推导更为简单。这种恒等变换的性质也被其他一些网络结构设计所借鉴,比如CNN中的ResNet和RNN中的LSTM。
  8. 参数少:
    大部分激活函数都是没有参数的。像PReLU带单个参数会略微增加网络的大小。还有一个例外是Maxout,尽管本身没有参数,但在同样输出通道数下k路Maxout需要的输入通道数是其它函数的k倍,这意味着神经元数目也需要变为k倍;但如果不考虑维持输出通道数的情况下,该激活函数又能将参数个数减少为原来的k倍
    归一化(normalization):
    这个是最近才出来的概念,对应的激活函数是SELU,主要思想是使样本分布自动归一化到零均值、单位方差的分布,从而稳定训练。在这之前,这种归一化的思想也被用于网络结构的设计,比如Batch Normalization。

深度学习中如何防止过拟合

1、更多数据

其实更多数据,是一种很好的防止过拟合的方法。之所以过拟合,其实就是因为模型本身见到的数据太少了,比如对于猫这类动物,如果训练数据集中只有一个正拍且坐立的猫,那么当过拟合时,模型往往有可能只能识别出这类姿态的猫,像跳跃的猫、局部捕捉的猫、反转的猫等等可能都识别不出来了,因为让模型见更多的数据是有好处的,而且真的可以防止过拟合。

2、Dropout为什么能够防止过拟合?算法原理是怎样的?

主要思想是分布式特征表达,在训练的时候,随机丢弃一些节点,使这些节点不参与到参数的更新训练中(一般设置为0.5),然后进行放回,当有数据再次进行更新时,再随机进行选举,主要由这三个优点。

3、BN

BN的最大作用其实是加速训练,也会在一定程度上防止过拟合,另外,当BN和ReLU这类函数一起使用的时候,还可以在一定程度上解决Dead ReLU现象。

4、正规化数据

5、Early stopping的原理,为什么可以防止过拟合?

如果随着训练过程的发生,测试集上的准确率一直上不来,而训练集上的准确率越来越高,那么就发生了过拟合,此时通过early stopping可以提前中止训练,避免模型过拟合的发生。

6、增加训练数据可以防止过拟合吗?为什么呢?

增加数据可以防止过拟合,因为增加数据,模型见到的样本就多了,比如同一类物体,多种形态都有,那么模型学到了多类姿态下,都是同一类别。这样再见到新的数据,也有很好的判别性了,因为训练数据中本身包含了各类可能出现的情况。

7、减少神经元个数可以防止过拟合吗?

减少网络的层数、神经元个数等均可以限制网络的拟合能力,一定程度上可以防止过拟合,这有点类似于决策树中的剪枝操作。

但是这样子做会有一定的风险,因为可能会导致网络的拟合能力不足。

18、不变动模型和参数,只对数据来说怎么减少过拟合?

其实这个问题很简单,就是增加数据。


深度学习如何解决欠拟合?

过拟合是深度网络训练时,常出现的一种问题,然而有的时候欠拟合也经常出现,这个时候就要考虑如何解决欠拟合问题了,一般来说,欠拟合问题主要从以下几个部分解决:

1. 添加其他特征项。组合、泛化、相关性、上下文特征、平台特征等特征是特征添加的重要手段,有时候特征项不够会导致模型欠拟合。

2. 添加多项式特征。例如将线性模型添加二次项或三次项使模型泛化能力更强。例如,FM(Factorization Machine)模型、FFM(Field-aware Factorization Machine)模型,其实就是线性模型,增加了二阶多项式,保证了模型一定的拟合程度。

3. 可以增加模型的复杂程度。

4. 减小正则化系数。正则化的目的是用来防止过拟合的,但是现在模型出现了欠拟合,则需要减少正则化参数。

125jz网原创文章。发布者:江山如画,转载请注明出处:http://www.125jz.com/11134.html

(0)
上一篇 2022年9月22日 下午2:17
下一篇 2022年11月20日 上午11:18

99%的人还看了以下文章

  • 6个小妙招,让你的苹果手机用两天

    iPhone手机虽然外形美观,运行速度也快,但是却有一个让人不得不吐槽的地方,那就是电池耗电快,看到电池电量变红色,各位果粉们是不是心里在吐槽可很多遍了呢?今天mobile521和大家说说iPhone手机省电的小妙招吧,在你不方便充电的情况下更要注意这样来省电哦。 第一、不要让你的iPhone手机过于受冷或者受热。由于iPhone手机使用的是锂离子电池,所以…

    2020年2月25日
    1.4K0
  • 什么是”云+网+端”,快速理解”云+网+端”技术架构

    云 网 端 :云计算+移动互联网+智能终端 一、”云+网+端”的概念 “云”是指云计算、大数据基础设施。 “网”不仅包括原有的“互联网” ,还拓展到“物联网”领域,网络承载能力不断得到提高、新增价值持续得到挖掘。 “端”则是用户直接接触的个人电脑、移动设备、可穿戴设备、传感器,乃至软件形式存在的应用。 “端”是数据的来源、也是服务提供…

    2019年10月23日 科技
    18.3K0
  • 学点少儿编程,提高孩子逻辑能力

    烟台市莱山区杰客编程培训学校 联系人:  蔡老师   电话:15552261268 微信: 地址:山东省烟台市莱山区迎春大街133号——科技创业大厦 孩子早学编程早受益 赶快拨打电话报名吧! 中国青年报社社会调查中心,对2007名受访者进行的一项调查显示,54.4%的受访者觉得孩子有必要专门学习少儿编程培训课程。这些受访者主要希望借此提高孩子逻辑水平,挖掘“…

    2020年3月29日 科技
    1.2K0
  • 江苏双创人才、双创团队、双创博士申报条件及名额分配

    双创人才申报条件 一、基本条件 1.创业人才一般应具有硕士以上学位,创新人才一般应具有博士学位(文化创新类、高技能创新类可适当放宽),其中境外学位需提供教育部留学服务中心学历认证(国家重大人才工程A类专家或2000年1月1日之前获得学位的除外)。 2.年龄一般不超过55周岁(1965年1月1日后出生),其中取得发达国家医师执业资格卫生创新人才、境外引进的高技…

    科技 2020年8月17日
    7.5K0
  • 2019年度山东省重点研发计划 (重大科技创新工程第一批)项目申报指南

    一、人工智能 人工智能是引领未来的战略性技术,是推进供给侧结构性改革、振兴实体经济的新机遇,是建设制造强国和网络强国的新引擎。为全面拓展“智能+”,为制造业转型升级赋能,切实增强我省人工智能创新活力,创建和引进人工智能研究团队和创新型企业,按照有限目标、重点突破的原则,2019年重点围绕人工智能关键核心技术、大数据、信息安全、专用设备、高端软件、人工智能产业…

    2019年3月22日
    4.0K0
  • 人工智能与深度学习实训课程内容—学习路线

    为了加快创新步伐,全面实施创新驱动发展战略,进一步贯彻落实国务院《新一代人工智能发展规划》和教育部《高等学校人工智能创新行动计划》,加强人工智能课程建设,提高人工智能教育水平,提高人才培养质量是当务之急。要满足国家对人工智能人才培养的需要、提高人才培养质量,师资是关键,而组织教师培训是提高师资水平的最佳途径之一。通过培训,可以使教师了解人工智能行业发展的最新…

    2020年7月25日
    1.7K0

发表评论

登录后才能评论