深度学习中的激活函数、防止过拟合的方法

激活函数需要具备的属性:

  1. 非线性:
  2. 几乎处处可微:
  3. 计算简单:
  4. 非饱和性(saturation):
  5. 单调性(monotonic):
  6. 输出范围有限:
  7. 接近恒等变换(identity):
  8. 参数少:

神经网络中激活函数的真正意义?一个激活函数需要具有哪些必要的属性?还有哪些属性是好的属性但不必要的?

  1. 非线性:
    即导数不是常数。这个条件是多层神经网络的基础,保证多层网络不退化成单层线性网络。这也是激活函数的意义所在。
  2. 几乎处处可微:
    可微性保证了在优化中梯度的可计算性。传统的激活函数如sigmoid等满足处处可微。对于分段线性函数比如ReLU,只满足几乎处处可微(即仅在有限个点处不可微)。对于SGD算法来说,由于几乎不可能收敛到梯度接近零的位置,有限的不可微点对于优化结果不会有很大影响。
  3. 计算简单:
    非线性函数有很多。极端的说,一个多层神经网络也可以作为一个非线性函数,类似于Network In Network中把它当做卷积操作的做法。但激活函数在神经网络前向的计算次数与神经元的个数成正比,因此简单的非线性函数自然更适合用作激活函数。这也是ReLU之流比其它使用Exp等操作的激活函数更受欢迎的其中一个原因。
  4. 非饱和性(saturation):
    饱和指的是在某些区间梯度接近于零(即梯度消失),使得参数无法继续更新的问题。最经典的例子是Sigmoid,它的导数在x为比较大的正值和比较小的负值时都会接近于0。更极端的例子是阶跃函数,由于它在几乎所有位置的梯度都为0,因此处处饱和,无法作为激活函数。ReLU在x>0时导数恒为1,因此对于再大的正值也不会饱和。但同时对于x<0,其梯度恒为0,这时候它也会出现饱和的现象(在这种情况下通常称为dying ReLU)。Leaky ReLU和PReLU的提出正是为了解决这一问题。
  5. 单调性(monotonic):
    即导数符号不变。这个性质大部分激活函数都有,除了诸如sin、cos等。个人理解,单调性使得在激活函数处的梯度方向不会经常改变,从而让训练更容易收敛。
  6. 输出范围有限:
    有限的输出范围使得网络对于一些比较大的输入也会比较稳定,这也是为什么早期的激活函数都以此类函数为主,如Sigmoid、TanH。但这导致了前面提到的梯度消失问题,而且强行让每一层的输出限制到固定范围会限制其表达能力。因此现在这类函数仅用于某些需要特定输出范围的场合,比如概率输出(此时loss函数中的log操作能够抵消其梯度消失的影响)、LSTM里的gate函数。
  7. 接近恒等变换(identity):
    即约等于x。这样的好处是使得输出的幅值不会随着深度的增加而发生显著的增加,从而使网络更为稳定,同时梯度也能够更容易地回传。这个与非线性是有点矛盾的,因此激活函数基本只是部分满足这个条件,比如TanH只在原点附近有线性区(在原点为0且在原点的导数为1),而ReLU只在x>0时为线性。这个性质也让初始化参数范围的推导更为简单。这种恒等变换的性质也被其他一些网络结构设计所借鉴,比如CNN中的ResNet和RNN中的LSTM。
  8. 参数少:
    大部分激活函数都是没有参数的。像PReLU带单个参数会略微增加网络的大小。还有一个例外是Maxout,尽管本身没有参数,但在同样输出通道数下k路Maxout需要的输入通道数是其它函数的k倍,这意味着神经元数目也需要变为k倍;但如果不考虑维持输出通道数的情况下,该激活函数又能将参数个数减少为原来的k倍
    归一化(normalization):
    这个是最近才出来的概念,对应的激活函数是SELU,主要思想是使样本分布自动归一化到零均值、单位方差的分布,从而稳定训练。在这之前,这种归一化的思想也被用于网络结构的设计,比如Batch Normalization。

深度学习中如何防止过拟合

1、更多数据

其实更多数据,是一种很好的防止过拟合的方法。之所以过拟合,其实就是因为模型本身见到的数据太少了,比如对于猫这类动物,如果训练数据集中只有一个正拍且坐立的猫,那么当过拟合时,模型往往有可能只能识别出这类姿态的猫,像跳跃的猫、局部捕捉的猫、反转的猫等等可能都识别不出来了,因为让模型见更多的数据是有好处的,而且真的可以防止过拟合。

2、Dropout为什么能够防止过拟合?算法原理是怎样的?

主要思想是分布式特征表达,在训练的时候,随机丢弃一些节点,使这些节点不参与到参数的更新训练中(一般设置为0.5),然后进行放回,当有数据再次进行更新时,再随机进行选举,主要由这三个优点。

3、BN

BN的最大作用其实是加速训练,也会在一定程度上防止过拟合,另外,当BN和ReLU这类函数一起使用的时候,还可以在一定程度上解决Dead ReLU现象。

4、正规化数据

5、Early stopping的原理,为什么可以防止过拟合?

如果随着训练过程的发生,测试集上的准确率一直上不来,而训练集上的准确率越来越高,那么就发生了过拟合,此时通过early stopping可以提前中止训练,避免模型过拟合的发生。

6、增加训练数据可以防止过拟合吗?为什么呢?

增加数据可以防止过拟合,因为增加数据,模型见到的样本就多了,比如同一类物体,多种形态都有,那么模型学到了多类姿态下,都是同一类别。这样再见到新的数据,也有很好的判别性了,因为训练数据中本身包含了各类可能出现的情况。

7、减少神经元个数可以防止过拟合吗?

减少网络的层数、神经元个数等均可以限制网络的拟合能力,一定程度上可以防止过拟合,这有点类似于决策树中的剪枝操作。

但是这样子做会有一定的风险,因为可能会导致网络的拟合能力不足。

18、不变动模型和参数,只对数据来说怎么减少过拟合?

其实这个问题很简单,就是增加数据。


深度学习如何解决欠拟合?

过拟合是深度网络训练时,常出现的一种问题,然而有的时候欠拟合也经常出现,这个时候就要考虑如何解决欠拟合问题了,一般来说,欠拟合问题主要从以下几个部分解决:

1. 添加其他特征项。组合、泛化、相关性、上下文特征、平台特征等特征是特征添加的重要手段,有时候特征项不够会导致模型欠拟合。

2. 添加多项式特征。例如将线性模型添加二次项或三次项使模型泛化能力更强。例如,FM(Factorization Machine)模型、FFM(Field-aware Factorization Machine)模型,其实就是线性模型,增加了二阶多项式,保证了模型一定的拟合程度。

3. 可以增加模型的复杂程度。

4. 减小正则化系数。正则化的目的是用来防止过拟合的,但是现在模型出现了欠拟合,则需要减少正则化参数。

125jz网原创文章。发布者:江山如画,转载请注明出处:http://www.125jz.com/11134.html

(0)
江山如画的头像江山如画管理团队
上一篇 2022年9月22日 下午2:17
下一篇 2022年11月20日 上午11:18

99%的人还看了以下文章

  • 中国可能超过70%的职业将被人工智能取代:翻译、记者、收银员、保安、客服……

    时代抛弃你时,连一声再见都不会跟你说! 不是我不明白, 是这世界变化太快! 我们正处于有史以来变动最快的时代,科技改变了我们的生活,也将让很多稳定的工作随风而逝。 当你还在质疑新能源汽车时,国家一声令下,全国推行“绿色牌照”! 当你又在质疑“无人驾驶”时,上海打响第一枪,腾出道路全面测试! 现在,高速公路无感支付都要来了,一场新的大变革正在到来! 今天,广东…

    2019年3月25日
    5.1K0
  • 真好用!数据处理-将一组数据归一化到任意区间范围的方法

    将数据归一化到任意区间范围的方法 一般常见的数据归一化,是归一化到0~1,或者-1~1的区间,但在一些特殊场合下,我们需要根据实际情况归一化到其他任意区间。  将数据归一化到[a,b]区间范围的方法 如一组数据实际最小值为70,最大值为99,要将这组数据归一化到80-95区间。 (1)首先找到样本数据Y的最小值Min    70及最大值Max   99 (2…

    2023年7月11日
    1.7K1
  • 出现这6种情况,你的手机该换了

    每个月都有新机发布,配置越来越高,价格越来越低,要不要换手机呢? 对于搞机爱好者,经济条件允许的人来说,他们是跟机玩潮流,有了心动的新品手机,立马更换。有钱人更是,用的苹果iPhone,一看出新品了,也好不犹豫。但对大多数用户来说,我们什么时候该换手机呢? 如果你只是打电话、发短信,用些日常软件,如QQ,微信等,只要系统不是很卡,电池续航还可以,完全没必要换…

    2020年2月25日
    1.2K0
  • 高校大数据与人工智能研究与学习从哪些方面展开?

    国家十三五规划纲要明确提出“实施国家大数据战略,推进数据资源开放共享”,为我国在大数据领域的未来发展绘制了宏伟的蓝图,开启了我国大数据发展的新时代。教育部《高等学校人工智能创新行动计划》及国务院颁布的《新一代人工智能发展规划》,责成科技司、基教司、职成司、高教司、地方各级教育行政部门大力推动人工智能、大数据等新技术在教育教学中的深入应用,推进信息技术与高等教…

    2020年5月7日
    1.8K0
  • 微信转账发现被骗怎么办?微信被骗后抓紧时间做这件事!

    现在网络诈骗频发,而微信支付越来越普及,微信转账后发现被骗怎么办? 如果被骗的钱较多,一定要及时报警,重要的是保存证据,如下方中的截图,把相关证据提交给警察,从而采取冻结对方账户的方法避免资金损失。 除了上述方法,手机521小编今天教给大家两种方法,不要报警后就不管了,特别是钱不太多的情况下,报警不一定见的有用。 微信转钱给骗子后,先在你的转账好友的界面,打…

    2020年2月25日
    2.2K0
  • 人工智能工种技术人员竞赛理论考题、常考知识点(含答案)

    1.【题文】人工智能的目的是让机器能够( ),以实现某些脑力劳动的机械化。 A.完全代替人的工作 B.完全代替人的大脑 C.具有像人一样的高级智能 D.模拟、延伸和扩展人的智能 答案解析 【答案】D 【解析】【详解】本题考查人工智能。人工智能是计算机科学的一个分支,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包…

    2022年11月20日
    6810

发表回复

登录后才能评论

评论列表(1条)

  • 江山如画的头像
    江山如画 2023年10月8日 下午4:20

    激活函数的输出值的范围可以是有限的也可以是无限的。
    当输出值是有限的时候,基于梯度的优化方法会更加稳定,因为特征的表示受有限权值的影响更加显著;当输出值无限时,模型的训练会更加高效。