• 德国汉堡持刀袭击案凶手被判终身监禁 2019-04-24
  • 我写文章不是为了别人的赞许,是为了讨论问题,让人有思考的价值,就像你网名一样,探寻真理。我并非就全盘赞成市场经济,只是在讨论它的合理性,在文中也提问,“既然我们 2019-04-24
  • 岳云鹏跟陈赫学打嗝 网友调侃:你教他说相声啊 2019-04-24
  • 湖南高校:将十九大精神融入基础课教学建设 2019-04-17
  • 到户是建立市场经济,生产队的财产各自处理(除土地外),集体土地不只是使用权的失去,如企业向农民转让土地是永远的转让,但没有通过集体经济组织签订转让合同,集体失去 2019-04-17
  • 黄渤挑战苏绣“一出好戏” 2019-04-16
  • 朔州启动桑干河“清河行动” 2019-04-16
  • 藏北牧民南迁记:生态环境保护与脱贫攻坚双赢 2019-04-13
  • 夏日“瘦身族” 科学“瘦身”你准备好了吗? 2019-04-13
  • 港澳牙医只需备案即可在粤执业 2019-04-06
  • 广东今年计划新开工 棚户区改造住房25897套 2019-04-06
  • 宋祖儿欧阳娜娜闺蜜情认证!周一围:相亲相爱走下去 2019-04-03
  • 北京朝阳百子湾南一路发生车祸致2死3伤 2019-04-03
  • 揭幕战-俄罗斯火力全开 5-0横扫沙特 2019-04-02
  • 守陵人强巴曲桑的故事 2019-03-30
  • 专业下载站,下载软件就到188下载站

    3d和值走势图:体彩排列五

    您的位置: 体彩排列五>资讯频道>智能科学

    大批量深度学习为何泛化效果差?

    大批量深度学习为何泛化效果差?

    17-04-27 | 作者:陌路 |

    体彩排列五 www.kj641.com 188软件园AI科技评论按:ICLR 2017 于4月24-26日在法国土伦举行,188软件园AI科技评论的编辑们也于法国带来一线报道。在这个深度学习会议举办之际,188软件园也围绕会议议程及论文介绍展开一系列的覆盖和专题报道,敬请期待。

    58feab28db690.jpg

    由西北大学(Northwestern U)的Nitish Shirish Keskar和Jorge Nocedal和英特尔的Dheevatsa Mudigere,Mikhail Smelyanskiy以及Ping Tak Peter Tang近期发表的论文《ON LARGE-BATCH TRAINING FOR DEEP LEARNING: GENERALIZATION GAP AND SHARP MINIMA》,当选 ICLR 2017的oral paper。文章描述了在传统神经网络训练时,大的 batch size(如,超过512)会导致网络模型泛化能力下降的问题,并通过实验证明其原因是泛化误差和尖锐收敛,并提出了一些解决方案。

    很多深度学习过程中都在算法上应用了随机梯度下降的方法或随机梯度下降的衍生方法。但是这种方法一般适用于小批量(样本数量在32-512之间)的计算。观察数据显示,当大批量计算时(样品数量超过512),如果用泛化能力作为标准的话,模型的计算质量就会下降。Intel与西北大学研究的这篇文章,就这个问题进行了讨论,并提出了大量的证据证明大批量的方法会倾向于将模型和函数归一化,从而导致尖锐收敛,并最终生成了比较差的泛化效果。

    论文分析了在小批量情况下结果不同的原因,并提出这种不同来自于在梯度预测时内部噪声的差异。如下图片,在这个案例中,随机的选择一组小批量(SB)和大批量(LB)的最小值,可以发现,LB极小值比SB极小值更加尖锐。因此,泛化能力则更低一些。同时,论文还就减小泛化间隙的问题提出了在大批量计算中适用的几种策略,开放性的预留了未来的讨论点,包括在大批量计算中可进行的尖锐收敛和可能的优化方案。

    1.jpg

     

    ICLR评论:

    ICLR委员会最终决定:

    对这篇论文的评论普遍非常正面,这说明了这篇论文映射了一个在工程应用领域普遍存在的问题。我相信整个研究环境会通过阅读这篇论文得到一些建设性的解决问题的新思路。

    决定:接受(Oral)

    大批量训练的分析

    评分:8分,Top 50%,明确接受

    评论:这是一篇很有趣的文章,就为什么大批量训练效果变差的原因进行了分析,这对整个深度学习的社区有着重要的意义。

    很好的文章

    评论:我想这篇文章明确了一点,大批量计算时,泛化效果就会变差。并通过对比分析大批量和小批量的失真函数进行了很好的阐释。

    文章不够新颖但是实验数据非常有价值

    评分:10分,Top 5%,这是一篇研讨会文章

    很好的文章:

    评分:6分,刚好及格

    评价:我觉得这篇文章还不错,很有趣也很有用,但是如果增加更多的论证,比如增加一些高斯噪声梯度的分析。

     

    1.jpg

    网友评论

    您的评论需要经过审核才能显示 网名

    0条评论>网友评论