向右滑动:上一篇 向左滑动:下一篇 我知道了
广告

Dropout是什么?为何谷歌专利生效,全球人工智能都将被卡脖子

2019-06-28 作者:Robot-AI
导语:谷歌Dropout专利,6月25日生效,有效期15年。Dropout是一种进行深度学习、训练神经网络时,普遍会用到的方法,是AI领域的必备方法,由Hinton于2012年提出,可以有效防止过拟合。一 、Dr

谷歌Dropout专利,625日生效,有效期15年。Iy3机器人网

Dropout是一种进行深度学习、训练神经网络时,普遍会用到的方法,AI领域的必备方法,Hinton2012年提出,可以有效防止过拟合。Iy3机器人网

一 、Dropout原理Iy3机器人网

我们先来介绍Dropout原理Iy3机器人网

dropout.pngIy3机器人网

Dropout即随机失活正则化,如上图所示。Iy3机器人网

a图中为标准的结构,b图中应用了dropout,可以看到,在应用过后会有一部分神经元失活了,没有与其他的神经相连,因此可以有效的减少过拟合现象,注意这里的失活为随机失活,即下次,这个失活的神经元可能又会被重新的开启。Iy3机器人网

如下图所示对dropout防止过拟合的理解:Iy3机器人网

dropout2.jpgdropout3.jpgIy3机器人网

优点:Iy3机器人网

1.因为有了卷积层,达到了共享的卷积核,对高维的数据处理无压力 Iy3机器人网

2.不需要手动的选择特征,训练完成后,即可得到特征,这一点也是流行的原因Iy3机器人网

3.深层次的网络对于图像来说,表达效果好,因为图像的信息过于丰富Iy3机器人网

缺点:Iy3机器人网

1.需要调参,需要大量的样本,计算量大Iy3机器人网

2.其物理的含义不明确,即你不能很好的说明为什么要这么做,这也是不同于一些理论性很强的算法如SVM的原因。Iy3机器人网

------------------------------------------------------------------------ Iy3机器人网

以上Droput原理简介来源:CSDN ,作者:michaelhan3Iy3机器人网

原文:https://blog.csdn.net/michaelhan3/article/details/69803032 Iy3机器人网

 Iy3机器人网

二、谷歌DropoutIy3机器人网

谷歌Dropout专利名字是:解决神经网络过拟合的系统与方法。Iy3机器人网

这是一个用来训练神经网络的系统。特征检测器 (Feature Detectors) 上面,都连着一个开关,至少网络的某些层是这样。Iy3机器人网

在每一个training case里,开关都会随机关闭一些特征检测器,是根据一个预先配置的概率来决定的。Iy3机器人网

然后,每个训练案例的权重,会被归一化 (Normalized) ,以将神经网络应用在测试集上。Iy3机器人网

Dropout为什么能防过拟合,HintonCNN成名作ImageNet Classification with Deep Convolutional里面,是这样说的:Iy3机器人网

每次关掉一半的特征检测器,每次训练的都是不一样的网络。然后取各种网络的平均,用来预测。这样可以提升模型的稳定性,或是泛化能力,防止过拟合。Iy3机器人网

专利列举了20,细数了各种想到、想不到的训练步骤,成为一本优秀的使用手册。Iy3机器人网

三、Dropout专利对AI行业的影响Iy3机器人网

三年前,因为谷歌给Dropout申请了专利,就已经引发过一次业界哗然。当时,reddit上有个热帖,言辞激烈的把谷歌、还有当时未获图灵奖的Hinton等人统统给“问候”了一个遍。(看来欧美人与中国网民没什么不同&_^Iy3机器人网

现在,所有人,所有要用到Dropout的人、公司、机构,都可能要面临一个被掐脖子的尴尬境地,特别是那些做云端AI平台的公司。Iy3机器人网

卡脖子.jpgIy3机器人网

一度引起广泛讨论的“徐匡迪之问”,也再次被拿出来讨论。Iy3机器人网

今年5月,上海院士沙龙活动中,中国工程院院士徐匡迪等多位院士尖锐一问:中国有多少数学家投入到人工智能的基础算法研究中?Iy3机器人网

尴尬现状是,中国AI的应用虽然当前如火如荼,但自主知识产权的底层框架和核心算法非常缺乏,更多还是依靠开源代码和算法。Iy3机器人网

接受科技日报采访的浙江大学应用数学研究所所长孔德兴教授就呼吁:如果缺少核心算法,当碰到关键性问题时,还是会被人“卡脖子”。Iy3机器人网

孔教授说,开源代码是可以拿过来使用,但专业性、针对性不够,效果往往不能满足具体任务的实际要求。孔教授认为,是否掌握核心代码将决定未来的AI“智力大比拼”中是否拥有胜算。Iy3机器人网

而今年一而再的例子已经证明,核心算法靠灯塔,即便口碑如谷歌,可能也会有断供的一天。Iy3机器人网

所以Dropout成谷歌专利,不只关于开源,不只停留在科研,还关乎更致命的自主核心算法和背后的“卡脖子”困境。Iy3机器人网

整理
本文为机器人网原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。

您可能感兴趣的文章

  • 美国发布人工智能八大战略

    《美国国家人工智能战略》确定人工智能技术研发是维持美国人工智能在全球领先地位的重中之重。美国如今在人工智能创新方面处于世界领先地位,很大程度上要归功于美国强大的研

  • 盘点2019年人工智能+安防技术变革与创新

    2019年在中国的AI+5G+机器人+自动驾驶的浪潮中,伴随着中美贸易战的强势又千转百回的音符,过的似乎格外的快。纵观2019年安防行业新技术变革,我们会发现今年安防行业涌现出新概

  • 2020年AI八大科技趋势预测(百度)

    百度研究院发布2020年八大科技趋势预测,全面分析未来科技行业的发展趋势。1、AI技术已发展到可大规模生产的工业化阶段,2020年将出现多家“AI工厂”  伴随着国内

  • 人工智能和人类智能的十大不同

    如今所谓的"人工智能"其实是通过神经网络实现的。神经网络是一种计算机算法,用来模拟人脑的特定功能。当中包含虚拟的"神经元" 这些神经元排列在"层"中,并且互相连接。神经元

  • 王坚说AI

    最近两年,AI已经铺天盖地,几乎到了无科技不AI的地步。可是,阿里王坚却说:“AI这个词要被很好的约束一下了。”是什么让王坚坐不住了?2019年12月8日,在钛媒体T-EDGE产业

  • 美国军方大搞玄学科技,心灵感应遥控无人机,用的什么技术?

    想必看现代网络小说的都听过玄学,什么至刚纯体、化境等等,而今天要说的是,美国人也搞玄学,而且是玄乎乎的,不过我们都知道,美国的科技可不是盖的,他们的玄学其实都是从科技中来,再到

相关推荐

近期热点
广告
广告
广告

可能感兴趣的话题

广告
推荐使用浏览器内置分享