向右滑动:上一篇 向左滑动:下一篇 我知道了
广告

Dropout是什么?为何谷歌专利生效,全球人工智能都将被卡脖子

2019-06-28 作者:Robot-AI
导语:谷歌Dropout专利,6月25日生效,有效期15年。Dropout是一种进行深度学习、训练神经网络时,普遍会用到的方法,是AI领域的必备方法,由Hinton于2012年提出,可以有效防止过拟合。一 、Dr

谷歌Dropout专利,625日生效,有效期15年。

Dropout是一种进行深度学习、训练神经网络时,普遍会用到的方法,AI领域的必备方法,Hinton2012年提出,可以有效防止过拟合。

一 、Dropout原理

我们先来介绍Dropout原理

dropout.png

Dropout即随机失活正则化,如上图所示。

a图中为标准的结构,b图中应用了dropout,可以看到,在应用过后会有一部分神经元失活了,没有与其他的神经相连,因此可以有效的减少过拟合现象,注意这里的失活为随机失活,即下次,这个失活的神经元可能又会被重新的开启。

如下图所示对dropout防止过拟合的理解:

dropout2.jpgdropout3.jpg

优点:

1.因为有了卷积层,达到了共享的卷积核,对高维的数据处理无压力 

2.不需要手动的选择特征,训练完成后,即可得到特征,这一点也是流行的原因

3.深层次的网络对于图像来说,表达效果好,因为图像的信息过于丰富

缺点:

1.需要调参,需要大量的样本,计算量大

2.其物理的含义不明确,即你不能很好的说明为什么要这么做,这也是不同于一些理论性很强的算法如SVM的原因。

------------------------------------------------------------------------

以上Droput原理简介来源:CSDN ,作者:michaelhan3

原文:https://blog.csdn.net/michaelhan3/article/details/69803032

 

二、谷歌Dropout

谷歌Dropout专利名字是:解决神经网络过拟合的系统与方法。

这是一个用来训练神经网络的系统。特征检测器 (Feature Detectors) 上面,都连着一个开关,至少网络的某些层是这样。

在每一个training case里,开关都会随机关闭一些特征检测器,是根据一个预先配置的概率来决定的。

然后,每个训练案例的权重,会被归一化 (Normalized) ,以将神经网络应用在测试集上。

Dropout为什么能防过拟合,HintonCNN成名作ImageNet Classification with Deep Convolutional里面,是这样说的:

每次关掉一半的特征检测器,每次训练的都是不一样的网络。然后取各种网络的平均,用来预测。这样可以提升模型的稳定性,或是泛化能力,防止过拟合。

专利列举了20,细数了各种想到、想不到的训练步骤,成为一本优秀的使用手册。

三、Dropout专利对AI行业的影响

三年前,因为谷歌给Dropout申请了专利,就已经引发过一次业界哗然。当时,reddit上有个热帖,言辞激烈的把谷歌、还有当时未获图灵奖的Hinton等人统统给“问候”了一个遍。(看来欧美人与中国网民没什么不同&_^

现在,所有人,所有要用到Dropout的人、公司、机构,都可能要面临一个被掐脖子的尴尬境地,特别是那些做云端AI平台的公司。

卡脖子.jpg

一度引起广泛讨论的“徐匡迪之问”,也再次被拿出来讨论。

今年5月,上海院士沙龙活动中,中国工程院院士徐匡迪等多位院士尖锐一问:中国有多少数学家投入到人工智能的基础算法研究中?

尴尬现状是,中国AI的应用虽然当前如火如荼,但自主知识产权的底层框架和核心算法非常缺乏,更多还是依靠开源代码和算法。

接受科技日报采访的浙江大学应用数学研究所所长孔德兴教授就呼吁:如果缺少核心算法,当碰到关键性问题时,还是会被人“卡脖子”。

孔教授说,开源代码是可以拿过来使用,但专业性、针对性不够,效果往往不能满足具体任务的实际要求。孔教授认为,是否掌握核心代码将决定未来的AI“智力大比拼”中是否拥有胜算。

而今年一而再的例子已经证明,核心算法靠灯塔,即便口碑如谷歌,可能也会有断供的一天。

所以Dropout成谷歌专利,不只关于开源,不只停留在科研,还关乎更致命的自主核心算法和背后的“卡脖子”困境。

整理
本文为机器人网原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。

您可能感兴趣的文章

  • 菲尔兹奖数学家:人工智能中的数学理论尚无很大突破

    10月17日,在2019中关村论坛上,菲尔兹奖首位华人获得者、美国国家科学院院士、哈佛大学教授丘成桐发表主旨演讲。他呼吁国家应重视基础科学和数学的发展。一个国家的强大和长治

  • 美国国家人工智能研发战略规划2019(上)

    来源:中国科协创新战略研究院《创新研究报告》第40期(总第306期)2019-09-29编者按:2019年6月,美国白宫科技政策办公室(OSTP)人工智能特别委员会(Select Committee on Artificial In

  • 《中国云计算产业发展白皮书》正式发布

    数字经济浪潮正以势不可挡之势席卷全球,以第五代移动通信技术(5G)、云计算、人工智能(AI)、物联网(IoT)为代表的新技术开启新一轮产业革命,成为推动社会发展的关键动能,中国企业进行

  • 人工智能的伦理问题与治理原则

    近年来,人工智能在自动驾驶汽车、医疗、传媒、金融、工业机器人以及互联网服务等越来越多领域和场景应用,其影响范围越来越宽广。各国产业巨头已经投入大量的精力和资金,开展人

  • 5G、云计算、AI将成为实体经济重要引擎

    10月12日,中国工程院院士刘韵洁在“中国智能化转型与技术创新高层研讨会”上发表主旨演讲。“5G、云计算、AI必然会成为未来解决实体经济的重要途径,云服务

  • 机器视觉中3D信息获取的六种方式

    工业领域3D技术应用是非常多的,一个是品质的检测,很多这种检测,原来都用2D来做,但是实际上很多信息是只有通过3D才能得到,那么就用3D机器视觉做品质的检测。再有就是仿制,仿制和逆

相关推荐

广告
推荐使用浏览器内置分享