向右滑动:上一篇 向左滑动:下一篇 我知道了
广告

AI再度进化:微软模仿人类增进对世界了解的方式来训练人工智能

2019-10-09
导语:近日,微软研究人员开发了一种AI系统,通过模仿人类增进对世界了解的方式来训练图像-文本对。Unified VLP :“一群人撑着伞站在雨中。”Question :“他们穿的都一

近日,微软研究人员开发了一种AI系统,通过模仿人类增进对世界了解的方式来训练图像-文本对。

Unified VLP :“一群人撑着伞站在雨中。”Question :“他们穿的都一样吗”?Unified VLP : “是的。”

众所周知,没有详细的随附注释,机器很难理解场景和语言。

但是标记通常耗时久、成本高,且最好的标记也只能传达对场景的理解,不能传达对语言的理解。

为了解决该问题,微软开发了此系统。

 

研究人员表示,单模型编码器/解码器视觉语言预训练(VLP)模型既可以生成图像描述,又可以回答有关场景的自然语言问题,为将来可能达到人类同等水平奠定了基础。

 

GitHub上提供了使用三百万个图像-文本对进行预训练的模型。

GitHub:https://github.com/LuoweiZhou/VLP

 

“对周围世界的感知是我们从小就开始学习的一种技能……我们与身体环境的互动越多……就越能理解和使用语言来解释存在的事物”微软高级研究员Hamid Palangi在博客中写道。

“另一方面,对于机器而言,场景理解和语言理解非常具有挑战性,特别是在弱监督的情况下,本质上来说,能够被间接学习的人很好地利用。”

正如Palangi及其同事所解释的那样,图像字幕和视觉问答质量算法通常表现不佳,原因如下:

(1)无法利用上下文描述图像并进行推理;

(2)没有利用大规模的训练数据进行预训练;

(3)架构在设计语言,视觉对齐和语言生成任务时表现不佳。

 

该团队对包含编码器(学习给定数据的数字表示形式)和解码器(将编码器的表示形式转换为人类可解释的信息)的架构进行了预训练,并针对两种预测进行了优化。

研究人员表示,该架构最终创建了更好地对齐的编码器和解码器表示形式,使他们可以用相同的模型来实现不同的目标,如图像字幕和视觉问题回答。

 

微软发布新AI:能生成图像描述,还能回答场景相关问题

 

 

上图:关于COCO和VQA 2.0的定性示例。

图片来源:Microsoft

 

研究人员评估了VLP在公开基准(包括COCO,Flickr30K和VQA 2.0)上对图片进行说明和推理的能力。

研究人员表示,VLP不仅在几个图像标题和视觉问题回答指标方面优于最新模型,而且还设法回答了与先前模型有关的图像问题(例如与服装设计相似的图像),而之前只接受过语言训练的模型很难回答这些问题。

 

“通过智能模型设计和智能数据选择,我们可以利用现有的公共资源,在语言和场景理解方面达到更高的水平,VLP就是证明,” Palangi写道。

“通过VLP,我们展示了统一模型在语言和场景理解水平的潜力,这是成功完成各种不同的下游任务所必需的——单个模型在不牺牲性能的情况下高效地完成多个任务。

这意味着更有效,更强大的视觉语言系统,无需花费多个单独训练的模型来达到相同的目标。”

 

在未来的工作中,该团队将强化模型的架构,同时在预训练期间添加更多数据。

本文为机器人网原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。

您可能感兴趣的文章

  • 菲尔兹奖数学家:人工智能中的数学理论尚无很大突破

    10月17日,在2019中关村论坛上,菲尔兹奖首位华人获得者、美国国家科学院院士、哈佛大学教授丘成桐发表主旨演讲。他呼吁国家应重视基础科学和数学的发展。一个国家的强大和长治

  • 美国国家人工智能研发战略规划2019(上)

    来源:中国科协创新战略研究院《创新研究报告》第40期(总第306期)2019-09-29编者按:2019年6月,美国白宫科技政策办公室(OSTP)人工智能特别委员会(Select Committee on Artificial In

  • 《中国云计算产业发展白皮书》正式发布

    数字经济浪潮正以势不可挡之势席卷全球,以第五代移动通信技术(5G)、云计算、人工智能(AI)、物联网(IoT)为代表的新技术开启新一轮产业革命,成为推动社会发展的关键动能,中国企业进行

  • 人工智能的伦理问题与治理原则

    近年来,人工智能在自动驾驶汽车、医疗、传媒、金融、工业机器人以及互联网服务等越来越多领域和场景应用,其影响范围越来越宽广。各国产业巨头已经投入大量的精力和资金,开展人

  • 5G、云计算、AI将成为实体经济重要引擎

    10月12日,中国工程院院士刘韵洁在“中国智能化转型与技术创新高层研讨会”上发表主旨演讲。“5G、云计算、AI必然会成为未来解决实体经济的重要途径,云服务

  • 机器视觉中3D信息获取的六种方式

    工业领域3D技术应用是非常多的,一个是品质的检测,很多这种检测,原来都用2D来做,但是实际上很多信息是只有通过3D才能得到,那么就用3D机器视觉做品质的检测。再有就是仿制,仿制和逆

相关推荐

广告
推荐使用浏览器内置分享