揭秘 DeepMind 的关系推理网络

更新时间:2017-07-07 14:08:01点击次数:525次

每当 DeepMind 发表一篇新文章时,媒体都会有狂热的报道,而你常常会在这些报道中读到一些充满误导性的词句。例如,有充满未来主义色彩的媒体是这样报道 DeepMind 关于关系推理网络的新论文的:

DeepMind 研发了一种可以感知周围事物的神经网络。

这样的表达不仅是误导,也使得对于人工智能领域并不是那么熟悉的用户感受到威胁。在这篇文章中,笔者整理了 DeepMind 的新论文,尝试用简单的方式来解释这个新的架构。

你可以点击这里找到论文的原始版本。

想要理解这篇论文,首先你需要对神经网络有一些基本的了解。本文会尽量按照论文的整体结构来撰写,但同时也会融合自己的一些理解。

什么是关系推理(Relational Reasoning)?

简单来说,关系推理尝试着去理解不同对象(概念)之间的关系,而这种推理被认为是智力的一个基本特征。作者们使用了一个信息图表来解释关系推理这一概念:

图 1.0 – 模型关注对象间不同的形状/大小/颜色,并且回答关于它们之间关系的问题

关系网络

作者们提出了一种神经网络,用于捕获内在的关系(例如,卷积神经网络用于捕获图像的属性)。 他们提出了一个以下的架构:

方程式1.0 – 关系网络的定义

对于方程式1.0的解释.

关于O(O是一组你想要了解他们之中关系的对象)的关系网络是一个 fɸ 函数。

gθ 是另一个读取两个参数 oi 和 oj 的函数,它的输出结果是我们输入的这两个对象参数之间的”关系“。

Σ i,j 的意思是:对于 gθ ,计算所有可能的配对,并且对它们的结果求和。

神经网络和函数

在学习神经网络,反向传播算法(backprop)等时,人们很容易忘记神经网络实际上是一个单一的数学函数! 因此,我在等式1.0中描述的函数是一个神经网络! 更准确地说,是两个神经网络:

  1. gθ , 计算两个对象之间的关系
  2. fɸ , 对于 gθ 的所有结果进行求和,并且计算这个模型的最终输出结果

    gθ 和 fɸ 都是多层感知器最简单的形态。

关系神经网络是柔性的

作者们将关系神经网络视为一个模块,它可以学习标记对象之间的关系,更重要的是,他们可以被放到卷积神经网络 (CNN) 和长短期记忆 (LSTM) 中。

卷积网络可以通过图像来了解各个对象,而这对于应用是十分有用的——相比于对于一系列人为定义的对象进行推理,对于图像的推理是更为有用的。

长短期记忆以及词嵌入 (word embedding) 可用于了解对于模型的查询指令的含义。这同样是十分有用的,因为模型现在可以接受并理解英文句子而不是编码数组。

作者们展示了一种可以将关系网络,卷积网络和长短期记忆结合在一起的方法,建立了一种能够学习对象之间关系的端对端神经网络。


图 2.0 – 一个端对端关系推理神经网络

对于图2.0的解释

标准卷积神经网络 (CNN) 在k个滤波器中提取该图像的特征。关系网络的“对象”是网格中每个点的特征向量。例如,其中一个“对象”是黄色向量。

一个长短期记忆 (LSTM) 处理被提出的问题,并产生一个代表这个问题的特征向量。这个向量是这个问题粗略的“想法”。

下面的公式稍微修改了方程式1.0。 它增加了另一个术语,如下:


方程式1.0 – 使用长短期记忆训练作为条件的关系网络

注意使用长短期记忆 (LSTM) 的方程式1.0中所添加q——q是长短期记忆 (LSTM) 的最终状态。关系现在用q来作为条件。

之后,来自卷积神经网络 (CNN) 的“对象”和来自长短期记忆 (LSTM) 的向量被使用于训练关系网络。 每个对象以及每个来自长短期记忆 (LSTM)的问题向量都被用来训练,而它们都是的 gθ (神经网络) 的输入。

然后将 gθ 的输出相加,并用作 fɸ (另一个神经网络)的输入。之后, fɸ 会对问题的答案进行优化。

基准

作者证明了该模型对几个数据集的有效性。我将通过其中一个(在我看来有效性最显着的)数据集 – CLEVR数据集。

CLEVR数据集由不同形状,大小和颜色的对象的图像组成。该模型被问到及关于这些图像的问题,如:

立方体是否与圆柱体相同?

作者们指出,其他系统在准确性方面远远落后于他们自己的模型,这是因为关系网络旨在捕获关系。

他们的模型实现了前所未有的96%+精度,相比之下 Stacked Attention Model (堆叠注意力的模型)只有75%。


图3.0 对象的类型(上)和定位方案(中心和底部)

表3.1 使用像素的CLEVR数据集上的不同架构之间的比较

总结

关系网络非常擅长学习关系。 它们基于有效的数据方式,同时其比较灵活,并且可以在使用 CNN、LSTM 或两者时用作解决方案。


  • 项目经理 点击这里给我发消息
  • 项目经理 点击这里给我发消息
  • 项目经理 点击这里给我发消息
  • 项目经理 点击这里给我发消息