DeepMind 提出新架构：可实现更高级别推理

发表于 5年以前 | 总阅读数：508 次

按照研究人员说法，MEMO 有两个新的组成部分：第一个介绍事实和存储在外部存储中的记忆之间的不同点，第二个则采用检索系统，该系统允许在决定答案之前使用可变数量的“内存跃点”。

通过这两个部分，可以使之能够解决新型推理任务。

这个架构的灵感来源是海马。论文的合著者写道：

海马以全新的方式支持单个经验的灵活重组，以推断出未观察到的关系……这称为推理。有趣的是，已经有证据证明，海马是通过一个被称之为模式分离（pattern separation）的过程彼此独立地存储记忆，以最大程度地减少记忆之间的干扰。最近的一项研究揭示了这一点：这些被独立存储记忆的整合出现在通过循环机制（该机制允许多个模式分离的代码进行交互并因此支持推理）进行检索的时候。

由此，DeepMind 的工作从这项研究中获得启发，以研究和增强机器学习模型中的推理。研究人员利用神经科学文献，设计了一个过程生成的任务，称为配对联想推理（paired associative inference，简称 PAI），该任务旨在通过迫使 AI 系统学习抽象知识以解决先前未见的问题来获取推理能力。

随之，研究者们构建了 MEMO，它能够在提供输入查询时会输出一系列可能的答案；而且为了尽量减少必要的计算，答案还多采用表征的形式。

研究人员说，MEMO 在内存中保留了一组事实，并学习了一种与某种机制配合使用的映射方式，该机制在使用内存时具有更大的灵活性，并且它与典型的 AI 模型不同，因为它使计算时间适应了任务的复杂性。在工作过程中，MEMO 从称为 REMERGE 的人类联想记忆模型中获取线索，该记忆将从记忆中检索到的内容作为新查询进行再循环，并使用再循环过程中不同时间步长检索到的内容之间的差异来计算模型是否已适应在固定点上，随后，MEMO 会输出一个动作，该动作指示它是否希望继续计算并查询其内存，或者是否是能够响应给定的任务。

在测试中，DeepMind 的研究人员在 Facebook AI Research 的 bAbi 套件（一组 20 个评估文本理解和推理的任务）中将 MEMO 与两个基准模型以及当前的最新模型进行了比较，结果显示，MEMO 能够在 PAI 任务上实现最高的准确性，并且它是唯一能够在较长的序列上成功回答最复杂的推理查询的体系结构。

此外，与性能最佳的基准模型的 10 个步骤相比，MEMO 仅需要三个“跃点（hops）” 即可完成一项任务。在另一个需要模型在给定节点图的情况下找到两个节点之间最短路径的任务中，面对更为复杂的节点图，MEMO 比基准模型的表现好出了 20％。