两位图灵奖得主：自我监督学习是使AI达到人类智能的关键

发表于 5年以前 | 总阅读数：797 次

ICLR，又称国际表征学习大会( International Conference on Learning Representations)，是深度学习领域的顶级会议。今年受疫情影响，第一次以线上形式召开。

Yoshua Bengio是人工智能自然语言处理领域的先锋。现为加拿大蒙特利尔大学（University of Montreal）计算机科学与运算系任教授。Yann LeCun常被认为是“卷积网络之父”，目前担任Facebook首席人工智能科学家。

自我监督学习

在深度学习领域，监督学习需要在标记好的数据集上训练AI模型。实际上，由于有用数据的可用性有限，以及处理该数据的计算能力不足，深度学习直到几年前才成为领先的AI技术。而自我监督学习可以做到不再依赖标记数据，而是通过学习数据之间的关系来生成标签，进行训练。杨立昆认为，随着自我监督学习的广泛使用，它将扮演越来越重要的角色。这一步骤也被认为是实现人类智能的关键。

“人类和动物是通过自我监督的模式获得大多数知识的，而不是强化模式。自我监督学习主要是观察世界，并与之互动。这种观察是自发的，而不是在测试条件下完成的。但我们不知道如何让机器获得这样的学习能力。”杨立昆说。

自我监督学习是一种机器学习的“理想状态”，但重点在于如何让机器自动生产数据标签。其中最大的阻碍来自不确定性。通常来说，数据是这样的，它将变量所有可能的值与其出现的概率联系起来。在变量是离散的情况下，它们可以很好地表示不确定性。但目前，研究人员尚未找到一种方法来有效地表示连续变量的分布。

杨立昆指出，解决数据连续分布问题的一种方法是基于能量模型（EBM），该模型学习数据集的数学元素并尝试生成相似的数据集。从历史上看，这种形式的生成建模很难在实际中有所应用，但最近的研究表明，可以对其进行调整以适应复杂的拓扑结构。

Bengio在研讨会上认为，人工智能可以从神经科学领域获得帮助，尤其是对意识和意识加工的探索。他预测，未来的研究会阐明高级语义变量方式与大脑如何处理信息（包括视觉信息）有关。这些变量是人类使用语言交流的事物，它们可能会导致新一代的深度学习模型。

“通过与基础语言学习相结合，我们可以取得很多进展，归根结底我们都在打造能够理解这个世界的模型，以及高层次的概念是如何相互关联的。这是一种联合式的分布。”Bengio 说：“人类的意识处理过程，利用的是有关世界如何变化的假设，这些假设可以理解成为一种更高层次的表达方式。简单来讲，就是我们看到世界的变化，然后想到一句话来解释这种变化。”

没有通用人工智能

除了数据分布的问题外，杨立昆认为缺失的背景知识也是人工智能无法达到人类智能水平的阻碍之一。比如，大多数人可以在30小时内学会驾驶汽车，因为他们已经掌握了有关汽车行为的物理模型。相比之下，自动驾驶汽车上部署的强化学习模型从零开始，他们必须先犯成千上万个错误，才能确定哪些操作是无害的。

“显然，我们需要能够构建模型来学习世界，这就是进行自监督学习的原因——运行预测世界模型，能够让系统进行更快地学习。从概念上讲，这相当简单，除非是在那些我们无法完全预测的不确定环境中。”杨立昆说。同时，他认为，想要实现通用人工智能（AGI），就算有自监督学习和神经科学学习的加持，也是不够的。

通用人工智能是指机器获得人类水平的智能。一些研究人员将通用人工智能称为强AI（strong AI）或者完全AI（full AI），或称机器具有执行通用智能行为（general intelligent action）的能力。

杨立昆表示，这是因为智力，尤其是人类的智力，是非常特殊的。“AGI是不存在的，根本没有通用人工智能这回事。我们可以谈论老鼠水平的智力、猫的智力、狗的智力，或者人类的智力，但还根本谈不上通用人工智能。”杨立昆说。

但是Bengio相信，机器最终将能够在无需体验的情况下获得关于世界的各种知识的能力，这很可能是而是通过习得可以语言化的知识来实现。

“我认为这也是人类的一个巨大优势，相比于其他动物来说，人类之所以聪明，是因为我们有我们自己的文化，让我们能够解决这个世界的问题。要想让人工智能在现实世界中发挥作用，我们需要它不仅仅是能够翻译的机器，而是能够真正理解自然语言的机器。”Bengio说。