AI update | Yoshua Bengio、Yann LeCun 和Geoffrey Hinton

July 2, 2021

Here is the article. 

【新智元导读】2018图灵奖获得者Yoshua Bengio, Yann LeCun和Geoffrey Hinton再次受ACM邀请共聚一堂，共同回顾了深度学习的基本概念和一些突破性成果，讲述了深度学习的起源、发展及未来的发展面临的挑战。

2018年，ACM（国际计算机学会）决定将计算机领域的最高奖项图灵奖颁给Yoshua Bengio、Yann LeCun 和 Geoffrey Hinton，以表彰他们在计算机深度学习领域的贡献。

这也是图灵奖第三次同时颁给三位获奖者。

 

用于计算机深度学习的人工神经网络在上世纪80年代就已经被提出，但是在当时科研界由于其缺乏理论支撑，且计算力算力有限，导致其一直没有得到相应的重视。

是这三巨头一直在坚持使用深度学习的方法，并在相关领域进行了深入研究。通过实验发现了许多惊人的成果，并为证明深度神经网络的实际优势做出了贡献。

所以说他们是深度学习之父毫不夸张。

 

在AI界，当Yoshua Bengio、Yann LeCun 和 Geoffrey Hinton 这三位大神同时出场的时候，一定会有什么大事发生。

 

最近，深度学习三巨头受ACM通讯杂志之邀，共同针对深度学习的话题进行了一次深度专访，提纲挈领地回顾了深度学习的基本概念、最新的进展，以及未来的挑战。

 

广大的AI开发者们，看了高人指点之后是不是对于未来之路更加明晰了？下面我们来看看他们都聊了些什么。

深度学习的兴起

 

在2000年代早期，深度学习引入的一些元素，让更深层的网络的训练变得更加容易，也因此重新激发了神经网络的研究。 

GPU和大型数据集的可用性是深度学习的关键因素，也得到了具有自动区分功能、开源、灵活的软件平台（如Theano、Torch、Caffe、TensorFlow等）的增强作用。训练复杂的深度网络、重新使用最新模型及其构建块也变得更加容易。而更多层网络的组合允许更复杂的非线性，在感知任务中取得了意料之外的结果。

GPU和大型数据集的可用性是深度学习的关键因素，也得到了具有自动区分功能、开源、灵活的软件平台（如Theano、Torch、Caffe、TensorFlow等）的增强作用。训练复杂的深度网络、重新使用最新模型及其构建块也变得更加容易。而更多层网络的组合允许更复杂的非线性，在感知任务中取得了意料之外的结果。

深度学习深在哪里？有人认为，更深层次的神经网络可能更加强大，而这种想法在现代深度学习技术出现之前就有了。但是，这样的想法其实是由架构和训练程序的不断进步而得来的，并带来了与深度学习兴起相关的显著进步。 

更深层的网络能够更好地概括「输入-输出关系类型」，而这不仅只是因为参数变多了。深度网络通常比具有相同参数数量的浅层网络具有更好的泛化能力。例如，时下流行的计算机视觉卷积网络架构类别是ResNet系列，其中最常见的是ResNet-50，有50层。

深度网络之所以能够脱颖而出，是因为它利用了一种特定形式的组合性，其中一层的特征以多种不同的方式组合，这样在下一层就能够创建更多的抽象特征。 

无监督的预训练。当标记训练示例的数量较小，执行任务所需的神经网络的复杂性也较小时，能够使用一些其他信息源来创建特征检测器层，再对这些具有有限标签的特征检测器进行微调。在迁移学习中，信息源是另一种监督学习任务，具有大量标签。但是也可以通过堆叠自动编码器来创建多层特征检测器，无需使用任何标签。

线性整流单元的成功之谜。早期，深度网络的成功，是因为使用了逻辑sigmoid非线性函数或与之密切相关的双曲正切函数，对隐藏层进行无监督的预训练。

 

长期以来，神经科学一直假设线性整流单元，并且已经在 RBM 和卷积神经网络的某些变体中使用。让人意想不到的是，人们惊喜地发现，非线性整流通过反向传播和随机梯度下降，让训练深度网络变得更加便捷，无需进行逐层预训练。这是深度学习优于以往对象识别方法的技术进步之一。 

语音和物体识别方面的突破。声学模型将声波转换为音素片段的概率分布。Robinson、Morgan 等人分别使用了晶片机和DSP芯片，他们的尝试均表明，如果有足够的处理能力，神经网络可以与最先进的声学建模技术相媲美。

2009年，两位研究生使用 NVIDIA GPU ，证明了预训练的深度神经网络在 TIMIT 数据集上的表现略优于 SOTA。这一结果重新激起了神经网络中几个主要语音识别小组的兴趣。2010 年，在不需要依赖说话者训练的情况下，基本一致的深度网络能在大量词汇语音识别方面击败了 SOTA 。2012 年，谷歌显着改善了 Android 上的语音搜索。这是深度学习颠覆性力量的早期证明。 

大约在同一时间，深度学习在 2012 年 ImageNet 竞赛中取得了戏剧性的胜利，在识别自然图像中的一千种不同类别的物体时，其错误率几乎减半。这场胜利的关键在于，李飞飞及其合作者为训练集收集了超过一百万张带标签的图像，以及Alex Krizhevsky 对多个 GPU 的高效使用.

深度卷积神经网络具有新颖性，例如，ReLU能加快学习，dropout能防止过度拟合，但它基本上只是一种前馈卷积神经网络，Yann LeCun 和合作者多年来一直都在研究。 

计算机视觉社区对这一突破的反应令人钦佩。证明卷积神经网络优越性的证据无可争议，社区很快就放弃了以前的手工设计方法，转而使用深度学习。