担任替补 30 年后，诺贝尔奖获得者 Hinton 的人工智能过去

担任替补 30 年后，诺贝尔奖获得者 Hinton 的人工智能过去

原文|纽约时报，翻译 |石岛

E. 我可能没想到诺贝尔物理学奖会颁给我。接到消息后，他被迫取消了原定的核磁共振检查。

2024年诺贝尔物理学奖揭晓。机器学习专家 John J. 和人工智能教父 E. 荣获该奖项，以表彰他们“在基于人工神经网络的机器学习方面的基本发现和发明”。

回顾这两年的变化，可谓“戏剧性”。他曾经是人工智能教父，一生致力于教授计算机深度学习。现在他是一名AI安全斗士，担心AI是否已经超越了人脑的能力，并相信AI最终会与人类争夺控制权。

为什么会出现这样的变化呢？ AI在他眼中会成长为怎样的“怪物”？ 《纽约时报》的一篇长文从他的经历和神经网络技术入手，带我们回顾了这个深度学习巨头的AI往事。

以下是全文翻译，做了适当的删除和调整。享受吧~

为什么人工智能教父害怕他创造的技术？

“如果你能获得更多的控制权，它几乎可以实现任何目标，”他谈到人工智能时说道。 “这项研究的核心问题是：如何防止人工智能接管一切？然而，目前还没有人知道答案。”

被誉为“人工智能教父”的计算机科学家递给我一根拐杖。 “你可以用这个，”他一边说，一边沿着小路走向湖边。小路穿过一片绿树成荫的空地，绕过几间小屋，然后沿着石阶来到一个小码头。我们站在安大略省乔治亚湾的一块岩石上，向西望向休伦湖。水面上星罗棋布着岛屿。

2013年，这位65岁的老人买下了这座岛屿。当时，他刚刚以4400万美元的价格出售了一家由三人组成的初创公司。

神经网络已经冷落了 30 年

在此之前，他在多伦多大学担任计算机科学教授超过30年，专门研究一个名为神经网络的“冷门”领域。

神经网络的灵感来自于人脑神经元的连接方式。

在你的大脑中，神经元形成大大小小的网络。每次你行动或思考时，网络都会发生变化：神经元被添加或删除，它们之间的连接会加强或减弱。

这个过程一直在发生——就像现在，当你读到这些话时。其规模难以想象。您的大脑中有大约 800 亿个神经元，彼此共享超过 100 万亿个连接。就好像你的头骨里隐藏着一个星系，其中的星星一直在移动。

新知识以微调的形式融入到你现有的神经网络中。有时它们是短暂的：例如，如果你在聚会上遇到一个陌生人，他的名字可能只会在你的记忆网络中留下转瞬即逝的痕迹。但有时记忆会伴随你一生，比如当那个陌生人成为你的伴侣时。

新知识与旧知识交织在一起，你的旧知识会影响你以后的学习。例如，当有人在聚会上提到他的阿姆斯特丹之旅时。第二天，如果您走进博物馆，您的神经网络可能会轻轻地将您推向荷兰画家维米尔的作品。正是通过这种微妙的变化，深刻的转变才成为可能。

起初，人工神经网络的效果并不是很好——无论是图像分类、语音识别还是其他应用——大多数研究人员认为这个领域是浪费时间。

“我们的神经网络并不比一个小孩的神经网络大，”他回忆道。

当他在 80 年代观看《终结者》时，他并没有被片中 AI 毁灭世界所困扰。相反，他很高兴看到神经网络技术被描绘成如此有前途。

几十年来，人们一直在尝试构建更大、更复杂的神经网络。

他提出了许多新的想法来训练神经网络并不断提高性能。

他招募了许多研究生，并让所有人相信神经网络并不是死胡同。

他相信他所参与的项目要在他去世100年后才能实现。

与此同时，他成了鳏夫，独自抚养两个年幼的孩子。在特别困难的时期，家庭和研究的双重压力让他几乎濒临崩溃。

46岁时，他以为自己已经彻底放弃了。

谁也没想到，大约十年前，神经网络技术开始突飞猛进。

随着计算机速度的提高，神经网络可以开始转录语音、玩游戏、翻译语言，甚至借助互联网上的海量数据实现自动驾驶。

就在公司被收购前后，人工智能迅速崛起，催生了谷歌、巴德等系统。许多人相信这些技术正在以不可预测的方式改变世界。

AI会成为“外星人”吗？

每当我们学习时，我们大脑中的神经网络都会发生变化——这究竟是如何发生的？

像这样的研究人员使用计算机试图寻找神经网络的“学习算法”，这是一种通过调整人工神经元之间连接的统计“权重”来吸收新知识的程序。

1949 年，心理学家赫布为人类学习过程提出了一个简单的规则——同时放电的神经元会连接在一起。也就是说，当大脑中的一组神经元同步放电时，它们更有可能再次放电。简单来说，第二次做菜时，会比第一次容易很多。

但人们很快发现，对于计算机神经网络来说，这种方法无法解决复杂的问题。

在 20 世纪 60 年代和 70 年代，年轻的研究人员经常在笔记本上画出神经网络，并想象新知识将如何达到他们的极限。他想知道，数百个人工神经元的网络如何存储一个概念？如果这个观念被证明是错误的，如何纠正呢？

他的父亲是一位著名的昆虫学家。小时候，他和父亲在车库里养了一个坑，里面有毒蛇、乌龟、青蛙、蟾蜍和蜥蜴。如今，每年夏天我都会住在岛上。偶尔我会抓蛇，把它们带进屋里，放在玻璃缸里观察它们的行为。他一生都在思考如何“自下而上”地认识心，从而对非人的心有独到的见解。

今年早些时候（2023 年 5 月）离开。他开始担心潜在的人工智能威胁，并在采访中谈到人工智能对人类构成的“生存威胁”。他越用，就越觉得不安。有一天，福克斯新闻的一名记者联系他，要求就人工智能问题接受采访。

喜欢用尖刻的俏皮话回复电子邮件。例如，在收到加拿大情报局的一封长信后，他回复说“斯诺登是我的英雄”。

这一次，他的回复依然幽默：“福克斯新闻是个矛盾的白痴。（矛盾）。”

出于好奇，问他能否解释一下他的笑话。

：这句话暗示福克斯新闻是假新闻。

当强调“moron”之前的空格时，进一步解释：这意味着福克斯新闻像止痛药一样令人上瘾。

令人震惊的是，这种理解似乎预示着人工智能的新时代。

尽管大家有很多理由担心AI的崛起——工作被抢等等。

然而，首席执行官山姆等许多知名科技人物联手警告称，人工智能可能会开始独立思考，甚至​​试图接管或消灭人类文明。

当你从这样一位重量级的人工智能研究人员那里听到如此令人震惊的观点时，你会感到震惊。

“很多人说LLM只是一个非常先进的自动完成功能。”他对我说：“现在，让我们分析一下。假设你想成为预测下一个单词的高手。如果你想成为真正的高手，你就必须理解别人在说什么。”

“这是唯一的方法。因此，训练某个东西真正擅长预测下一个单词本质上是在强迫它理解。是的，这实际上只是‘自动完成’——但你并没有想知道拥有出色的‘自动完成’意味着什么。” '。”

我相信像GPT这样的LLM确实能够理解单词和概念的含义。

那些怀疑我们高估了人工智能能力的人指出了人类思维和神经网络之间的巨大差距。

首先，神经网络的学习方式与我们不同：人类通过实际经验了解现实世界与自身的关系，自然地获取知识；而神经网络通过处理大量信息数据库中的数据来学习抽象的方式。一个它无法真正生存的世界。

然而，人们相信人工智能所表现出的智能已经超越了其人工起源。

“当你吃东西时，你会把食物分解成很小的部分，”他说。 “但如果你说——我身体的一部分是由其他动物的一部分组成的，那是不可能的。”

人们相信，通过分析人类的文字，像GPT这样的法学硕士可以理解世界是如何运转的，从而催生出具有思维能力的系统。

写作只是这个系统的一部分。他继续说：“这类似于毛毛虫变成蝴蝶的过程。在蛹中，毛毛虫被溶解成汤状物质 - 然后你用汤构造出一只蝴蝶。”

“蜻蜓的幼虫是生活在水下的怪物，就像电影《异形》里，蜻蜓是从怪物的背上爬出来的。这个阶段的幼虫变成一锅‘汤’，然后蜻蜓就从水里诞生了。” '汤' ”

在这个比喻中，幼虫代表了用于训练现代神经网络的数据；而蜻蜓则象征着从这些数据中诞生的AI。深度学习——这项开创性的技术——实现了这一转变。

他低声说道：“你明白逻辑了。一开始是一种状态，最后却是一种不同的状态。”

名门小辈“不聪明”

当时，收购初创公司的部分原因是他的团队知道如何利用神经网络来大幅提高图像识别能力。现在，屏幕上布满了家谱。

出生于英国特殊的科学家庭：政治激进，科学探索。

他的叔祖父是攀爬架的发明者；他的表弟琼是一名物理学家，曾参与曼哈顿计划；

露西，第一位入选皇家化学研究所的女性。

提出四维空间概念的数学家。

19世纪中叶，曾曾祖父、英国数学家布尔发明了二元推理系统，现在被称为布尔代数，它是所有计算的基础。布尔的妻子玛丽是一位数学家和作家。

Yann LeCun 的评价是 Geoff 天生就是为了做科学而生的。

虽然我学生时代就喜欢自然科学。但他的昆虫学家父亲出于意识形态原因禁止他学习生物学。他记得父亲曾说过：“如果你加倍努力，当你年龄是我两倍时，也许你就能取得我一半的成就。”

在剑桥大学，尝试了多种领域。但令他沮丧的是，他在任何课程中都不是班上最聪明的学生。

他辍学去“读情感小说”，并在伦敦打零工，然后回到学校尝试建筑，但只坚持了一天。

最后，在探索了物理、化学、生理学和哲学之后，他主修了实验心理学。

他“潜伏”在道德哲学家的办公室里，这些哲学家对计算机和思维的兴趣引发了深入的思考。

有一天，他指出：我们不同的思想一定反映了大脑内部不同的物理排列；而这与计算机内部的情况完全不同——计算机的软件和硬件是相互独立的。

我被这个景色迷住了。他回忆说，高中时，一位朋友告诉他，记忆可能“全息”地存储在大脑中——记忆是分散的，但可以通过任何一个部分访问整体。

这正是他后来研究的“联结主义”的概念。这种方法结合了神经科学、数学、哲学和编程来探索神经元如何协同工作来“思考”。连接主义的一个目标是创建一个在计算机中模拟大脑的系统。

这一领域已经取得了一些进展：在 20 世纪 50 年代，心理学家兼联结主义先驱 Frank 构建了一个感知器（感知器），可以使用简单的计算机硬件模拟由数百个神经元组成的网络。当连接到光传感器时，可以通过追踪不同光模式激活的人工神经元来识别字母和形状。

他在剑桥的起步看似缓慢而古怪，部分原因是他正在探索一个新兴领域。

“神经网络——当时几乎没有顶尖大学研究这个领域”说，“你在麻省理工学院做不到；你在伯克利做不到；你在斯坦福做不到。”正因为如此，作为新兴技术的先驱。多年来，许多最优秀的人才都转向了他。

撬开神经网络的“黑匣子”

20世纪70年代，绝大多数人工智能研究人员都是“象征主义者”。在他们看来，理解番茄酱这样的东西可能会涉及到多个概念，比如“食物”、“酱汁”、“调味品”、“甜”、“鲜味”、“红色”、“番茄”、“美式”、“薯条” ”、“蛋黄酱”和“芥末”；

这些概念结合起来创建了一个脚手架，可以在上面悬挂“番茄酱”等新概念。 Cyc是一个规模庞大、资金充足的人工智能项目，其核心是建立一个庞大的知识库。科学家可以使用特殊的语言将概念、事实和规则（及其不可避免的例外）输入其中。 （鸟会飞，但企鹅不能，受伤的鸟也不能……）

然而，人们对符号人工智能持怀疑态度。这种方法似乎过于僵化，过于依赖哲学家和语言学家的推理能力。

他知道，在自然界中，许多动物即使没有语言表达也能表现出聪明的行为。他们只有通过经验学习才能变得聪明。

对我们来说——学习，而不是知识，才是智力的核心。

人类高级思维似乎常常通过符号和语言进行。然而，他的合作者 James L. 和 David 认为，大多数认知活动实际上发生在概念层面以下。

他们指出：“当你了解一个物体的新东西时，你对其他类似物体的期望也会改变。”例如，当您得知黑猩猩喜欢洋葱时，您可能会猜测大猩猩也喜欢洋葱。

这表明知识可能以“分布式”方式在大脑中生成——由可以在相关概念之间共享的小构建块组成。

例如，大脑中不会有代表“黑猩猩”和“大猩猩”的两个独立的神经元网络；相反，不同的特征，如毛茸茸的、四足动物、灵长类动物、兽性、聪明、野生等，可能会以一种方式激活来代表“黑猩猩”，并以稍微不同的方式激活来代表“大猩猩”。

在这些特征云中，可以添加属性“喜欢洋葱”。然而，这种基于特征的思维方式可能会导致混乱和错误：如果特征组合不正确，可能会产生既不是大猩猩也不是黑猩猩的幻想生物。但如果大脑拥有正确的学习算法，它也许能够调整神经元之间的权重，以优先生成合理的组合，而不是无意义的拼凑。

继续探索这些想法，首先作为加州大学圣地亚哥分校的博士后研究员；随后在剑桥大学担任应用心理学研究员；最后在卡内基梅隆大学。 1982 年，他成为该校计算机科学教授。在卡内基梅隆大学期间，他将大部分研究资金用于购买一台功能强大、足以运行神经网络的计算机。在此期间，我和他合作开发了一个神经网络模型——玻尔兹曼机（ ）。

1986 年，我和我在《自然》杂志上发表了一篇三页纸的论文，展示了系统如何在神经网络中工作。

他们指出，反向传播 ( ) 与玻尔兹曼机 ( ) 一样，不是“大脑学习的合理模型”——与计算机不同，大脑无法“倒回”检查其过去的表现。然而，反向传播仍然能够实现类似大脑的神经专业化。

在真实的大脑中，神经元有时会排列成旨在解决特定问题的结构。例如，在视觉系统中，不同的神经元“列”识别我们看到的边缘。

类似的现象也发生在反向传播网络中。网络的较高层对较低层施加进化压力；因此，当网络被赋予识别手写体的任务时，某些层可能会专注于识别直线、曲线或边缘。最终，整个系统可以形成“适当的内部表征”。这个网络不仅“知道”信息，而且还可以使用信息。

在 20 世纪 50 年代和 1960 年代，感知器 () 和其他形式的联结主义 () 经历了短暂的兴衰。反向传播作为其中的一部分，也受到了广泛的关注。

但构建反向传播网络的实际工作进展缓慢，部分原因是计算机速度太慢。

“进步的速度基本上取决于计算机一夜之间能学到多少东西，”他回忆道。答案往往是“不多”。从概念上讲，神经网络的工作方式是神秘的。传统的编程方法无法直接为其编写代码，也无法手动调整人工神经元之间的权重。而且很难理解这些权重的含义，因为它们会通过训练自动适应和改变。

在学习过程中，错误可能会以多种方式出现。例如，“过度拟合”导致网络只记住训练数据而不是从中进行概括。

避免这些陷阱并不容易，因为神经网络是自主学习的。研究人员可以尝试通过“集成”技术（将弱网络组合成强网络）或“提前停止”（让网络学习，但不要过度学习）来解决这些问题。

他们还可以对系统进行“预训练”，即让玻尔兹曼机先学习一些东西，然后叠加反向传播网络，让系统在掌握了一些基础知识后就可以开始“监督”训练。

然后他们让网络继续学习，希望它能够实现预期的目标。

新的神经网络架构也出现了——“循环”网络和“卷积”网络。但这就像研究人员发现了一种奇怪的外星技术，但不知道如何使用它。

说：“我一直坚信这不是无稽之谈。”这不是信仰问题，但很明显：大脑通过神经元进行学习，因此通过神经网络进行复杂的学习必定是可能的。为了这个信念，他愿意更加努力，坚持得更久。

当通过反向传播训练网络时，需要告诉网络出了什么问题以及出了什么问题。这需要大量准确标记的数据，以便网络能够区分手写的“7”和“1”，或者区分金毛猎犬和金毛猎犬。红塞特犬。

然而，找到足够大且注释良好的数据集并不容易，构建新的数据集更是困难的工作。

LeCun 和他的合作者开发了一个大型手写数字数据库，后来他们用它来训练一个可以读取美国邮政服务提供的示例邮政编码的网络。

李飞飞领导了一个庞大的项目，该项目的创建涉及收集超过 1400 万张图像，并将它们手动分类为 20,000 个类别。

随着神经网络的不断扩展，一种将知识从大型网络转移到小型网络的方法——()——被发明出来，它可以在手机等设备上运行。

在蒸馏学习中，一个神经网络不仅向另一个神经网络提供正确答案，而且还提供一系列可能的答案及其概率，这是一种更丰富的知识迁移方式。

不喜欢反向传播网络。因为与玻尔兹曼机器不同，“反向传播是完全确定性的。不幸的是，它确实工作得更好。”随着计算机性能的提高，反向传播的威力逐渐变得不可否认。

做了一个计算。假设 1985 年，他开始在高速计算机上不间断地运行一个程序。现在只需不到一秒钟就可以追上。

2000年代，随着配备强大计算机的多层神经网络开始在大规模数据集上进行训练，LeCun和LeCun开始讨论“深度学习”的潜力。

2012年，这项研究跨越了一个门槛。当时，Alex 和 Ilya 引入了一个八层神经网络，最终能够以人类水平的精度识别数据集中的对象。

三人随后创办了一家公司并将其出售给。

这笔钱在开头章节中被用来购买岛屿——“我唯一真正的放纵”。

他坚信神经网络确实有情感

2017年6月，LeCun获得了相当于计算机科学界诺贝尔奖的图灵奖。

我坚信神经网络确实有某种情感，一种描述行为倾向的方式。

1973年，他看到了一种“情绪化的人工智能”。当时，一台计算机连接着两个电视摄像机和一个简单的机械臂。该系统的任务是用散落在桌子上的积木组装一辆玩具车。

“这在 1973 年是相当困难的，”他说。 “当方块分开时，视觉系统可以识别它们，但如果你把它们堆在一起，它就不能识别。那么它会做什么呢？它会向后退一点，然后砰的一声，把方块散落在桌子上。它由于无法应对这种情况，它通过暴力改变了情况，如果人类这样做，你会说他们很沮丧，因此它“打乱”了这些块。”情感的本质是对得不到的东西的渴望。

他叹了口气。 “我们不能生活在否认之中，我们必须面对现实。我们需要思考如何让人工智能对人类的威胁不那么可怕。”

人工智能将变得多么有用？有多危险？没有人知道。部分原因是神经网络太神奇了。

20 世纪，许多研究人员想要建造模仿人脑的计算机。

但是，虽然像GPT这样的神经网络拥有数十亿个人工神经元，在某种意义上与人脑相似，但它们与生物大脑有着本质的不同。

今天的人工智能存在于云端，并放置在巨大的数据中心中。

在某些方面，人工智能显得无知；在另一些人看来，它就像天才一样具有洞察力。

他们可能已经通过了图灵测试——计算机科学先驱艾伦提出的经典标准：如果一台计算机能够令人信服地模仿人类的对话，那么它就可以合理地被认为是在“思考”。

然而，我们的直觉告诉我们，浏览器选项卡中的某些内容无法真正按照我们理解的方式“思考”。这些体系迫使我们反思：人类的思维方式真的是唯一值得认可的思维方式吗？

忧愁来自于凡人的算计？

在谷歌的最后几年，他专注于开发更接近人脑思维方式的人工智能，使用模拟大脑结构的硬件。

在当今的人工智能系统中，人工神经元之间的连接权重以数字形式存储，就好像大脑在为自己保存记录一样。然而，在真实的人类模拟大脑中，权重直接反映在神经元之间的物理连接上。人们正在努力通过专门的计算芯片创建该系统的人工版本。

将这种方法称为“凡人计算”。

如果它能够实现，那将是非常令人惊奇的。这些芯片能够通过调整其“电导”来学习。由于权重被集成到硬件中，无法从一台机器复制到另一台机器，因此每个人工智能系统必须独立学习。但这会将功耗从兆瓦降低到三十瓦。

这样做的好处之一是它鼓励个性化：因为人类大脑可以通过食用燕麦片等简单食物来发挥作用，所以世界可以支持数十亿个不同的大脑。每个大脑都能够持续学习，而不是像当前的人工智能那样，在一次训练之后就被推向现实世界。

比如说，在数字智能中，如果一台计算机死机了，相同的连接权重可以转移到另一台计算机上。即使所有数字计算机都被摧毁，只要保存这些连接权重，就可以制作另一台数字计算机并在其上运行相同的权重。数千个神经网络可以同时学习数千种不同的事物，然后共享它们所学到的东西。

这种不朽性和可复制性的结合清楚地表明，“我们应该警惕数字智能取代生物智能的可能性。”

当前的人工智能技术在物理边界上往往显得笨拙。

例如，LeCun 表示，任何青少年都可以在几乎没有监督的情况下，通过大约 20 个小时的练习来学会驾驶汽车；任何猫都可以跳过家具链并爬到书架顶部。如今的人工智能系统在这些领域中的任何一个都接近完整，除了自动驾驶汽车之外，但它们设计过度，需要“绘制整个城市的地图，数百名工程师，数千小时的培训”。因此，解决这些物理直觉难题将成为未来十年的重大挑战。

他认为，对人工智能潜力的怀疑往往源于人类无端的优越感。研究人员抱怨人工智能聊天机器人出现“幻觉”，即他们对无法回答的问题编造出看似合理的答案。对此，我并不认同“幻觉”这个说法。

他说：我们应该说“小说”。 “幻觉”是指你认为有感官输入——幻听、幻视、幻嗅。但如果只是编造，那就是“虚构”。有趣的是，对于人类来说，编造事实和说真话之间没有界限。说真话只是弥补而已。从这个角度来看，编造东西的能力是一种缺陷，但也是其类人智能的标志。

经常有人问我是否后悔我所做的工作。他回答说他不后悔。

毕竟，当他开始研究这项技术时，没有人认为这项技术会成功；即使它开始起作用，也没有人想到它会发生得这么快。正是因为他相信人工智能才是真正的智能，所以他期望它能够在很多领域做出贡献。

尽管如此，他也对人工智能的未来感到担忧。

同城信息网