深度学习革命

 

《深度学习革命》

 凯德·梅茨

 66个笔记

 点评

• 2024/01/27 认为好看

  
  

 推荐序 一场影响深远的秘密竞拍——深度学习推动全球科技产业变革的“发令枪”

• 地平线开辟了中国深度学习芯片创业的赛道。
  

 第一部分 一种新型的机器：感知机 PART ONE A NEW KIND OF MACHINE

• 罗森布拉特将感知机视为大脑的模型，而其他人将它视为模式识别的一种手段。
  
• 通过分析数据，神经网络可以自主学习，但符号人工智能做不到。符号人工智能是按照人类工程师制定的非常特殊的指令运行的，这些离散的规则定义了在可能遇到的每种情况下，机器应该做的所有事情。他们称之为符号人工智能，是因为这些指令向机器展示了如何对特定的符号集合（如数字和字母）执行特定的操作。
  

 02 辛顿与人工智能的第一次寒冬

• “反向传播”(backpropation)的过程。这本质上是一种基于微分的算法，当神经元能够分析更多数据并更好地理解每个权重是什么的时候，它就会发送一种数学反馈，沿着神经元的层次结构向下传递。
  

 03 连接主义的圈子

• 受到日本计算机科学家福岛邦彦(Kunihiko Fukushima)工作的启发，杨立昆把它叫作“卷积神经网络”。就像视觉皮质的不同部分处理眼睛捕捉的不同部分的光一样，卷积神经网络将图像切割成众多方块，并分别分析每一个方块，在这些方块中找到小图案，并在信息通过其人造神经元网络时将它们构建成更大的图案。
  
• 顿的想法层出不穷，无数的想法朝着不同的方向跳跃，而杨立昆要专一得多。狐狸知道很多小事，而刺猬只知道一件大事。
  
• 到了20世纪90年代中期，NCR将杨立昆的技术出售给银行，用于自动读取手写支票。有一段时间，美国超过10%的支票都是由杨立昆开发的产品读取的。
  
• 杨立昆的团队没有使用普通芯片来运行他们的算法，而是为这一特定工作设计了一款芯片。这意味着它的处理速度远远超过当时标准的处理器：大约每秒40亿次操作。这一基本概念——专门为神经网络制造的硅片——将重塑全球芯片产业，尽管这一时刻还需要20年才会到来。
  
• 具有短期记忆的神经网络。
  
• LSTM，即长短期记忆(Long Short-Term Memory)
  
• 他有一个终身的习惯：他会跑进房间，说他终于弄明白了大脑是如何工作的，然后解释他的新理论，接着像来的时候一样快速离开。几天之后，他会回来说自己关于大脑的理论完全是错的，但他现在又有了一个新的理论。
  
• 每次看到一篇重要的研究论文或者一位重要的研究人员，达尔都会发现与辛顿有直接的联系。“我不知道是杰夫选择了那些最终取得成功的人，还是他以某种方式让他们获得了成功。经历过之后，我认为是后者。
  
• 如果这是一个好想法，你就继续努力20年。如果这是一个好想法，你就继续尝试，直到成功。它不会因为你第一次尝试不起作用就不再是一个好想法。
  
• 60岁生日那天，辛顿在温哥华举行的年度NIPS大会上发表演讲，“深度学习”这个词第一次出现在标题中。
  

 05 证据：从谷歌大脑到AlexNet

• 吴恩达的离开，间接地催化了这个项目。临走前，他推荐了一位替代者：杰夫·辛顿。
  
• 你应该训练一个神经网络来解决所有的问题。
  
• 辛顿把他视为自己教过的唯一一个比自己有更多好想法的学生，而萨特斯基弗——他总是把自己的黑发剪得很短——似乎总是愁眉苦脸，并以一种近乎疯狂的能量去尝试这些想法。
  
• AlexNet不仅是深度学习的转折点，也是全球科技行业的转折点。它表明，神经网络可以在多个领域取得成功——不仅仅是语音识别，而GPU对于这一成功至关重要，它改变了软件和硬件市场。
  
• 第二天早上回来时，他们依然坚持要辛顿拿更大的份额。“这体现了他们是什么样的人，”辛顿说，“但没有体现出我是什么样的人。”
  

 06 DeepMind的野心与谷歌的收购

• “奇点”是一个理论时刻，此时技术已经进步到了人类无法控制的地步。
  
• 蒂尔是网络支付服务商贝宝(PayPal)的创始成员之一，后来他作为Facebook、LinkedIn（领英）和Airbnb（爱彼迎）的早期投资人，获得了更大的声誉和更多的财富。
  
• “我们应该专注于大脑的算法水平，”他说，“提取大脑在解决问题时的那种表征和算法，而这些问题是我们想要通用人工智能来解决的。”这是定义DeepMind的核心支柱之一。
  
• DeepMind的雪球就此滚动起来。哈萨比斯和莱格聘请了辛顿和杨立昆担任技术顾问，
  
• 他们希望，通过分析小狗和小猫的照片，这种技术也能生成小狗和小猫的图像。研究人员称之为“生成模型”，这也是DeepMind研究的一个重要领域。
  

 08 炒作

• “每个人的内心都有对荣誉的一点儿虚荣，”辛顿说，“你也可以在自己身上看到这一点，意识到这一点很好。”
  

 11 神经网络的扩张：新药研发技术

• 谷歌前首席执行官兼董事长埃里克·施密特表示：“你可以把人工智能想象成一个大的数学问题，它能看到人类看不见的模式。科学和生物学的大量知识中，存在着一些人类无法看到的模式，当被发现时，它们就能帮助我们开发出更好的药物和更好的解决方案。”
  
• 伊利亚·萨特斯基弗发表那篇重塑机器翻译的名为《从序列到序列》的论文时，他说这并不是真的关于翻译的论文。
  
• 黑匣子”问题是人们要学会忍受的问题。其中的诀窍是让世界相信这不是问题，而这可以通过测试来实现。测试的目的是证明，即使你看不到内部的运作机制，它们也会做它们应该做的事情。
  
• DeepMind宣称的使命是实现通用人工智能，并通过教系统玩游戏的方式来追逐通用人工智能这颗“北极星”。“谷歌大脑”是谷歌不可或缺的一部分，它给公司带来了收入。DeepMind是一间独立的实验室，有自己的一套规则。
  

 12 梦想之地：微软的深度学习

• 陆奇认为，微软的问题在于它用旧的方式处理新的问题。它在一个不复存在的市场上设计、部署和推广技术。
  
• 做梦是人类进行学习的重要组成部分。晚上，我们“重播”白天经历的事情，把记忆植入大脑。总有一天，机器人也会如此。
  

 第三部分 动荡 PART THREE TURMOIL

• 第一个神经网络将创建一幅图像，并试图欺骗第二个神经网络，让它以为这幅图像是真实照片。第二个会指出第一个错误的地方，第一个会再试一次。
  
• 他称之为“生成对抗网络”，即GAN。在全球的人工智能研究人员的圈子内，他成了“GAN之父”。
  
• 费曼的教室黑板上曾经写着：“我不能理解的东西，我无法创造。”
  
• 2016年11月，在卡内基——梅隆大学的一次演讲中，杨立昆称GAN是“过去20年深度学习领域最酷的想法”
  
• 用图像来证明发生了什么事情的时代终结了。
  
• 他说：“从历史上看，我们能够依靠视频证据来证明一些事情确实发生了，这有点儿偶然。实际上，我们过去必须通过一种叙述方式来思考，谁说了什么，谁有动力说什么，谁在哪个问题上有信誉。似乎我们又回到了那种时代。”但这是一个艰难的转变。“不幸的是，现在的人不太擅长批判性思维。人们往往以非常部落主义的想法看待谁可信、谁不可信。”至少会有一段调整期。他说：“在很多其他领域，人工智能打开了我们以前从未打开过的大门。我们真的不知道门的另一边是什么。在这种情况下，事情更像是人工智能正在关闭我们这一代人已经习惯打开的一些大门。”
  
• 伊恩·古德费洛也开始分享自己对人工智能快速崛起的担忧，这种担忧比埃隆·马斯克提出的关于超级智能的警告更为紧迫，GAN只是其中的一部分。当古德费洛刚刚来到谷歌时，他就开始探索一种叫“对抗性攻击”(adversarial attacks)的独立技术，这种技术表明神经网络可以被愚弄，你可以让它看到或听到实际上不存在的东西。
  
• 一组研究人员展示出，通过在停车标志上贴几张便利贴，他们可以骗过一辆自动驾驶汽车，让它以为这个标志不存在。
  
• 2016年春，在谷歌工作不足两年之后，古德费洛离开了公司并加入OpenAI实验室，他同时也将这项研究带了过来。他被OpenAI的使命吸引，即致力于打造符合道德标准的人工智能，并与全世界分享。
  

 14 谷歌的傲慢

• 得益于像杰夫·辛顿和杨立昆这样的西方学者的影响，美国大公司公开发布了它们的大部分重要的思想和方法，甚至共享了软件。它们的想法、方法和软件对任何人都是可用的，包括中国的任何人。最终，东西方的主要区别在于数据。 对陆奇来说，这一切意味着，中国不仅将成为第一个生产自动驾驶汽车的国家，也将成为第一个找到癌症治疗方法的国家。
  

 17 Facebook的无能

• 无论人工智能工具在非常特殊的情况下有多么精确，它们仍然缺乏人类判断的灵活性。
  
• 斯科洛普夫发起了一场竞赛，敦促来自产业界和学术界的研究人员打造人工智能系统，以识别“深度造假”，即由其他人工智能系统生成的虚假图像。问题是，哪一方会赢？对伊恩·古德费洛这样的研究人员来说，答案是显而易见的。错误信息会赢。毕竟，GAN的设计模式，就是打造一个可以欺骗任何探测器的开发器。甚至在比赛开始之前，它就赢了。
  

 第四部分 被低估的人类 PART FOUR HUMANS ARE UNDERRATED

• 盖瑞·马库斯是众多这样的思想家之一，他们相信先天遗传的重要性，而不仅仅是后天培养的重要性。他们被称为先天论者，他们认为，所有人类知识的很大一部分，是传输进大脑的，而不是从经验中学到的。
  
• 杨立昆被这一切弄得不知所措。正如他在纽约大学告诉观众的那样，他认同单靠深度学习无法获得真正的智能，他也从未做过肯定的表述。他认同人工智能需要“先天机器”。毕竟，神经网络就是“先天机器”。
  
• 杰夫·辛顿读到这里时，他很开心。他说，盖瑞·马库斯的这句话将被证明是有用的，因为它可以在未来几年里用于任何关于人工智能和自然语言的报道之中。“它没有技术含量，所以永远不会过时，”辛顿说，“无论快速发展能持续多久，马库斯都会认为它即将结束。”
  

 19 自动化：OpenAI的拣货机器人

• 他们将训练转移到虚拟现实环境中，打造了一个系统，机器手通过在数字世界里花费相当于几个世纪的时间进行反复尝试，学会了还原魔方。他们认为，随着任务变得越来越复杂，物理世界中的训练系统将会非常昂贵和耗时。
  

 20 信仰

• 正如亚历克斯·克里哲夫斯基所说：“我们相信自己在情感上愿意相信的东西。
  
• 我们所有人都已经是半机械人了，”他说，“你的手机、电脑和所有的应用程序都是你自己的延伸，你已经是超人类了。”他解释说，人类的受限在于无法足够快地使用自己的应用程序，大脑和机器之间没有足够的“带宽”。人们仍然用“肉棒”——手指——在手机上打字。“我们必须通过与神经皮质的高速带宽连接来突破这个限制。”
  
• 格雷厄姆很快宣布辞去YC总裁一职，并任命阿尔特曼接替他的职位，这一任命让YC家族中的很多人感到惊讶。此后，阿尔特曼成为源源不断的创业公司的顾问。作为提供建议和资本的交换，YC获得每家公司的股份。阿尔特曼个人也投资了一些公司，他很快就变得非常富有。
  
• 跟马斯克一样，他是一名创业者，而不是科学家，尽管他有时会说自己在大二辍学之前在斯坦福大学学习过人工智能。
  
• “自信的力量非常强大。我认识的最成功的人对自己的信任几乎到了妄想的地步，”他曾写道，“如果不相信自己，你就很难对未来有逆向的想法，而这正是创造大部分价值的地方。”
  
• 对他来说，这种态度可以用意大利哲学家马基雅维利的一句经常被引用的话概括：“要犯野心的错误，而不是懒惰的错误。”
  
• 用不了太长时间，整个地球的表面就会被数据中心和发电站覆盖。
  
• 这在时间尺度上可能有争议，但据我们所知，没有物理定律能阻止通用人工智能的实现。
  

 21 未知因素

• 因为这三位资深研究人员在21世纪第一个十年的中期让神经网络的研究得以复兴，并将其推向科技产业的核心地带，这项技术在其中重塑了从图像识别到机器翻译，再到机器人技术的一切，他们以三种使用方式分享了这笔奖金。
  
• 如果你有一个想法，并且在你看来它确定无疑是正确的，那么，不要听别人说这很愚蠢，”
  

 时间线

• 1986年——戴维·鲁梅尔哈特、杰夫·辛顿和罗纳德·威廉姆斯发表了他们关于“反向传播”的论文，扩展了神经网络的功能。
  
• 2007年——杰夫·辛顿创造了术语“深度学习”，一种描述神经网络的方式。
  
• 杰夫·辛顿、伊利亚·萨特斯基弗和亚历克斯·克里哲夫斯基发表了AlexNet论文。
  
• ——伊恩·古德费洛发表了GAN论文，描述了一种生成照片的方法。
  
• 伊利亚·萨特斯基弗发表了论文《从序列到序列》，这是机器翻译的一个进步。
  
• 杰夫·辛顿、杨立昆和约书亚·本吉奥获得2018年图灵奖。
  

 参与者

• 伊恩·古德费洛，GAN的发明人，GAN是一种可以自行生成虚假图像（而且非常逼真）的技术。他曾在谷歌和OpenAI工作过，后加入苹果公司。
  
• 戴密斯·哈萨比斯，英国的国际象棋天才、游戏设计师和神经科学家，创建了伦敦人工智能初创公司DeepMind，该公司后来发展成为世界上最著名的人工智能实验室。
  

 来自微信读书