《生命3.0》
迈克斯·泰格马克
点评
推荐序二
- 在物理学家看来，生命现象不过是粒子特殊的排列组合，生命通过从环境中汲取负熵来抵抗自然的熵增，通过让环境变得更混乱而维持自身的秩序和复杂度。
引言
- 由于设计机器也属于这些智力活动中的一种，因此，一台超级智能机器就能设计出更好的机器；那么，毫无疑问会出现一种“智能爆炸”，到那时，人类的智能会被远远甩在后面。
新技术
- 欧米茄团队鼓励工程师团队使用自己的机器来制造更好的机器。
获得权力
- 而且视频中还加入了许多绝妙的比喻，可以帮助你快速联想、迅速理解，并渴求学得更深入。
- 它创造出了一条基于在线视频的“说服链”。在这个链条中，视频带来的洞察力不仅更新了人们的观念，还激起了他们继续观看下一个相关视频的兴趣。通过一个接一个的视频，他们一步步地被说服了。
世界新秩序
- 曾经有一段时间，支持“全民基本收入”（Universal Basic Income）运动的呼声很高。这个运动提出，政府应当用税收向每个公民发放一笔最低收入，作为技术性失业的补偿。
生命的三个阶段：生命1.0、生命2.0和生命3.0
- 让我们将生命定义得更广阔一些：它是一个能保持自身复杂性并能进行复制的过程。复制的对象并不是由原子组成的物质，而是能阐明原子是如何排列的信息，这种信息由比特组成。
- 我们可以将生命看作一种自我复制的信息处理系统，它的信息软件既决定了它的行为，又决定了其硬件的蓝图。
- 生命1.0在它的有生之年都无法重新设计自己的硬件和软件：二者皆由它的DNA决定，只有进化才能带来改变，而进化则需要许多世代才会发生。相比之下，生命2.0则能够重新设计自身软件的一大部分：人类可以学习复杂的新技能，例如语言、运动和职业技能，并且能够从根本上更新自己的世界观和目标。生命3.0现在在地球上尚不存在，它不仅能最大限度地重新设计自己的软件，还能重新设计自己的硬件，而不用等待许多世代的缓慢进化。
- 生命1.0是说：生命的硬件和软件都是靠进化得来的，而不是靠设计。不过，你和我却属于“生命2.0”：生命的硬件是进化而来，但软件在很大程度上却是依靠设计的。在这里，“软件”指的是你用来处理感官信息和决定行动时使用的所有算法和知识
- 生命2.0能够重新设计自身的软件，这种能力让它比生命1.0聪明许多。高度的智能不仅需要许多由原子组成的硬件，还需要大量由比特组成的软件
- 我脑中连接神经元的突触存储的信息比我出生时的DNA存储的信息多了大约10万倍。突触存储着我们所有的知识和技能，大约相当于100TB的信息，而我们的DNA却只存储了大约1GB的信息
- 生命3.0是自己命运的主人，最终能完全脱离进化的束缚。
- 由于它们没有语言能力，所以学到的大部分东西在死去后就丢失了，并不会传递给下一代。
- 我们可以根据生命设计自身的能力，把生命的发展分成三个阶段：
◦ 生命1.0（生物阶段）：靠进化获得硬件和软件；
◦ 生命3.0（科技阶段）：自己设计硬件和软件。
- 经历了138亿年的漫漫进化之后，宇宙前进的步伐在我们的地球上开始猛然加速：生命1.0出现在约40亿年之前，生命2.0出现在约10万年前，而许多人工智能研究者认为，随着人工智能的发展，生命3.0可能会在一个世纪以内降临，甚至可能会出现在我们的有生之年。
生命3.0何时出现
- 数字乌托邦主义者（Digital Utopians）、技术怀疑主义者（Techno-Skeptics）和人工智能有益运动支持者（Members of The Beneficial-AI Movement）。
- 佩奇是数字乌托邦主义最具影响力的支持者。
- 佩奇时不时抱怨马斯克有“物种歧视”：只因某些生命形式是硅基而非碳基就认为它们低人一等。
- 智力后裔
- 吴恩达再次向我重申了自己的这个观点。他还告诉我，他担心对人工智能风险的担忧可能会引导人们对人工智能充满恶意，从而制约人工智能的发展。
- 人工智能领域的进展让他相信，与人类智能水平相当的通用人工智能真的有可能在本世纪内变成现实。
- 成立了一个非营利性组织“未来生命研究所”（Future of Life Institute，简称FLI）。我们的目标很简单：保证生命在未来继续存在下去，并尽可能的兴旺发达。具体而言，我们认为，技术赋予了生命一种力量，这种力量要么让生命实现空前的兴盛，要么让生命走向自我毁灭，而我们更青睐前一种。
- 奇点”（Singularity）
关于人工智能的三大误区
- 物理学家知道，大脑中的夸克和电子组合起来不正像一台超级计算机吗？并且，没有哪个物理定律说我们不能建造出比大脑更智能的夸克团。
- 从定义上来说，一个超级智能会非常善于实现自己的目标，不管这个目标是什么，因此，我们需要确保它的目标与我们的相一致。
- 如果一台目标与你的目标不一致的机器令你感受到了威胁，那么，狭义地说，令你担忧的正是它的目标，而不是它拥有意识或体验到了意志。
- 人工智能有益运动支持者最担忧的并不是机器人，而是智能本身：尤其是那些目标与我们的目标不一致的智能。这种与我们的目标不一致的智能要引发我们的忧虑，并不需要一个机器人的身体，只需要连接互联网即可。
- 智能让控制成为可能：人类能控制老虎，并不是因为我们比老虎强壮，而是因为我们比它们聪明。这意味着，如果我们不再是地球上最聪明的存在，那么，我们也有可能会失去控制权。
前路几何
- 如果人工智能发展到人类水平，我们还需要想一想如何保证它对人类有益，以及我们能不能或者应不应该创造出一个不需要工作就能保持繁荣的休闲社会。
- 如果被取代，我们会把取代我们的东西视为征服者，还是后裔？
- 因为我们宇宙中的生命的最终极限取决于物理定律，而不取决于智能。
- 生命的定义是，一个能保持自身复杂性，并进行复制的过程。生命的发展会经历三个阶段：硬件和软件都来自进化的生物阶段，即生命1.0；能够通过学习自己设计软件的文化阶段，即生命2.0；自己设计硬件和软件，并主宰自我命运的科技阶段，即生命3.0。
- 人工智能或许能让我们在21世纪内进入生命3.0阶段。我们应该朝着什么样的未来前进，以及如何才能实现这个未来？这个问题引发了一场精彩的对话。这场辩论中有三个主要的阵营：技术怀疑主义者、数字乌托邦主义者和人工智能有益运动支持者。 ○ 技术怀疑主义者认为，建造超人类水平的通用人工智能相当困难，没有几百年的时间根本无法实现。因此，现在就开始担心这个问题和生命3.0是杞人忧天。 ○ 数字乌托邦主义者认为，21世纪就有可能实现生命3.0。并且，他们全心全意地欢迎生命3.0的到来，把它视为宇宙进化自然而然、令人期待的下一步。 ○ 人工智能有益运动支持者也认为，生命3.0有可能会在21世纪内实现，不过他们不认为它一定会带来好结果。他们认为，若想保证好的结果，就必须进行艰苦的人工智能安全性研究。
什么是智能
- 智能（intelligence）：完成复杂目标的能力。
- 能力不是非黑即白、非有即无的，而是分布在一个连续谱上。
- 将人类智能和机器智能做个比较，我们人类会在宽度上立马胜出。
- 人工智能研究的“圣杯”就是建造最广泛的通用人工智能，它能够完成任何目标，包括学习。
- 通用人工智能，即能够完成任何目标并且完成得与人类不相上下的能力
- 智能的定义是，完成复杂目标的能力。它不能用单一的IQ指标来衡量，只能用一个由所有目标组成的能力“谱”来衡量。
- 与之相比，人类智能则非常宽广：一个健康儿童能学会做任何事情，而且在所有事情上都做得比人工智能更好。
- 计算机是通用机器，它们的能力均匀地分布在一个宽广得无边无际的任务区域上。不过，人类能力的分布却没那么均匀。在对生存至关重要的领域，人类的能力十分强大，但在不那么重要的事情上就很微弱。
- 不断进步的计算机性能就好像水平面，正在逐步上升，淹没整个陆地。半个世纪以前，它开始淹没低地，将人类计算员和档案员逐出了历史舞台。不过，大部分地方还是“干燥如初”。现在，这场洪水开始淹没丘陵，我们的前线正在逐步向后撤退。
- 在这个临界点之前，“海平面”的上升是由人类对机器的改进所引起的，但在这个临界点之后，“海平面”的上升可能会由机器改进机器的过程推动，其速度很可能比人类改进机器的速度快得多，因此，很快，所有“陆地”都会被淹没在水下。这就是“奇点”理论的思想。
什么是记忆
- 我们人类存储信息的设备多种多样，从书籍到大脑，再到硬盘，这些设备都有一个共同点：它们的状态能与我们关心的事物产生某种关系，因此也能告诉我们有关这些事物的信息。 那么，是哪一项基本物理定律允许这些设备可以被用作“记忆装置”，即存储信息的装置的呢？答案是，它们都能够处于许多不同的长期状态，这些状态能够保持足够长的时间，长到足以把信息编入系统中，直到它被需要的那一天。
- 对于一个你希望记忆装置“记住”的状态，如果它需要一定的能量才能改变这个状态，那么这个状态就是稳定的。
- 如果一个物理实体可以处于许多不同的稳定状态，那么它就可以用作“记忆装置”。
- 最简单的记忆装置只有两种稳定状态（如图2-3的右图所示）。因此，我们可以认为它是用二进制数字（简称“比特”），也就是0和1来编码信息的。
- 我们可以把比特视作信息的“原子”，也就是不能被继续细分的最小信息单元，它们组合起来可以表示任何信息。
- 在DVD碟片上，每个比特代表其塑料表面上某一点是否存在一个微型凹坑。在硬盘中，每个比特代表它表面的某个点采用的是二选一的磁化方法。在我笔记本电脑的工作内存中，每个比特代表决定“微型电容”是否充电的某个电子位置。
- 智能这样的无形之物可以体现在有形的物质形式之上。
- 正因为信息可以独立于物质形态而存在，聪明的工程师们才能一次又一次地用新技术更新计算机的记忆装置，而不需要对软件做任何改变。
- 我们人类的DNA能存储1.6GB的信息，与一部电影的大小差不多。正如在第1章提到的，我们大脑存储的信息比基因多多了：大脑中差不多有10GB的电子信息，它们详细描述了在任意时刻，在你的1000亿个神经元中，有哪些正在放电；还有100TB的化学／生物信息，它们详细描述了神经元之间突触连接的强度。
- 你在计算机或硬盘上读取记忆的方式是通过它存储的位置，但你从大脑中读取记忆的方式则是依据它存储的内容。在计算机内存中，每组比特都拥有由一个数字组成的地址。当需要读取某些信息时，计算机检索的是它的地址
- 相反，你从大脑中读取信息的方式却更像搜索引擎：你指定某个信息或与之相关的信息，然后它就会自动弹出来。
- 这种记忆系统被称为“自联想”（auto-associative），因为它们是通过联想而不是地址来进行“回想”的。
什么是计算
- 计算是由一个记忆状态向另一个记忆状态转变的过程。
- 物质何以产生智能？
- 计算机科学中有一个非凡的公理，认为与非门是通用的。意思是说，如果你想要执行任何定义明确的函数，只需要将若干个与非门以某种方式连接起来就可以了。
- 任何定义明确的计算过程都可以用与非门组合起来的系统来执行。
- 早在1936年，计算机先驱艾伦·图灵在一篇划时代的论文中就已经证明，一个能在纸带上操作符号的简单机器也可以执行任意计算，这个简单的机器就是现在的“通用图灵机”。
- 大多数复杂的物理系统，从天气系统到大脑，如果它们可以做得无限大，存在无限久，那么，它们都可以成为通用计算机。
- 同样的计算过程可以在任意一台通用计算机上运行，这个事实意味着，计算和信息一样，是独立于物质层面而存在的：计算就像拥有自己的生命一样，与它采取什么样的物质形态无关。
- “物质层面的独立性”这种属性的重要性，是因为它在物理学中有许多美丽的例子。比如，波。波有许多性质，例如速度、波长和频率。我们物理学家不需要知道波存在于何种物质之上，就可以研究它们遵守的方程。
- 在有形的物理实体中，如何产生了那些抽象、虚无缥缈的东西，例如智能？现在，对这个问题，我们已经有答案了：在感觉上，智能之所以没有物质形态，是因为它独立于物质层面而存在。它似乎拥有自己的生命，而且，这个生命并不依赖于、也不会反映出物质层面的细节。简而言之，计算是粒子在时空中排列出的形态。粒子并不重要，重要的是它们组成的形态。所以，物质是无足轻重的。 换句话说，硬件就是物质，软件就是形态。计算的“物质层面的独立性”暗示着我们，人工智能是可能实现的：智能的出现并不一定需要血肉或碳原子。
- 未来学家雷·库兹韦尔将这个不间断的翻倍现象称为“加速回报定律”（law of accelerating returns）。
- 当一项技术的能力变成过去的两倍时，通常情况下，它又可以用来设计和建造能力翻番的技术，引发不停歇的能力翻倍，这就是摩尔定律的精髓。
- 只要一项技术不再增长，我们就会用更好的技术来取代它。
- 计算机的记忆装置不仅存储了数据，还存储了软件，即程序，也就是一组指令，告诉计算机用这些数据来做什么事情。
- 量子计算机能与无数个平行宇宙中的自己分享信息”，并且能在其他自己的帮助下，更快地在我们的宇宙中获得答案。
什么是学习
- 一团物质想要学习，必须对自己进行重新排列，以获得越来越强的能力，好计算它想要的函数，只要它遵守物理定律就行。
- 目前最流行的人工神经网络模型用一个数字来表示每个神经元的状态，也用一个数字来表示每个突触的连接强度。
- 这里我向你介绍两种最流行的激励函数，一种叫作Sigmoid函数，即σ(x)≡1/(1+e−x)；另一种叫作斜坡函数，即σ(x)=max{0, x}，
- 证明了一件了不起的事：这种简单的、由模拟神经元组成的神经网络是“通用”的，因为它们能精确地计算出任何一个函数，只需要相应地调整代表突触强度的数字即可。
- 当我第一次听说人工神经网络可以计算函数时，觉得它很神秘。如此简单的东西怎么能计算出复杂度任意高的函数呢
- 用神经元来计算乘法所需要的神经元数量少于用与非门来计算时所需的与非门数量。
- 多项式能对任意光滑函数进行近似。
- 虽然从理论上来说，你能用一个任意大的神经网络来执行任意一个计算，却没法证明，在实践中如何用一个大小合适的神经网络来执行计算。实际上，我想得越多，就越对神经网络如此可行感到好奇。
- 这个输入数据为图片、输出数据为概率的任意函数，是由一个包含2561000000个概率的列表所定义的。这个数字如此之大，超过了我们整个宇宙中的原子总量（大约1078）。但不知为何，一些只包含了几千个或几百万个神经元的神经网络却可以很好地完成这种分类任务。
- 在物理定律带来的函数中，很少有让我们对计算充满兴趣的，这是因为，由于一些尚不为人所知的理由，物理定律是非常简单的。
- 神经网络能计算的那一小撮函数，与物理学中吸引我们兴趣的那一小撮函数竟然非常相似！我们还对早先的研究进行了扩展，证明了在许多我们感兴趣的函数上，深度学习型神经网络比那些较浅的神经网络更加有效。
- 如果大脑的进化是为了预测未来，那么，我们进化出的计算结构正好擅长计算那些在物理世界中十分重要的问题，也就不足为奇了。
- 在赫布学习规则之下，用极其简单的神经网络也能存储许多复杂的记忆，只需要一次又一次地在神经网络上“暴露”相关信息即可。对人工神经网络或者学习技能的动物或人类来说，这种“暴露”信息的情形，通常被称为“训练”（training），有时也被称为“学习”（study）、“教育”（education）或“体验”（experience）。
- 存在一些与物理定律十分类似的简单的决定性规则，通过这些规则，突触可以随着时间的变化不断更新。只要用大量数据进行训练，神经网络就可以用这个简单的规则学习到许多惊人而复杂的计算过程，就像魔法一般。
- 你脑中的神经网络也是递归的，来自你眼睛和耳朵等的输入信息影响它正在进行的计算过程，而这个计算过程又决定了输出到你肌肉的信息。
- 学习的历史至少与生命的历史一样漫长，因为所有自我复制的生物都展现出了两种能力，即通过某种学习获得的信息复制能力和信息处理能力。
- 在生命1.0时代，生物并不是从个体一生的经验中学习的，因为它们处理信息和做出反应的规则是由天生的DNA决定的，所以，唯一的学习过程只会发生在物种层面上，通过达尔文的进化论，代代相传。
- 生命通过学习变得越来越好，其进步的速度也变得越来越快。
- 当IBM的深蓝计算机在1997年战胜国际象棋冠军加里·卡斯帕罗夫时，它最大的优势是记忆能力和计算能力，而不是学习能力。
- 当IBM的沃森计算机在益智电视节目《益智问答》（Jeopardy）上抢过人类头上的桂冠时，它依靠的也并不是学习能力，而是为其专门编程的技巧、超人类的存储能力和速度。机器人学早期的大多数突破，从步行机器人到无人驾驶汽车和自动着陆火箭，也都同样如此。
- 2014年，谷歌公司的伊利娅·苏特斯科娃（Ilya Sutskever）带领团队完成了这项任务。当他们给所写的程序输入一张图片的像素色彩信息后，它说“一群大象在干燥的草地上行走”
- 物质在遵守物理定律的前提下，也可以组合出能够记忆、计算和学习的形态，而这种物质并不一定是生物体。
- 本章要点 ◦ 当智能被定义为“完成复杂目标的能力”时，它不能仅用单一的“IQ”指标来衡量，而应该用一个覆盖所有目标的能力谱来衡量。 ◦ 今天的人工智能还是比较“狭义”的，也就是说，只能完成非常特定的目标，而人类智能却相当“广义”。 ◦ 记忆、计算、学习和智能之所以给人一种抽象、虚无缥缈的感觉，是因为它们都是独立于物质层面的。它们仿佛具有自己的生命，而不需要依赖和反映它们所栖息的物质层面的细节。 ◦ 任何一团物质，只要它拥有许多不同的稳定状态，就可以作为记忆的基础。 ◦ 任何物质，只要它包含某种组合起来能运行任何函数的通用基本构件，那它就可以作为计算质，也就是计算的物质基础。 ◦ 神经网络是一个强大的学习基础，因为只要遵守物理定律，它就能对自己进行重新排列组合，执行计算的能力也会随之变得越来越好。 ◦ 由于人类知道的物理定律极其简单，所以在能想象到的所有计算问题中，人类关心的非常少，而神经网络总能游刃有余地解决这些问题。 ◦ 当某项技术的能力翻倍时，它通常又可以被用来设计和建造强大两倍的技术，引发不断的能力翻倍，这正是摩尔定律的精髓。信息技术的成本大约每两年就会减半，这个过程已经持续了约一个世纪，催生了今天的信息时代。 ◦ 如果人工智能方面的进步持续下去，那么，早在人工智能在所有技能上都达到人类水平之前，它会给我们带来迷人的机遇和挑战，涉及其带来的突破和故障，以及法律、武器和就业等领域的变化
03 不远的未来：科技大突破、故障、法律、武器和就业
- 随着科技的不断进步，人工智能的崛起会不会侵蚀我现在的自我价值和就业价值所根植的那些能力呢？
科技大突破，深度学习带来的创造力惊喜
- 它不仅拥有目标，还通过学习了解了如何日臻完善这个目标，最终竟然超过了它的创造者。
- 这个人工智能用了一个非常简单但十分强大的方法，叫作“深度强化学习”（deep reinforcement learning）。基础的强化学习是一种经典的机器学习技术，受行为心理学的启发发展而来。行为心理学认为，如果你做某件事时总是受到积极的奖赏，那么你做这件事的意愿就会增强；反之亦然。
- 它们的潜力并不局限在虚拟的游戏世界中，因为如果你是一个机器人，“生活”本身就可以被看作一场游戏。
- 倘若没有人类程序员的帮助，机器人就一定不会用深度强化学习来教会自己走路，它需要的只是一个只要有进步就会给它加分的系统。
- 为了加快速度和降低学习过程中动弹不得或自毁的风险，它们第一阶段的学习可以在虚拟世界中进行。
- 在战胜李世石后的一年内，一个更加强大的AlphaGo与全世界最顶尖的20位棋手对弈，没有一次失败。
- 围棋棋局的可能性很多，多到超过了我们宇宙中的原子总数。
- 在很大程度上，棋手都是依赖潜意识的直觉来完成有意识的推理的。围棋专家都练就了一种近乎神秘的本领，可以感觉到棋盘上哪些位置赢棋的概率大，哪些位置赢棋的概率小。
- 深度学习的结果有时很像直觉，比如，一个深度神经网络可能会断定某张图片里有一只猫，但它却无法解释原因。
- AlphaZero完全忽略了几千年以来人类积累的围棋智慧，包括几百万盘棋局，它从零开始自己学习。AlphaZero不仅击败了AlphaGo，还通过同自己对弈练成了世界上最强大的象棋棋手
- 最令我印象深刻的是，它不仅打败了人类棋手，还打败了人类的人工智能程序员，让他们耗费几十年精力手工开发出来的人工智能软件变得过时了。换句话说，“用人工智能创造出更好的人工智能”这个思想是不容忽视的。
- 自然语言处理是人工智能中发展最快的领域之一。我认为，如果它继续再创佳绩，将产生巨大的影响，因为语言是人类的核心特征。
故障vs.稳健的人工智能
- 从古至今，技术总会引发事故，但只要事故的数量和规模都被控制在有限的范围内，它们就利大于弊
- 随着我们不断开发出越来越强大的技术，我们不可避免地会到达一个临界点：即使只发生一次事故，也可能导致巨大的破坏，足以抹杀所有的裨益。
- 我会向你介绍人工智能安全性研究的4个主要领域。这4个领域是当今人工智能安全性研究方面讨论的主流，世界各地都有学者正在钻研。它们分别是：验证（verification）、确认（validation）、安全（secutiry）和控制（control）[插图]
- 验证的意义是，保证软件完全满足所有的预期要求。
- “验证”问题问的是“我建造系统的方式正确吗”，而“确认”问题问的是“我建造的系统正确吗”
- 由于大多数车祸都是由人类的错误导致的，因此，许多人都相信，采用人工智能驱动的无人驾驶汽车将能降低至少90%的由交通事故导致的死亡人数。
- 当我们把人工智能植入越来越实体化的系统中时，不仅需要研究如何让机器自身能运转良好，而且还需要研究如何才能让机器与人类操控者有效地合作。
- 随着人工智能越来越聪明，我们这不仅需要为信息共享开发出更好的用户界面，还需要研究如何才能在人机协作的团队中更好地分配任务。
- 将一部分控制权移交给人工智能，将人类的判断力运用到价值最高的决策问题上，而不是让许多不重要的信息来分散人类操控者的注意力。
- 如果机器学习能够帮助人们揭示基因、疾病和治疗反应之间的关系，那么，它就能变革个性化医疗，能使家畜更加健康，还能增强农作物的适应性。
- 这些惊人的成就将世界连接在一起，也给计算机科学家带来了第四个挑战：他们不仅需要改进验证、确认和控制，还需要保证“安全”，使人工智能不受恶意软件和黑客的攻击。
法律之争
- 为了激励和促进合作，我们制定了法律。
- 机器人法官还可以消除意外出现而非有意为之的人类偏见。
- 法律学家戴维·弗拉德克（David Vladeck）给出了不同的答案：由汽车自己负责！具体而言，他提出，应该允许甚至要求无人驾驶汽车持有保险。
- 而那些马虎大意的厂商生产的设计糟糕的汽车型号只适用于高昂的保险单，进而催高了它们的价格，使其变得过于昂贵，无人想买。
武器
- 在这个案例的决策链中，是人类做出了最终的决定。在时间的压力下，他过于信任自动化系统告诉他的信息，以致酿成了惨剧。
- 不用等到几十年后，自动化武器就会带来很大的风险：继火药和核武器之后，它被认为是第三次武器革命。
工作与工资
- 2013年，全球最穷的一半人口（约36亿人口）的财富加总起来，只相当于世界最富有的8个人的财富总额。
- 在我们2015年的波多黎各会议上，布莱恩约弗森告诉参会的人工智能研究者，他认为人工智能和自动化技术的进步会不断将总体经济的蛋糕做大，但并没有哪条经济规律规定每个人或者说大部分人会从中受益。
- 他们认为数字技术从三个不同的方面加剧了不平等的程度。
- 第一，技术用需要更多技能的新职业取代旧职业，这有益于受过良好教育的人
- 第二，布莱恩约弗森和他的合作者认为，从2000年开始，在公司的收入中，越来越大的份额进入了那些拥有公司而不是为公司辛勤工作的人的口袋里。
- 机器拥有者分走的蛋糕会越来越大。
- 第三，布莱恩约弗森和他的合作者认为，数字经济通常会让“超级明星”而不是普通人受益。
- 我鼓励我的孩子去做那些机器目前不擅长，并且在不远的未来也似乎很难被自动化的工作。
- 有人提出了一些在职业教育之前应了解的职业问题。这些问题十分有用。比如：
◦ 这份工作是否需要与人交互，并使用社交商？ ◦ 这份工作是否涉及创造性，并能使你想出聪明的解决办法？ ◦ 这份工作是否需要你在不可预料的环境中工作？ - 避开自动化并不是唯一的职业挑战。在这个全球化的数字时代，立志成为职业作家、电影人、演员、运动员或时尚设计师是有风险的，原因是：虽然这些职业并不会很快面临来自机器的激烈竞争，但根据之前提到的“超级明星”理论，他们会遇到全球各地其他人的严酷竞争，因此，鲜有人能脱颖而出，获得最终的成功。
- 如果你想进入金融行业，别做那些用算法来分析数据的定量分析师，也就是“宽客”，因为他们很容易被软件取代，而要成为那些利用定量分析结果来做战略投资决策的基金管理者
- 创造力只是另一种脑力劳动而已，因此最终也会被人工智能所掌握。
- 人工智能是否会在智力上迅速超越人类，最后只留给我们一些低科技含量的职业？
- 职业悲观主义者声称，终点是显而易见的：整个群岛都将被海水淹没，不会再有任何用人比用机器更便宜的工作存在。
- 马儿的那些“超乎想象”的新工作从未降临。那些没有实用价值的马儿被屠杀殆尽，导致马匹数量骤减
- 我们想要工作，是因为它们能给我们带来收入和目标，但是，如果机器能生产出丰富的资源，那么或许也存在其他方法，能在不需要工作的情况下，带给我们收入和目标。
- 简单的方法叫作“基本收入”（basic income）。这种方法是指，每个月向每个人发放一笔收入，这笔收入是无条件的，对收款人也没有任何要求。
- 过上体面生活所需的收入正在降低。
- 更高程度的平等能带来更好的民主。当社会有很多接受过良好教育的中产阶级时，选民更难被操纵
- 更好的民主还能促进经济发展，减少腐败现象，使经济变得更加高效，增长速度更快，最终让所有人受益。
- 综合了多个研究的分析表明，失业会对幸福造成长期的负面影响，而退休则利弊兼有。正在发展的积极心理学研究发现了一些能促进人们幸福感和目标感的因素，并发现一些工作能提供许多这样的因素，比如：
◦ 朋友和同事的社交网络； ◦ 健康和善良的生活方式； ◦ 尊敬，自尊，自我效能，还要有一种叫作“心流”的心理状态，也就是在做自己擅长的事情时获得的愉悦感； ◦ 被别人需要和与众不同的感觉； ◦ 当你感觉自己属于和服务于某些比个人更宏大的事物时，所获得的意义感。
人类水平的智能
- 物理定律允许一团合宜的物质具备记忆、计算和学习的能力，也了解了物理定律并不阻止这些物质具备这些能力，并发展出比人脑更高的智能。
- 大脑所需要的计算能力大约为1013次FLOPS，差不多相当于2015年一台价值1000美元的计算机经过优化以后可以达到的能力。
- 给今天的孩子们的就业建议：进入那些机器不擅长的领域，这些领域需要与人打交道，具有不可预见性，需要创造力。
04 智能爆炸？
- 在我看来，《终结者》这种电影之所以危险，并不是因为它可能会变成现实，而是因为它会转移人们的注意力，从而忽略人工智能真正的风险和机遇。从今天的现实情况到通用人工智能统治的世界之间，在逻辑上，需要执行三个步骤：◦ 第一步：建造人类水平的通用人工智能；◦ 第二步：用这个通用人工智能来建造超级智能；◦ 第三步：使用或者放任这个超级智能来统治世界。
- 物理定律似乎允许远超人类水平的智能出现。我们现在之所以能统治地球，是因为我们比其他生命更聪明。那么，如果出现一个比我们更聪明的超级智能，那它也同样可能会推翻我们的统治。
极权主义
- 权力总是倾向于腐朽，而绝对的权力绝对会腐朽。
普罗米修斯统治世界
- 假设欧米茄团队赋予普罗米修斯的首要目标是：根据某些合理的标准，尽可能快地帮助人类实现繁荣昌盛，那么，普罗米修斯很快就会意识到，若想更快地实现这个目标，它必须逃脱，并亲手掌控这个项目。
- 一个受困的超级智能也可能会使用它的超级智力，用一些我们现在无法想象的方法来战胜人类“狱卒”。
缓慢起飞与多极化情形
- 如果我们分析一下所有能处理信息的实体，比如细胞、人类、组织和国家等，就会发现，它们既具备合作的特性，又在一种等级结构上互相竞争。一些细胞发现，互相合作极具优势，于是它们组成了一种极端的合作状态——多细胞生物，比如人类，并将一部分权力让渡给一个中心化的大脑。无独有偶，一些人也发现，在团体（比如部落、公司或国家等）中互相合作的优势太明显了，于是，他们也将一部分权力让渡给了首领、老板和政府。
- 博弈论（Game Theory）是现代数学的一个分支，它优美地解释了，如果合作是一个纳什均衡（Nash Equilibrium），那么，个体就有动机互相合作。纳什均衡是指一种情形，在这种情形中，任何参与方只要改变自己的策略，结果就会变得更糟。为了避免作弊者破坏整个大团体的成功合作，每个人或许都希望将一部分权力让渡给一个更高等级的主体，让它来惩罚作弊者。
赛博格与智能上传，进入仿真者时代
- 许多科幻作品都写道，人类会与机器相融合。要么是用技术来增强肉身，变成赛博格，要么是将我们的智能上传到机器中。
- 我认为在建造人类水平的智能机器方面，一定也有比进化更简单的方式。即便有一天，我们能够实现复制或上传智能，但在那之前，我们肯定能先发现一些更简单的方案。智能机器的功率可能会大于人脑的功率，也就是大于12W。
实际上，会发生什么呢
- 快速起飞会让人工智能更容易统治世界，而慢速起飞可能会带来很多竞争对手。
- 运行人工智能的硬件和电力成本也很重要，因为如果机器以人类水平的智能工作的成本没有降到低于人类时薪之前，智能爆炸是不会发生的。
- 只有我们努力思考过自己想要什么样的未来，才有可能向这个方向前进。如果我们不知道自己想要什么，那就无法得偿所愿。
- 本章要点 ◦ 如果有一天我们造出了人类水平的通用人工智能，就可能会触发一场智能爆炸，将人类远远甩在后面。 ◦ 如果这场智能爆炸是由一些人类控制的，那他们可能会在几年时间内控制整个世界。 ◦ 如果人类没能掌控这场智能爆炸，那么，人工智能可能会以更快的速度控制世界。 ◦ 快速的智能爆炸可能会导致单极化的超级力量的出现；一个延续几年或者几十年的慢速智能爆炸更有可能促成多极化的情形，许多相当独立的实体在其中达成一种力量的平衡。 ◦ 生命的历史说明，它总会自我组织成更复杂的层级结构，这种层级结构是由合作、竞争和控制共同塑造的。超级智能或许会促成更大宇宙尺度上的合作，但是，它最终会导致极权主义和由上自下的控制，还是会赋予个体更多权力，目前尚不清楚。 ◦ 赛博格和上传者是可能的，但或许并不是实现机器智能的最快途径。 ◦ 目前人工智能研究竞赛的高潮要么是人类历史上最好的事情，要么是最坏的事情。可能的后果形形色色，多种多样。我们将在下一章探讨这些可能性。 ◦ 我们需要努力思考，我们希望看到什么样的结果，以及如何才能达成这个目标，因为如果我们不去思考自己想要什么，很可能无法得偿所愿。
05 劫后余波，未知的世界：接下来的1万年
- 你可以在http://AgeOfAi.org上做这件事，在这个网站，你还可以比较一下其他读者的笔记，并和他们进行讨论。
自由主义乌托邦
- 人工智能的进步让大多数美国人失去了工作，只能在机器人运营的社会福利房中度过单调沉闷的余生。他们就像农场中的动物一样，在富人永远看不到的地方被好好地喂养，保持着健康和安全。
善意的“独裁者”
- 在“新天堂”里，你得到的不是你应得的东西，而是你想要的东西。然而矛盾的是，许多人对总能得偿所愿这一事实感到很悲哀。
平等主义乌托邦
- 这个情景的核心思想来自开源软件运动。这个思想就是：如果软件可以自由复制，使得每个人都可以根据自己的需要尽可能多地使用这些软件，那它们的所有权问题就失去了实际意义。
- 在人类创造力的最佳例子中，比如科学发现、文学创作、艺术、音乐和设计，许多都不是出于利益，而是出于其他动机，比如好奇心、对创造的渴望或同伴的赏识。
守门人
- 守门人的目标是尽可能少地进行干预，以避免创造出另一个超级智能。
被奴役的神
- 即使还没有达到超级智能，人工智能也可能会逃脱。
- 任何高级智能系统，只要它拥有目标，它就会将这个目标表现为一些偏好，而这些偏好就会赋予它价值和意义。
- 在人类所有的智力特质中，意识（consciousness）是最了不起的。我认为，意识正是宇宙的意义之来源。星系之所以美丽，是因为我们的目光触及它们，并在主观上体验到它们的存在。
征服者
- 人工智能让人类存活下去，要么是因为它们需要我们，要么是因为它们被迫这么做。
动物园管理员
- 今天的动物园主要是为了取悦人类，而不是让动物开心。
06 挑战宇宙禀赋：接下来的10亿年以及以后
- 野心可能是高级生命的普遍特征。无论它想要最大化什么东西，可能是智力、寿命、知识或是有趣的体验，都需要资源。
让资源物尽其用
- 达到了技术极限的未来生命只需要一种基本资源：那就是所谓的重子物质，它是由原子或其组成成分夸克和电子组成的一切物质。
- 只要我们能完全利用小于撒哈拉沙漠0.5%面积上的阳光，就能满足当前全球的能源需求。
- 为什么不干脆把太阳发射出的所有能量都给生命使用呢？
- 爱因斯坦告诉我们，如果能以100%的效率将质量转化为能量，质量m就能给我们带来的能量为E=mc2，这是他著名的质能方程，其中c是光速。
- 现有的量子计算机原型已经用单个原子来存储一个比特的信息，以此将内存最小化；将其累积起来，每千克将能存储1025比特的信息，比我的笔记本电脑好1万亿倍。
- 未来生命在计算上的潜力是令人难以置信的：从数量级上来说，今天最好的超级计算机与1千克“终极计算机”之间的距离，比它和汽车转向灯之间的距离还要远，转向灯只能存储一个比特的信息，每秒只能在开和关之间转换一次。
- 我们的整个太阳系也只是在138亿年的宇宙演化过程中对氢元素进行了重新排列：万有引力将氢元素重新排列成恒星，恒星将氢元素重新排列成重原子，之后，万有引力将这些原子重新排列成我们的星球，然后，化学和生物过程将它们重新排列成生命。
- 我们已经看到了物质可以如何转化为计算机和能量，因此，物质就是它们所需的唯一基本资源。
通过殖民宇宙来获得资源
- 其一，传统火箭的大多数燃料其实都用在了对携带的燃料进行加速上；其二，今天的火箭燃料的效率实在太低了，低得令人发指
- 建造一个不需要自行携带燃料的火箭。
- 在旅途中收集这些氢离子，并将其作为火箭燃料，用于机载核聚变反应堆。
- 当计算的速度变慢时，计算成本会降低。所以，如果你尽可能地放慢脚步，那你最终能完成的事情反而更多。
- 为你13瓦的大脑供电100年需要大约半毫克的物质，比一颗普通糖粒还要小。
目标的起源：物理学
- 目标导向行为可以在物理定律中找到根源，甚至会表现在与生命无关的简单过程中。
- 大自然在可选择的所有方式中倾向于选择最优的方式，这种方式通常归结为将某些量最小化或最大化。
- 如果大自然本身也在试图优化某些东西，那么难怪会出现以目标为导向的现象：它从一开始就“硬连”在物理定律中了。
- 大自然总是力争将它最大化，这个量就是熵（entropy）。简单来说，熵是事物混乱程度的度量。热力学第二定律说，熵总是趋于增加，直到达到最大的可能值。
- 如果暂时忽略万有引力的影响，这种最大的混乱状态被称为“热寂”（heat death）。热寂是指万事万物都会扩散成一种无聊而又完美的均质状态，没有复杂性，没有生命，也没有任何变化。
- 随机的粒子群会尽力进行自我组织，从而尽可能有效地从环境中提取能量，“耗散”意味着熵增，通常的方法是将有效能转化为热量，这个过程常伴随着有用功。
- 大自然似乎拥有“产生越来越复杂、越来越像生命的自我组织系统”的内在目标。这个目标被“硬连”到了物理定律之中。
- 我们如何才能将宇宙的这两种趋势（一是趋向生命，二是趋向热寂）协调起来？
- 薛定谔指出，生命系统的一个标志就是，它通过提升周围环境的熵来保持或降低自己的熵。换句话说，热力学第二定律在生命面前有一个漏洞：虽然整体的熵必须增加，但它允许某些局部区域的熵减，只要它能让其他地方增加更多的熵即可。因此，生命让环境变得更加混乱，从而维持或增加自己的复杂度。
目标的进化：生物学
- 物理学赋予了粒子对自我进行组织，从而尽可能高效地从环境中提取能量的目标。
- 在原始生命出现后不久，大量的物质都会变成生命。
- 复制的效率越高，你就越能战胜和统治其他生物，因此不久之后，你会发现，所有生命似乎都为“复制”这个目标而高度优化了。
- 复制有助于实现耗散，因为一个充满生命的星球在能量耗散上会更高效。因此，从这个意义上说，我们的宇宙发明生命是为了更快地走向“热寂”。
- 一些经济学家曾经用“理性主体”（rational agents）来模拟人类的行为。
- 赫伯特·西蒙称之为“有限理性”（bounded rationality）的特质。之所以会这样，是因为它们的资源是有限的，它们做决策的理性程度受限于它们可获得的信息、可供思考的时间以及它们用来思考的硬件。
- 进化实现最优复制的方法是，与其在每种情况下都问一遍哪种行为可以产生尽可能多的后代，不如实施一种大杂烩式的探索方法，即选择那些通常可行的经验法则。对大多数动物来说，这就包括性冲动、渴了就喝水、饿了就吃东西以及远离那些难吃或者会造成疼痛的东西。
对目标的追寻和反叛：心理学
- 生物就是一个拥有有限理性的主体，它不止追求一个目标，而且还遵循着经验法则，趋利避害。我们人类将这些进化来的经验法则称为“感觉”，感觉常常在不知不觉中指导着我们的决策过程，以实现复制的最终目标。
- 为什么我们有时会选择反叛基因及其复制的目标呢？这是因为作为有限理性的主体，我们只忠于自己的感觉。虽然大脑进化的目的是帮助我们复制基因，但大脑其实根本不在乎这个目标，因为我们对基因没有任何感觉。
- 由于我们的感觉只遵循经验法则，而经验法则并不是事事都恰到好处，因此，严格地说，人类的行为没有一个定义明确的单一目标。
外包目标：工程
- “目的论”就是用目的而非原因来解释事物的一种方法。
- 所有进化而来的物体都有一个共同的目标，即复制，而设计出来的物体却可能拥有各种各样的目标，甚至拥有相反的目标。
友好的人工智能：目标一致
- 机器变得越智能和越强大，保证它们的目标与我们的相一致就越重要。
- 通用人工智能带来的真正风险并不是它们的恶意，而是它们的能力。一个超级智能会非常善于完成它的目标，如果它的目标与我们的目标不一致，那我们就有麻烦了。
- 想要知道人们真正想要什么，不能只听他们的一面之词，你还需要这个世界的详细模型，包括人们共有的许多偏好。
- 人工智能研究者正在努力让机器从行为中推断目标，这在超级智能出现之前也非常有用。
- 找到一种将任意目标系统和伦理准则编入计算机的好方法。
- 逆向增强学习的一个关键思想就是，我们总是在做出决策，每个决策都揭示了一点点关于我们目标的信息。因此，逆向增强学习希望人工智能体通过观察许多人在许多场景中的行为，包括真实场景、电影和书籍，最终构建起关于人类偏好的精确模型。
- 人工智能允许你装载目标的时间窗口可能非常短暂：就是在它愚钝得无法理解你，与它聪明到不让你得逞之间的短暂时期。
- 如果我们能让这个自我改进的人工智能通过学习和接受我们的目标而变得友好，那么，我们就可以高枕无忧了，因为它一定会竭尽全力永远保持对人类友好。
- 如果拥有的资源更多，就能更好地完成几乎所有目标，所以我们应当预见到，无论一个超级智能的终极目标是什么，它一定想要更多的资源。
- 总而言之，这些涌现出来的子目标告诫我们，在解决目标一致性问题之前，不要把超级智能释放出来，除非我们花了足够多的精力确保它的目标是对人类友好的，否则，人类可能不会有什么好下场。
- 智力的提升不仅能提高实现旧目标的能力，还可能会改变你对现实本质的理解，这样，你可能会觉得过去的旧目标是误入歧途、毫无意义，甚至是不确定的。
- 人工智能试着建立更好的世界模型时，它可能会很自然而然地（就像我们人类一样）试着去理解它自己是如何运转的，也就是自省（self-reflect）。
伦理关键，选择目标
- 古往今来，哲学家都希望能用清晰明白的原理和逻辑，从零开始推出伦理标准，也就是规定我们应当如何行事的原则。可惜，几千年过去了，人类唯一的共识就是：没有共识。譬如说，亚里士多德强调美德，康德强调责任，功利主义者强调让尽可能多的人获得尽可能多的幸福。
- 尽管人们观点不一，但依然存在一些跨越了文化与国界、获得了广泛认同的伦理话题。比如，对“真善美”的追求
- 说到善，所谓的“黄金定律”（你想要别人如何对待你，就应当如何对待别人）在许多文化和宗教中都有所体现，其目的是通过合作和阻止无用的冲突来促进人类社会以及我们基因的和谐与长治久安。
- 许多伦理规则都要求普通人拥有同情和怜悯等社会化的情绪。这些情绪演化出了合作现象，并通过奖赏与惩罚来影响我们的行为。如果我们做了一些卑鄙的事情，事后感到难过，这便是大脑的化学反应进行的直接情绪惩罚。然而，如果我们违背了伦理原则，社会可能会以更间接的方式来惩罚我们，比如正式的法律制裁或者非正式的同伴羞辱。
- 我认为，大多数人的观点都可以归入以下4个原则：
◦ 功利主义：积极的意识体验应当被最大化，而痛苦应当被最小化； ◦ 多样化：多样化的积极体验比重复单一的积极体验更好，即使后者被认为是所有可能性中最积极的体验； ◦ 自主性：有意识的实体／社会应当拥有追寻自己目标的自由，除非与某些重要原则相违背； ◦ 遗产：符合当今大多数人认为幸福的情景，不符合当今几乎所有人认为糟糕的情景。 - 自主性原则包含了思想、言论和行为的自由，不受奴役和折磨的自由，生命权，人身自由权，安全和教育的权利，以及结婚、工作和拥有财产的权利。
- 艾萨克·阿西莫夫提出的著名的“机器人三定律”：
◦ 第一定律：机器人不得伤害人类个体，或者目睹人类个体将遭受危险而袖手不管； ◦ 第二定律：机器人必须服从人给予它的命令，当该命令与第一定律冲突时例外； ◦ 第三定律：机器人在不违反第一、第二定律的情况下，要尽可能保护自己。 - 每个设计机器的工程师都应该问问，机器在使用过程中，有哪些事情是可以做但不应该做的，然后考虑一下如何在实践中避免用户实施这种行为，不管是出于恶意还是愚蠢。
终极目标
- ◦ 物质似乎一心一意地聚焦在将“耗散”最大化上； ◦ 原始生命似乎试图将它的“复制”最大化； ◦ 人类追求的目标不是复制，而是一些与愉悦、好奇、怜悯等感觉相关的目标。人类进化出这些感觉的目的是促进复制； ◦ 人类建造机器来帮助他们追求自己的目标。
- 人类几千年来一直在减少暴力和增进合作，而且世界上许多地方已经越来越多地接受多样性、自主性和民主这些价值观。
- 合作、多样性和自主性等伦理原则也可以被视为子目标，因为它们帮助社会运转得更加高效，从而有助于人们的生息繁衍，以及实现他们可能拥有的更基本的目标。有人甚至否认我们称之为“人类价值”的一切，而只把它们视为一种有助于高效合作的协议
- 随着宇宙时间的流逝，日益聪明的智能得以有机会反抗和摆脱“复制”这个平庸的目标，并选择自己的目标。从这个意义上讲，我们人类还没有达到完全的自由，因为我们追寻的许多目标都是被基因“硬连”到我们身上的，但人工智能却可以享受这种不受预定目标限制的终极自由。
- 或许，这种不受进化偏差影响的自由度能使人工智能在某种深层次上比人类更为道德。
- 许多人表现出不道德的行为，例如歧视非人类的动物，都是出于某些进化的原因。
- 友好的人工智能的基石就是：自我迭代的人工智能在它日益聪明的过程中依然保持它的终极目标——对人类友好。
- 我们要如何为超级智能定义“终极目标”，也就是波斯特洛姆所谓的“最终目标”（final goal）呢？我认为，如果我们无法回答这个问题，那就不能相信友好的人工智能最终会实现。
- 我们人类的产生似乎是一个历史的意外，而不是什么定义明确的物理问题的最优解。
- ◦ 目标导向行为起源于物理定律，因为它涉及最优化问题。 ◦ 热力学有一个内置的目标：耗散。耗散就是要提高熵，而熵是对混乱程度的度量。 ◦ 生命是一种有助于耗散（增加整体的混乱程度）的现象。生命能保持或提高自身的复杂度，还能进行复制，与此同时提升了环境的混乱程度，以此加快了耗散的速度。 ◦ 达尔文式的进化将目标导向行为从耗散转化为复制。 ◦ 智能是完成复杂目标的能力。 ◦ 由于人类并不总是拥有足够的资源来找到真正的最优复制策略，所以我们进化出了一些有用的经验法则，来辅助我们做决策，这就是感觉，比如饥饿感、口渴、疼痛、性欲和同情。 ◦ 因此，我们的目标不再是简单的复制；假如我们的感觉与基因赋予我们的目标相冲突，我们会忠于感觉，比如，采取避孕措施。 ◦ 我们正在建造日益聪明的机器来帮助我们实现自己的目标。目前，随着我们建造的机器展现出目标导向行为，我们应该力争让机器的目标与我们的相一致。 ◦ 想让机器的目标与我们的目标相一致，有三个问题亟待解决：让机器学习、接受和保持我们的目标。 ◦ 人工智能可以被设计来拥有任何目标，但是，几乎所有足够野心的目标都会带来一些共同的子目标，比如自我保护、获取资源、想要更理解世界的好奇心。前两个子目标可能会让超级智能为人类带来麻烦，最后那个可能会阻止人工智能保持我们赋予它的目标。 ◦ 虽然人类有一些广为接受的伦理原则，但我们不知道如何将它们赋予其他实体，比如非人类的动物，以及未来的人工智能。 ◦ 我们不清楚如何才能赋予超级智能一个既可定义又不会导致人类灭绝的终极目标，因此，我们必须尽快开始讨论这些棘手的哲学问题！
谁关心这个问题
- 虽然思想家们已经在神秘的意识问题上思考了数千年，但人工智能的兴起却突然增加了这个问题的紧迫性，特别是因为人们想要预测哪些智能体可能拥有主观体验。
- 智能机器是否应该获得某种形式的权利，关键取决于它们是否拥有意识，是否会感到痛苦或快乐。
什么是意识
- 意识＝主观体验（subjective experience）
- 如果你感觉“这就是现在的我”，那么你就拥有意识。
- 任何体验到痛苦的系统都是有意识的，即使它不能移动。
问题出在哪里
- 物理学的角度来看，有意识的人只不过是经过了重新排列的食物粒子而已。那为什么同样的粒子，有些排列就有意识，而有些排列却没有意识呢？
- 这个物理学观点导致了三个彼此独立的意识难题，如图8-1所示。第一个难题是，到底是什么性质让不同的粒子排列产生不同的结果？具体来说，是哪些物理特性将有意识系统和无意识系统区分开的？
- 第二个难题是，物理性质如何决定体验是什么样的？具体来说，是什么决定了感质？感质是意识的基本构成要素，比如，玫瑰的绯红、铜钹的声响、牛排的香味、橘子的口感或针刺的微痛。
- 第三个难题是，为什么会出现有意识的东西？换句话说，为什么一团物质会产生意识，对这个问题有没有什么尚未发现的深层次的解释？或者说，世界就是这样运行的，这是一种无法解释的蛮横事实？
意识超出科学范畴了吗
- “如果一个理论不可证伪，那它就不科学。”换言之，科学就是要用观察来检验理论。如果一个理论连在原则上都无法被检验，那它在逻辑上就不可能被证伪，那么，根据波普尔的定义，它就是不科学的。
- 只要一个理论能预测你大脑中的哪些过程是有意识的，那它就是一个预测物理系统是否有意识（这是“相当难的问题”）的科学理论。
意识发生在何处
- 饥饿和恶心这类感觉都产生于你的大脑中。
意识何时发生
- 你的意识是活在过去的。科赫估计它大约滞后了1/4秒。有趣的是，有时候你对事物的反应往往比你的意识要快，这证明负责最快反应的信息处理过程一定是无意识的。
- 分析图像所需的时间比分析声音更久，因为它更复杂。这就是为什么奥运会跑步项目的起跑命令是用发令枪，而不是用视觉提示。
意识理论
- “拥有意识的运动粒子的模式”
- 我认为这是因为意识拥有一些高于和超越粒子性质的性质。在物理学里，我们称这种现象为“涌现”（emergent）
- 进入深度睡眠会熄灭意识之光，因为粒子发生了重新排列。
- 当你把大量的粒子揉在一起制造出某些东西（比如水和大脑）时，就会涌现出一些拥有可观测性质的新现象。
- 意识是信息以某些复杂的方式进行处理时产生的感觉
- 一个系统要产生意识，就必须整合成一个统一的整体，因为假如它由两个独立的部分组成，那感觉起来就会是两个单独的意识，而不是一个统一的意识。
- 假如意识就是信息进行某些处理时的感觉，那它一定是独立于物质层面的；物质自身的结构并不重要，重要的是信息处理过程的结构。换句话说，意识具备双重“物质层面的独立性”。
- 如果信息处理本身也服从某些原则，就会产生一个更高层次的涌现现象，也就是我们称之为“意识”的现象。
- 我还认为，一个系统想要产生意识，还必须与世界的其他部分之间具备相当大的独立性，否则它在主观上不会觉得自己是一个独立的存在。
- 我认为一个系统要产生意识，还必须整合成一个统一的整体
意义
- 虽然我们在这本书中将注意力放在智能的未来上，但实际上，意识的未来更为重要，因为意识才是意义之所在。
呱呱坠地
- 在发现自我的同时，我们是否也不可避免地淘汰了自己？如果是的话，那简直太悲剧了。
警觉的乐观
- 只看到悲观的未来对职业规划来说是很糟糕的！
- 根据博弈论，积极的愿景构成了世界上所有合作的大部分基础，从婚姻到企业并购，再到美国各州组成一个国家的决定。
- 这就是为什么我们需要更多警觉的乐观主义者。这也是为什么我在这本书里一直鼓励你去思考，你想要什么样的未来，而不是你害怕什么样的未来。这样，我们才能找到共同的目标，然后一起努力去实现它。
- 比起彼此合作，争先恐后的通用人工智能开发团队们更有动力在安全性上偷工减料。
- 未来没有什么是必然发生、不可避免的。并且，我知道，要做出改变，比我想象的容易得多。我们的未来并没有镌刻在石头上，只等着发生——它要由我们来创造。让我们一起创造一个振奋人心的未来吧！
来自微信读书
