智人之上

 《智人之上 ——从石器时代到 AI 时代的信息网络简史》

 [以]尤瓦尔·赫拉利

 240个笔记

 点评

• 2025/01/31 认为好看
  
  

 序言

• 有力量并不等于有智慧
• 人类现在还忙着创造像人工智能(AI)这样的新技术，但这些技术有可能逃脱人类的掌控，反过来奴役或消灭人类。
• 永远别去召唤自己控制不了的力量。
• 创造出强大的事物，却带来意想不到的后果，这个现象并非始于蒸汽机或人工智能的发明，而是始于宗教。
• 虽然人类能建立大规模合作网络，以此获取巨大的力量，但这些网络的建构方式注定了人类对这些力量的运用常常并不明智。因此，人类遇到的问题归根结底是个网络问题。
• 智人正是靠着发明与传播各种虚构故事、幻想和大量的错觉——内容可能关于神祇、魔法扫帚、人工智能和许多其他事物——来打造并维持诸多的大规模网络。虽然个人通常了解的都是关于自己与世界的真理与真相，但大规模网络却会使用各种虚构故事与幻想将成员联结在一起并创造秩序。
• 乔治·奥威尔的那句名言：“无知就是力量。”
• 天真的信息观认为，通过收集与处理比个人多得多的信息，大规模网络能更好地了解医学、物理学、经济学等诸多领域，于是这样的网络不但力量强大，还无比明智。
• 随着这些信息以惊人的速度传播，人类却比过去任何时候都更接近自我毁灭。
• 专家真正要警告的是另外两种情况。第一，人工智能的力量可能会大幅加剧人类既有的冲突，让人类形成内斗。
• 第二，硅幕所分隔的或许不是彼此敌对的人类，而是一边为所有人类，另一边为我们新的人工智能霸主。不论在哪里生活，我们都可能被一张看不透的算法大网束缚，控制着我们的生活，重塑着我们的政治与文化，甚至是去改造我们的身体与思想，但人类却再也无法理解这些控制着我们的力量，更别说加以阻止了。
• 人工智能是历史上第一个能够自行做决策、创造新想法的技术。人类过去的所有发明，都只是在为人类赋予更强大的力量：过去的新工具无论多么强大，使用的决定权都握在人类手中。
• 人工智能不是工具，而是能够做出决策的行为者。
• 人工智能不但可能改变人类这个物种的历史进程，还可能改变所有生命形式的演化历程。
• 不论是动物、国家还是市场，都可以算是信息的网络，都会从环境中吸收资料数据，据以做出决策，进而又释放出更多资料数据。
• 虽然我们都希望随着信息技术的改进而为人类带来健康、快乐和力量，但事实上，信息技术得到提升之后，反而可能让人类失去力量，同时损害人类的身心健康。
• 更极端的民粹主义会认为世上根本没有什么客观真理，每个人都有自己的真理，并想以此来压倒对手。这种世界观认为，只有权力才是唯一的现实。所有的社会互动都是权力斗争，人类真正感兴趣的也唯有权力。
• 比如在20世纪末，就有米歇尔·福柯和爱德华·萨义德这样的左翼知识分子认为，医院与大学这样的科学机构不是为了追求什么永恒客观的真理，而是利用权力来决定什么是真理，为资本主义与殖民主义精英服务。
• 1848年的《共产党宣言》就指出：“至今所有一切社会的历史都是阶级斗争的历史。自由民和奴隶，贵族和平民，地主和农奴，行会师傅和帮工，简短些说，压迫者和被压迫者，始终处于相互对抗的地位，进行不断的，有时隐蔽，有时公开的斗争。”
• 民粹主义反复出现的悖论之一，就是一开始的时候总在警告大家，所有人类精英都是为了争权夺利，十分危险，但常常到头来又要求人民把所有权力都交给某位充满野心的人。
• 事实是，信息既不能说肯定能带来真理与真相，但它也不只是一种武器。在这两种极端之间其实还有足够的空间，能让我们以更细致也更充满希望的观点来看待人类的信息网络，看待人类明智地运用权力的可能。本书就是希望能探索这样的中间立场。
• 分布式信息网络和集中式信息网络。民主制度会让信息沿着许多独立渠道自由流动，而极权制度则是将所有信息集中在一个核心枢纽，两者各有优劣。

 第一部分 人类网络

• 智人之所以成功， 秘诀在于懂得运用信息，并把许多人联结起来。 但很遗憾， 人类在拥有这种能力的同时， 常常也伴随着相信谎言、错误与幻想。

 第一章 信息是什么？

• 真相其实并不直接等于现实，因为一则叙事无论多么贴近真相，都无法真正呈现出现实的所有方面。
• 每个人都会对世界有不同的观点，每种观点都是由每个人不同的个性与生活经验集合而成的。
• 就算能对现实做出最贴近真实的描述，也永远无法完整地呈现现实。每次想要呈现现实，都会有一些方面遭到忽略或扭曲。
• 各种错误、谎言、幻想与虚构故事其实也是信息。
• 真正定义信息的是“联结”，而不是“渲染”或“象征”：只要能将各个不同的点联结成网络，就是信息。信息不一定是要告诉我们一些什么，而是要把事物组织起来
• 信息在联结事物方面的作用绝不限于人类的历史，同样可以认为，这也是信息在生物学方面的主要作用。
• 所谓信息，就是能够将不同的点联结成网络，从而创造出新的现实。
• 流行病当然是由病原体引起的
• 信息有时候会呈现现实，有时候并非呈现现实。但不论如何，信息都会联结形成网络，而这才是信息真正的基本定义特征。
• 智人之所以能征服世界，原因并不是像天真的信息观所认为的那样，能将信息转化为准确的地图来呈现现实。相反，智人之所以能成功，秘诀在于懂得运用信息，并把许多人联结起来。

 第二章 故事：无限的联结

• 我们智人能够统治世界，并不是因为我们有多聪明，而是因为唯有人类能够进行灵活的大规模合作。
• 游群之间之所以能够合作，是因为大脑结构与语言能力在演化改变之后，智人显然具备了讲述并且相信各种虚构故事的能力，而且为之深深感动。
• 但看看这些例子，我们会发现几乎没有追随者能真的和那些领袖建立起个人的联结，他们真正联结的是一套经过精心编织的关于那位领袖的故事，而这也是那些追随者真实的信念所在。
• “品牌”其实就是一种特定类型的故事。要给产品打造一个品牌，就意味着讲述一个关于该产品的故事，故事和产品真正的特性可能根本没什么关系，但就是能让消费者把故事和产品联系起来。
• 公众以为自己和这个人之间有某种联结，但事实上联结的只是关于那个人的故事，而故事与真人之间常常有着巨大的鸿沟。
• 历史上大多数真正重要的故事都是情感投射、一心向往的结果。
• 故事在陌生人之间建立信任的方式之一，就是让人类去想象彼此是自己的家人。耶稣的故事就是给耶稣赋予了一个全人类的父亲形象，鼓励数亿的基督徒视彼此为兄弟姐妹，并创造了一个共同的家庭记忆。
• 正如许多现代研究所示，反复讲述一套虚假的记忆，最后真的能让人信以为真，以为这是真实的回忆。
• 在人类开始讲故事之前，现实只有两个层次：客观现实与主观现实。
• 但有些故事能够创造出第三个层次的现实：存在于主体间的现实（以下简称“主体间的现实”）。主观现实（例如痛苦）只存在于个人的心智之中，但主体间的现实（例如法律、神祇、国家、企业和货币）则存在于许多心智形成的联结里。
• 这些主体间的现实，并不是指任何已然存在的事物，而是在人类交换信息的过程中创造出来的。
• 法律、神祇、货币等事物之所以能被创造出来而形成现实，正是因为很多人彼此讲述关于法律、神祇和货币的故事；如果大家不再谈论这些相关的故事，这些现实会就此消失。主体间的现实，就存在于信息的交换中。
• 像法律、神祇、货币这样存在于主体间的现实，在特定的信息网络内拥有极其强大的力量，但在网络外部则毫无意义。
• 部落网络就像一份保单，能够把风险分散到更多人身上，而使每个人的风险降低。
• 从唯物主义视角来看历史的时候，常常会在一定程度上忽略或否定故事的力量。比如唯物主义者常常认为故事掩盖了背后的权力关系与物质利益，人们总是被客观的物质利益所驱动，而讲述故事的目的正是要掩盖这些利益，让对手无法看清。
• 然而，这种唯物主义的观点有些失之偏颇。
• 然而，黑猩猩就是没有办法长期维持大规模的群体，因为它们没办法创造故事来彼此联结，并定义其身份认同与利益。所以，不同于唯物主义者的说法，历史上的大规模身份认同与利益一向都是主体间的现实，而非客观现实。
• 历史往往并不是权力关系塑造的，而是一些不幸的错误——人们相信了某些让人向往但其实有害的故事——导致的。
• 在历史上，权力其实只有部分来自对真相的了解，而另外一部分则来自在一大批人中建立秩序的能力。
• 想制造原子弹，你必须找到让几百万人合作的办法。
• 虽然真理与秩序都能带来权力，但大多数时候，掌握大权的会是那些知道如何创造意识形态来维持秩序的人
• 那些顶层人士知道而核物理学家不见得知道的一点是，想在大量人群中建立秩序，最有效的方式不是去讲述宇宙的真相。
• 真正能将人类网络维系在一起的往往是虚构的故事，尤其是关于神祇、货币和国家这些存在于主体间的现实的故事。
• 说到让人们团结起来，相较于真相，虚构的故事在两个方面更有优势。第一，虚构的故事要多简单就可以有多简单，但真相往往很复杂，因为它要呈现现实，而现实是复杂的。
• 第二，真相常常令人痛苦不安，如果我们想让它别那么令人痛苦，变得比较讨人喜欢，真相也就不再是真相了。相较之下，虚构的故事可塑性更高。每个国家总有些黑历史，是国民不想承认也不想记住的。
• 如果要追求科学进步，就必须毫不妥协，坚持真理和真相，而且这也是一种让人钦佩的精神实践，但讲到政治，坚持真理与真相绝非制胜之道。
• 仅讲一个虚构的故事，并不是说谎，所谓的说谎，是你不但讲述了虚构的故事，还想假装这是在呈现现实。
• 我们不应该把“秩序”与公平或正义混为一谈。
• 人类的政治制度都是以虚构故事为基础的，只是有些人承认这一点，有些人不承认。
• 信息并不像天真的信息观以为的那样必然带来真相，而且发现真相也不是人类信息网络唯一的目的。
• 为了追求生存与繁荣，每个人类信息网络都需要同时做到两件事，即除了要发现真相，还得创造秩序。
• 网络也学会了如何运用信息才能在更大的人群中维持更强大的社会秩序：除了运用真实的陈述，也要运用虚构、幻想、宣传，以及偶尔的彻彻底底的谎言。
• 当某个信息虽然揭示了世界的某个重要事实，但同时也拆穿了维系社会的高贵谎言时，情况会怎样？在这种时候，社会为了维持秩序，有可能会限制对真相的探求。
• 回顾人类信息网络的历史会发现，这并不是一场进步的游行，而是像在走钢丝，试图在真相与秩序之间取得平衡。在
• 仅仅让信息技术变得更快、更有效率，不一定会让世界变得更美好，相反，这只会让我们更迫切地需要在真相与秩序之间达到平衡。

 第三章 文件：纸老虎也会咬人

• 故事就是一种在“沟通各种事实、概念、情感和只可意会的信息”时效率极高的载体。
• 文件让人有新的方法创造主体间的现实。
• 官僚制度也常常为了秩序而牺牲真理。
• 与细菌不同，病毒不是单细胞生物，它们既不是细胞，也没有自己的细胞机制。病毒不会进食，不会代谢，也不会自行繁殖。病毒就是一些小小的遗传密码包，能够攻进细胞，劫持细胞的运作机制，并指挥细胞生产出更多遗传密码副本。
• 官僚制度在给你贴上一个标签的时候，虽然完全可能只是出于习惯或传统，但仍然会决定你的命运。这里的官僚制度可能是个活生生的动物专家、有血有肉的人类专家，也可能就是非生物的人工智能。
• 所有大型社会，都将神话故事与官僚制度作为两大支柱，只不过，神话故事常常让人欢喜赞叹，而官僚制度则让人摇头怀疑。虽然官僚制度提供了许多服务，但即使是有益的官僚制度，也常常无法得到大众的信赖。
• 第二部分则会谈到人工智能怎样扮演官僚和神话创作者的角色。比起那些有血有肉的官僚，人工智能系统更懂得怎样寻找和处理资料数据，也比大多数人更懂得怎样编故事。

 第四章 错误：绝对正确是一种幻想

• 圣奥古斯丁有句名言：“人都会犯错，但坚持错误则是一种邪恶。”
• 就个人生活而言，宗教有许多不同的功能，比如提供精神慰藉，解释生命的奥秘，等等。但就历史而言，宗教最重要的功能是为社会秩序提供超人类的合法性。
• 每个宗教的核心都离不开一个幻想，即与一个超人类的、绝对可靠的智能体相联结。
• 使用书这项信息技术，就能确保不同的人在不同的时间、地点访问同一个数据库。
• 博学的犹太贤者（被称为拉比）
• 在2000年前，犹太人已经预想到了区块链的概念，开始为这份神圣法典制作大量的副本
• 基督徒讲到《圣经》的时候，讲的是《旧约》与《新约》。相较之下，犹太教从未接受《新约》，他们讲到《圣经》的时候，心里想的只有《旧约》，并有《密释纳》与《塔木德》作为补充。
• 犹太教经典需要有人解经，这让拉比有了权力；基督教经典同样需要有人解经，这也让教会有了权力。
• 一般认为，正是因为印刷革命让民众比过去更自由地交流信息，才最终引发了科学革命。
• 猎巫行动揭示出，一旦创造了一个信息领域，就可能带出怎样的阴暗面。
• 人类很容易会接受一些其实不存在的记忆。
• 如果让思想市场完全自由，就可能鼓励传播各种愤怒与煽情，而牺牲掉真理与真相。
• 能够真正推动科学革命发展的既不是印刷术，也不是完全自由的信息市场，而是能够解决“人会犯错”这个问题的创新方法
• 从印刷术与猎巫的历史可以看出，自由的信息市场并不一定能让人发现并改正自己的错误，因为在这样的信息市场里，暴行的优先级可能比真理与真相更高。
• 科学革命要想加快步伐，科学家就必须相信远方同行发布的信息。从几种机制中都能看到，众人虽然素未谋面，却愿意相信彼此的研究成果。
• 科学机构之所以能取得权威，是因为它们有强大的自我修正机制，能够揭露并修正自身的错误。科学革命真正的引擎正是这些自我修正机制，而不是印刷技术。
• 科学革命从一开始就不相信有绝对正确这种事，其打造的信息网络也认为错误本就不可避免。
• 科学鼓励怀疑与创新，而不鼓励遵循与顺从。
• 机构如果没有自我修正机制，也会面临死亡。自我修正机制的第一步，就是认识到人类会犯错、会堕落。在这种情况下，机构该做的不是对人类绝望，想尽办法绕过人类，而是积极找出错误并加以修正。
• 因为愿意承认在机构制度上的重大错误，科学的发展速度随之加快。只要现有证据证明合理，往往只要几个世代就能够将原本的主流理论替换成新的理论。
• 科学机构的聘任与晋升，遵守的原则是“不发表就淘汰”，而想在优秀的期刊上发表论文，你必须揭露现有理论的某种错误，或是发现一些前辈不知道的内容。
• 为了秩序而牺牲真理与真相需要付出代价；反之，为了真理与真相而牺牲秩序，代价同样不低。

 第五章 抉择：民主与极权制度简史

• 讲到民主与独裁，人们常常会把它们视为两种相对的政治与道德体系。但本章希望能改变这种讨论方式，通过梳理历史，将民主与独裁视为两种相对的信息网络类型。
• 独裁信息网络的第一个特征在于高度集中。
• 独裁信息网络的第二个特征在于人们会认定中央是绝对正确的，所以并不欢迎对中央决策的任何挑战。
• 独裁政体是一种集中式的信息网络，而且缺乏强大的自我修正机制。相较之下，民主政体则是一个分布式的信息网络，并且拥有强大的自我修正机制。
• 民主政体的做法是中央决策能免就免；
• 只要政府对人民的生活有任何干预，就需要进行解释。如果没有让人信服的理由，民主政府就应该让人民自行决定。
• 套用美国前总统詹姆斯·麦迪逊的一句话，既然人会犯错，就需要有政府，而既然政府也会犯错，就需要一定的机制能够揭露并修正其错误，比如定期举行选举，保护新闻自由，以及让政府的行政、立法与司法三权分立等。
• 把民主定义为拥有强大自我修正机制的分布式信息网络，就会与民主等于选举这种常见的误解形成鲜明对比。选举是整套民主工具包的核心成分，但并非民主的全部。
• 民主绝对不是“多数独裁”。
• 所谓民主制度，并不是只要占了多数，就能去消灭那些不受欢迎的少数族群，而是指一种对于中央权力有明确限制的制度。
• 民主并不是说代表多数就能为所欲为，而是说所有人都应该自由平等。民主这个制度，是要保障所有人都能拥有某些自由，就算其他人占了多数也无法剥夺。
• 在民主政体中仍然有两类权利受到保护，并不是多数人说了算。第一类就是人权。
• 第二类重要的权利则是公民权。公民权是民主游戏的基本规则，保障着民主的自我修正机制。
• 选举所确定的，只是多数人想要什么，而不是真相是什么，而且人们常常就是不愿意面对事实。
• 在发达社会，政府是最强大的机构，因此也最想扭曲或隐藏令人不悦的事实。要让政府来监督对真相的探索，就像让狐狸来看守鸡舍。
• “populism”（民粹主义）一词源自拉丁文populus（意思是“人民”）。在民主政体，人们认为人民是政治权威的唯一合法来源，也只有民意代表有权宣战、立法和增税。
• 民粹主义者最奇妙的一项主张是只有他们才能真正代表人民。
• 这种民粹主义信条的一个基本要素，就是没有把人民看作一群拥有不同观点与利益、活生生的人，而认为人民就是一个神秘而统一的实体，只有单一的意志，也就是“人民的意志”。
• 要判断某人是不是民粹主义者，就看他是否声称只有自己能够代表人民，并声称那些不同意他的观点的人（国家官僚制度、少数群体甚至多数选民）肯定都是为虚假意识所迷惑，或者根本不是真正的人民。
• 在民主制度看来，人民从来就不是一个统一的实体，也就不会有什么单一的意志。
• 虽然民粹主义可能口口声声说自己坚守“人民的权力”这项民主原则，但实际上却让民主失去意义，并且试图追求独裁统治。
• 自称是人民代表的民粹主义者不只是要垄断政治权威，更是要垄断所有类型的权威，并且控制媒体、法院与大学等机构制度。通过把“人民的权力”这项民主原则发挥到极致，民粹主义摇身一变，成了极权主义。
• 虽然“民主”的意思是政治领域的权力来自人民，但并不代表其他领域的权力就不能有其他来源。比如前文谈过，在民主制度当中，独立的媒体、法院与大学都是重要的自我修正机制，能够保护真理与真相，就算是多数人的意愿也无法颠倒是非。
• 这种观点把人性看得极为卑劣，但还是有两点让它极具吸引力。第一，它把所有互动都简化成权力斗争，于是现实变得似乎不再那么复杂，所有战争、经济危机和自然灾害等事件也变得好懂多了。不管发生任何事（就算是一场全球疫情），都是因为精英分子在追求权力。第二，民粹主义之所以有吸引力，是因为它有时候确实是对的。所有人类机构制度的确都可能犯错，也都会有一定程度的贪腐。确实有些法官会受贿，确实有些记者会故意误导大众，也确实有些学术学科存在偏见与裙带关系。
• 很多人之所以拥抱民粹主义，是因为觉得它诚实描述了人类的现实，但强人拥抱民粹主义，却有不同的目的。对强人而言，民粹主义能够提供一个意识形态基础，让他们既能成为独裁者，还能假装拥护民主。
• 说到底，民粹主义还得绕回强人代表所有人民这种神话般虚无缥缈的概念。要是人民已经极不信任选举委员会、法院和报纸这些官僚机构，这时还想维持秩序，唯一能做的就是加强对神话故事的依赖了。
• 能够参与对话的人数比例越高，这个网络也就越民主。
• 如果说民主的死亡，一种情况是人民没有了言论自由，而另一种情况就是人民已经失去了彼此倾听的意愿或能力。
• 在现代，独裁者的政治权力常常来自垄断经济资产。
• 在公元3世纪以后，虽然还是有几千个小规模社会继续采用民主制度，但分布式的民主信息网络似乎就是无法与大规模的社会兼容。
• 在20世纪之前，所有的大规模民主政体都只有一小群相对富裕的人能够享有有限的政治权利。民主从来不是一个全有或全无的选择题，而是一道连续的光谱
• 极权政权的基础，就是控制一切信息流动，并对所有独立信息渠道保持怀疑。
• 苏联官员到底怎样判断该把谁算作富农？在某些村庄，当地干部会努力通过客观标准（例如拥有多少财产）判断谁是富农，结果受到污名化并遭到驱逐的人常常是那些最勤奋、最有效率的农民。而在另外一些村庄，当地干部则会利用这个机会打击自己的对手。还有些村庄，干脆用抽签来决定谁是富农。也有些村庄会举行社区会议，投票表决，结果常常就是那些平常不
• 与人来往的农民、寡妇、老人与其他“可牺牲的人”被评定为富农。
• 现代新近的信息技术除了催生大规模的民主，也催生了大规模的极权。
• 集中式极权网络的最大优势在于秩序一目了然，能够迅速做出决定，并且不带情绪地坚定执行。特别是如果遇到战争或疫情这样的紧急情况，集中式网络能够比分布式网络动作更快、走得更远。
• 由于极权信息网络的主要目的是创造秩序，而不是找出真相，所以如果出现令人震惊的信息，可能对社会秩序造成破坏，极权政权往往就会把信息压下来。
• 美国人从小相信的是问题会带来答案，但苏联人从小相信的是问题会带来麻烦。
• 所谓极权政权，正是选择了运用现代信息科技让信息集中向中央流动，并且扼杀真相以维持秩序，结果就是必须应对僵化、难以变通的风险。如果越来越多的信息流向单一地点，究竟是能实现有效控制，还是会造成动脉阻塞，引发心脏病？至于民主政权，则是选择运用现代资讯科技让信息分流到更多机构和个人，鼓励自由追求真相，结果就是必须应对分崩离析的风险。假设太阳系出现了越来越多的行星，它们旋转得越来越快，太阳这个中心是继续维持，还是四分五裂，陷入无政府状态？
• 随着人类迈向21世纪的第二个25年，一项重大问题就是民主政权与极权政权如何面对目前信息革命带来的威胁与契机。这些新的科学技术，究竟会让某种政权胜出，还是会让世界再次分裂？
• 到21世纪，政治上的主要分歧可能并不是民主政权与极权政权之间的分歧，而是人类与非人类个体之间的分歧。可能出现一道新的硅幕，居其两侧的可能不是民主政权与极权政权，而是一侧为所有人类，另一侧为我们无法理解的算法霸主。

 第六章 新成员：与众不同的计算机

• 早在1948年，艾伦·图灵就已经在探索是否能打造他所谓的“智能机器”；[插图]到1950年，他推测计算机最终应该能像人类一样聪明，甚至能够伪装成人类。
• 人类管理者给脸书算法定了一个首要目标：提升用户参与度。随后，算法用几百万用户做实验，发现最能提升参与度的办法就是让人愤慨。比起慈悲的布道，充满仇恨的阴谋论更能提升人类的参与度。所以，为了追求用户参与度，算法就做出了一个致命决定：传播愤怒。[插图]
• 至于脸书的工程师与高管也该承担部分责任，他们写了算法的代码，赋予算法太多的权力，而没能对它们好好地管控。很重要的一点是，算法本身也逃不了干系。通过反复实验，算法学到了愤怒会提升参与度，而且在没有上级明确指示的情况下，算法自己决定要助长愤怒。这正是人工智能的典型特征——虽然它们是机器，但它们拥有自己学习与行动的能力。
• 人工智能算法能够自己学会没有写进程序里的东西，也能够自己决定人类高管并未预见的事情。这正是人工智能革命的本质：无数能力高强的人工智能行为者正如洪水席卷而来，淹没全世界。
• 21世纪10年代末发生在缅甸的种种事件显示，非人类智能做出的决策已经能够塑造重大的历史事件。人类正面临着对人类未来失去控制的危险。目前正在出现一种全新的信息网络，其背后由一套高深莫测的智能决策和目标控制。人类目前在这个信息网络里仍然扮演着核心角色，但很有可能正在被边缘化，到最后整套网络甚至可能不需要人类就能正常运作。
• 我们常常把智能与意识混为一谈，于是让很多人觉得某个实体要是没有意识，就不可能拥有智能。然而，智能与意识其实是两回事。智能是实现目标的能力，例如把用户在社交媒体平台上的参与度最大化。意识则是体验各种主观感受（比如痛苦、快乐、爱与恨）的能力。在人类或其他哺乳动物中，智能与意识常常携手同行。
• 细菌与植物明显不具备任何意识，但它们能表现出智能。它们会从环境中收集信息，做出复杂的选择，采取巧妙的策略来获取食物、繁殖、与其他生物合作，以及躲避掠食者与寄生虫。
• 虽然计算机没有意识，无法感受到痛苦、爱或恐惧，但还是能做出决策，成功地将用户参与度最大化，并可能影响重大的历史事件。
• 由于我们连碳基生命形式是如何产生意识的都还不了解，因此实在无法预测非生物实体究竟是否会产生意识。有可能意识这件事从头到尾就与有机生化没什么本质上的联系，那么或许不久之后就会出现有意识的计算机。也有可能有几条不同的途径都能发展出超智能，其中只有一部分涉及意识的觉醒。就像飞机不用长出羽毛，就已经能飞得比鸟类更快；计算机也有可能无须发展出意识，就比人类更懂得如何解决问题。
• 计算机可以说是天生的官僚，从一开始就懂得如何自动起草法条，监控违法行为，找出法律漏洞，而且效率远超人类。
• 在21世纪10年代，大家在社交媒体这个战场争夺的是人类的注意力，但到了20年代，争夺的可能会变成亲密关系。
• 即使没有创造“虚假的亲密关系”，计算机在掌握语言之后也会对人类的观点和世界观产生重大影响：把这种计算机顾问给的建议，当成一站式的神谕。
• 人类的生活就像被包在一个文化茧房里，对现实的体验需要透过自身文化的透镜。
• 直到不久之前，我们身处的这些文化茧房还都是由其他人编造的；但展望未来，计算机设计的成分将会越来越高。
• 这些创新反过来又会影响下一代计算机，于是它们会越来越偏离人类原始的模型，特别是人类的想象会受到演化与生化的限制，但计算机则能够轻松摆脱这些限制。几千年来，人类一直是活在其他人的梦里，但在接下来的几十年里，我们可能会发现自己活在某个高深莫测的智能机器所编织的梦中
• 如果真要操纵人类，其实并没有必要真的把人脑与计算机连接起来。几千年来，先知、诗人与政治人物一直都在通过语言来操纵与重塑社会，而计算机现在也正在学习如何做到这一点。计算机并不需要派出杀手机器人来射杀人类，只要操纵人类扣动扳机就行。
• 目前仅各个数据中心就占了全球能源使用量的1%～1.5%
• 人工智能演化的目标并不是人类水准的智能，而是另一种完全不同类型的智能。
• 在于信息并不等于真理与真相，而信息革命也并不会揭露事实真相。信息革命能做的是创造出新的政治结构、经济模式与文化规范。由于当前的信息革命的重要性远胜过往，所以它很可能会以前所未有的规模创造出前所未有的现实。
• “目前对链接性的定义是基于在一国的实体存在，这有必要改变，我们应引入数字存在的概念。”[插图]也就是说，即使谷歌与字节跳动在乌拉圭并没有实体存在，但基于乌拉圭人会使用其线上服务这一事实，也必须在乌拉圭纳税。壳牌与英国石油公司只要在某国开采石油，就会向该国纳税；同理，科技企业也该向它们采集信息数据的国家纳税。
• 这种以信息换信息的交易已经无所不在。目前，每天都有数十亿人与科技巨头进行大量交易，但因为几乎没有任何金钱流动，也就无法从银行账户中看出端倪。我们从科技巨头那里得到信息，而我们付出的代价也是信息。随着越来越多的交易采用以信息换信息的模式，信息经济的成长其实是以牺牲货币经济为代价的，最后可能连货币的概念都会动摇。
• 。国家征税的目的是进行财富再分配，从最富有的个人与企业那里取得部分财富，用来为所有人提供服务。
• 说到对信息征税，至少到目前，各国仍然一筹莫展。如果人类真的从一个以货币交易为主的经济转向以信息交易为主的经济，各国该如何应对？
• 政治需要在真相与秩序之间达成微妙的平衡。随着计算机成为整个信息网络里的重要成员，它们也承担着越来越多的找寻真相、维护秩序的任务。

 第七章 永不停歇：网络永远持续运行

• 创造准则的能力，以及做出判断的能力，都必然与犯错的能力密不可分。就算算法没有犯下任何错误，光是拥有在海量数据里找出规律和模式的超人类能力，就可能极大增强许多恶意行为者的力量，包括帮助独裁者识别异见人士，或是协助诈骗犯找出容易上当的“肥羊”。
• 这些官僚制度会越来越常伴我们左右，不断观察和分析我们的一举一动。就像鱼生活在水里，人类也开始活在数字官僚制度之中，不断吸进呼出各种资料数据。我们的所有活动都会留下一道数据痕迹，这些数据会被数字官僚收集分析以进行模式识别。
• 计算机网络能掌握的绝对不再只是我们大致的政治立场，而是能够准确掌握是什么让每个人感到愤怒、恐惧或欢愉。然后，计算机网络将能预测并操纵我们的感受，让我们心甘情愿地接受它想推销的东西——可能是某种产品，可能是某位政客，也可能是某场战争。
• 在最极端的社会信用体系里，每个人都会得到一个整体声誉分数，把他们所做的一切都纳入考量，也将决定他们能做的一切。

 第八章 可能出错：谬误百出的网络

• ，信息常常被用来创造秩序而非发现真相。
• 在量子力学中，光是观察亚原子粒子，就会让这些粒子的行为发生改变。观察人类的行为也是如此：我们的观察工具越强大，可能造成的影响越大。
• 苏联哲学家、讽刺作家亚历山大·季诺维也夫定义的苏维埃原人是一群奴性、悲观、不信任他人的人类，无论多荒谬的指令，他们都会遵守，对自己行为造成的结果也漠不关心。
• 正如苏联秘密警察通过监控、奖励与惩罚创造了顺从的苏维埃原人，脸书与YouTube的算法也通过奖励人性里某些基本本能，同时惩罚人性里某些善良的部分，而创造出互联网喷子
• 只要激起人们的怒火，就能提升参与度，而走中庸节制的路线则行不通。于是，YouTube的算法开始向数百万观众推荐各种让人惊骇、愤慨的阴谋论，同时无视那些较为中庸、理性的内容。
• 让人感到愤慨的内容与错误信息更有可能像病毒那样传播”。这份文件提出一条重要建议：由于平台用户多达数百万人，脸书不可能删除所有有害内容，但至少应该“别再让有害内容得到非自然传播而得到放大”
• 如果人们可以完全自由地表达自己，真理常常会败下阵来。想让天平往有利于真理的方向倾斜，网络就必须发展并维持强大的自我修正机制，让说真话的人得到奖励。
• 各个社交媒体巨头所做的，不是投资推动鼓励说真话的自我修正机制，而是研发出前所未有的错误增强机制，鼓励谎言与虚构。
• 我曾经天真地相信，社交媒体能够联结几十亿人的前额叶皮质，以此提升人类的意识，传播人类共同的观点。但我最后发现，社交媒体公司并没有动力联结人们的前额叶皮质，反而想联结边缘系统——这对人类而言实在太危险了
• 然而肯定能解决的一个问题就是别再为了追求用户参与度而污染整个信息领域。只要科技巨头真的想要设计出更好的算法，通常就能做到。
• 我之所以要用这么长的篇幅谈论社交媒体“用户参与度”的难题，是因为这能显示计算机面临的一个更大的问题：一致性问题（又被称为“对齐问题”）。只要人类给计算机一个特定的目标，比如“让YouTube流量增加到每天10亿小时”，计算机就会竭尽全力，以各种不同方式实现这个目标。但由于计算机的运作与人类大不相同，很可能所用的方法将完全出乎人类的意料，造成未曾预见的危险后果，而与人类最初确立的目标完全不一致。
• 《战争论》提出了一套合乎理性的模型来解释战争，至今仍是主流的军事理论，书中最重要的一句格言就是“战争无非是政治通过另一种手段的继续”[插图]。这意味着战争不是情感的暴发，不是英雄的冒险，不是神祇的惩罚，甚至不是一种军事现象，而是一种政治工具。克劳塞维茨认为，军事行动必须与背后的某种整体政治目标一致，否则就是完全不理性的行为。
• 只是确保军事上的胜利并没有意义，墨西哥政府该自问的关键问题是：这场军事上的胜利究竟能够实现什么政治目标？
• 历史上有许多军事上决定性的胜利最后却导致彻底的政治灾难。
• 根据克劳塞维茨的模型，必须先确立明确的政治目标，才能让军队据此确立一套可以实现这个目标的军事战略。只要有整体的战略作为参考，低级军官也能在战场推导出理性的战术目标。
• 所谓的合乎理性，就是目标与行动要有一致性。如果只追求战术或战略上的胜利，却造成与整体政治目标不一致，就不能说是合乎理性的选择。
• 波斯特洛姆想强调的是，计算机的问题并不在于它们特别邪恶，而在于它们特别强大。而计算机越强大，我们就越要小心为其确立目标，务必让计算机与人类的终极目标完全一致。
• 因为都是非生物实体，所以它们采用的策略很可能是所有人类从未想到的，自然无力预见并阻止。
• “你们愿意人怎样待你们，你们也要怎样待人”
• 英国哲学家边沁（与拿破仑、克劳塞维茨和康德同时代的人）认为，世上唯一合乎理性的终极目标，就是尽量让世界减少痛苦，增加快乐。
• 功利主义碰到的问题是人类并不知道该如何计算痛苦：我们不知道某个事件究竟应有多少个“痛苦值”或“快乐值”，所以在复杂的历史情境中，很难计算某个特定行为到底是增加还是减少了世界整体的痛苦总额。
• 功利主义的危险在于，如果你深信一个未来的乌托邦，就仿佛得到了一份空白授权书，允许你现在制造各种可怕的痛苦。事实上，这正是传统宗教在几千年前就已经玩儿的把戏。对于未来救赎的承诺，很容易成为犯罪借口。
• 套用凯恩斯的一句话，有些所谓务实人士，自认为不受任何宗教影响，但通常就是神话编造者的奴隶。[插图]就连核物理学家，也发现自己得听从某些人的命令。
• 一致性问题本质上就是个神话问题。
• 金钱、神祇这种存在于主体间的现实除了能影响人的思想，也能影响物理现实；同理，存在于计算机间的现实同样能影响存在于计算机之外的现实。
• 人类在几万年间主宰着地球，是因为只有人类有能力创造并维持各种主体间实体（如企业、货币、神祇、国家），再通过这些实体来组织大规模合作。而现在，计算机也可能具备类似的能力。
• 训练人工智能用的数据库，有点儿像是人类的童年。人类在童年的经历、创伤与美好回忆，会陪伴我们走完一生。人工智能也有童年经历。算法甚至会像人类一样，受他人偏见的影响。

 第九章 民主制度：我们还能对话吗？

• 文明的诞生，始于官僚制度与神话故事的结合。
• 自由民主制度的一大优势，就在于拥有强大的自我修正机制，能够避免过度狂热，也保留了发现自身错误、改变行动方针的能力。
• 第一个民主原则是为善。如果计算机网络要收集关于我的信息，必须是用来帮助我，而不是操纵我。
• 能够保护民主、避免极权监控崛起的第二个原则是去中心化。民主社会绝不该允许所有信息集中在一处，不管是政府还是民间企业。
• 民主制度想要存活的话，效率低一点儿并非坏事，反而是一件好事。如果想要保护个人的自由与隐私，最好还是别让警察和上司对我们无所不知。
• 让许多数据库与信息渠道独立存在，也有助于维持强大的自我修正机制。自我修正机制需要不同的机构制度互相制衡。政府、法院、媒体、学界、民间企业，以及非政府组织，都可能犯错、可能贪腐，因此都该由其他机构来制衡监督。
• 第三个民主原则是相互性。如果民主制度打算加强对个人的监控，就必须同时加强对政府与企业的监控。
• 民主需要达到平衡。政府与企业常常会研发各种应用程序与算法，作为自上而下的监控工具。算法也可以轻松变成自下而上的强大工具，提升政府的透明度，强化问责制，揭露企业贿赂与逃税的行径。要是在政府和企业更了解我们的同时，我们也能更了解它们，双方就能保持平衡。
• 相互监督是维持自我修正机制的另一个重要因素。如果公民能更了解政客与企业家都在做些什么，也就更容易追究责任、纠正错误。
• 第四个民主原则，是监控系统必须永远保留让人改变与休息的空间。在人类历史上，压迫的形式分为两种：剥夺改变的能力和剥夺休息的机会。
• 新信息技术对民主造成的威胁，不止监控这一件事。第二个威胁是自动化破坏就业市场稳定，进而破坏民主。
• 而是说人如果想在2050年仍然找得到工作，或许除了培养智力技能，在运动与社交技能上也该投入同样多的精力。
• 从作曲、证明数学定理，再到写出像本书这样的作品。我们对创造力的定义，通常就是能够找出模式，再打破模式。若真如此，计算机既然如此善于辨识模式，在许多领域就很可能会变得比人类更有创造力。
• 如果情绪智能指的是正确辨识情绪并做出最佳反应的能力，那么计算机在情绪智能方面的表现也可能远超人类。人的各种情绪，其实也都是模式。
• 正因为人工智能没有自己的情绪，所以它可能比人类更懂得如何辨识情绪。我们总渴望被理解，但其他人常常太专注于自己的感受，也就无法理解我们的感受。
• 如果要谈各种社会角色与工作自动化的可能性，一个极为关键的问题就是：大家真正想要什么？是只想解决问题，还是想和另一个有意识的实体建立关系？
• 计算机可能在某一天得到感受痛苦与爱的能力。就算计算机做不到这点，人类也可能认定它们已经做到了。因为意识与关系的联结是双向的：在建立关系的时候，我们倾向于找个有意识的实体作为对象；如果已经与某个实体建立了关系，我们就会倾向于认定这个实体具有意识。
• 事实上，我们根本无法确认任何个体（不论是人类、动物或计算机）是否拥有意识。我们判断某个实体具有意识的时候，并不是因为手上真的有什么证据，而是因为和那个实体有情感依附。
• 已经有越来越多的人要求保障一项新的人权：得到解释的权利。2018年生效的欧盟《通用数据保护条例》规定，如果算法做出对某人的决定（例如拒绝提供信贷） ，当事人有权得到相关解释，也能在由人类组成的某个机构或个人面前挑战这项决定。
• 未来的新发明，会不会完全超越我们理解的范围？
• 算法在做出决定时参考了大量的数据，但人类却很难有意识地对大量数据进行反思、做出权衡。我们就是比较喜欢面对单一的数据。如果碰上复杂的问题（不管是贷款、疫情还是战争） ，我们常常希望能找出某个单一的理由，采取特定的行动。这就是所谓的单一归因谬误。
• 在于计算机网络让人更容易参与辩论。在过去，报纸、广播与各大政党这样的组织扮演了守门人的角色，决定公共领域会出现哪些人的声音。社交媒体削弱了这些守门人的权力，于是公共对话变得更为开放，但也更加走向无政府状态。
• 我们特别担心人工智能可能造成无政府状态，是因为人工智能除了会让新的人类群体加入公开辩论，还在历史上第一次让民主必须应对各种来自非人类的杂音。
• 这种处于无政府状态下的信息网络，既不能找出真相，也无法维持秩序，注定撑不了多久。而一旦陷入无政府状态，人民宁可牺牲自由来换取某种确定性，独裁政权或许就会产生。
• 丹尼特建议，政府应该果断立法禁止假冒人类，就像过去禁止伪造货币一样。
• 天真的信息观反对监管，认为全然自由的信息市场会自然而然产生真相与秩序。但这与民主的实际历史完全是两回事。维护民主对话从来都不是件容易的事，过去所有的民主对话场域（从国会与市政厅到报纸与广播）也都需要监管，而在一个非人类智能可能主导对话的时代，监管更应加强。
• 民主制度如果真的崩溃，应该并不是出于技术上的必然，而是因为人类没能管好新技术的发展。
• 一旦公民无法相互交谈，把对方视为彻底的仇敌，而不只是政治上的对手，民主制度就难以继续。

 第十章 极权主义：所有力量归于算法？

• 人工智能让科技力量的天平开始倒向极权制度那一方。就事实来说，人类如果被大量数据淹没，常常就会不知所措、开始犯错，但人工智能在接触大量数据之后，效率却常常越来越高。于是，人工智能似乎也倾向于将信息与决策都集中在一处。
• 国家的权力如果高度集中，夺权的难度就低得多。如果所有权力集于一人之手，只要控制了专制者的亲信，就等于控制了专制者，也就等于控制了整个国家。只要学会操控一个人，就能成功劫持整个体制。
• 所有独裁者都要维持一种很脆弱的平衡：既要把所有信息集中在一处，又要小心让自己成为各种信息通道的唯一交会点。要是信息通道交会在其他地方，那里就会成为真正的权力枢纽。

 第十一章 硅幕：全球帝国还是全球分裂？

• 在诸多讨论人工智能发展的文献中，有两起事件一再被提起。一是发生在2012年9月30日，一个名为AlexNet的卷积神经网络赢得了ImageNet大规模视觉识别挑战赛。
• 至于人工智能发展的第二个顿悟时刻，则是发生在2016年3月中旬，各国总统与将军也终于意识到正在发生的事情。这起事件就是前面所提到的，谷歌的AlphaGo击败了李世石。
• 所谓人类，到底是物质的身体、非物质的心灵，还是一个被困在身体里的心灵呢？
• 如果社会还是从实际肉体的角度来定义身份，就不太可能将人工智能视为人类。但如果社会不那么重视实际肉体，那么就算是没有任何肉体表象的人工智能也可能成为法人，享有各种权利。
• 全球合作与爱国主义并不互斥。因为“爱国”不代表“仇恨外国人” ，而只是“爱自己的同胞” 。有很多时候，为了照顾自己的同胞，我们就是需要和外国人合作。新冠疫情就是一个明显的例子。
• 人类本质上仍然是石器时代的狩猎者，看着世界就是个丛林，相信弱肉强食、力量就是正义。
• 战争的激烈程度并不取决于永不改变的人性，而取决于不断改变的科技、经济与文化因素。
• 人类持续从物质经济走向知识经济，也让战争的潜在获利越来越低。虽然现在发动战事还是能够抢夺稻田与金矿，但在20世纪晚期之后，这些资源已经不再是经济财富的主要来源。比如半导体产业这样的新兴领导产业，是以技术技能与组织上的专业为基础的，无法通过军事征服来取得。
• 另一位官员蔡襄则写道： “天下六分之物，五分养兵，一分给郊庙之奉、国家之费，国何得不穷，民何得不困？ ”[插图]
• 21世纪初期，全球平均医疗保健支出约占政府预算的10%，约为国防预算的1.4倍
• 历史让我们学到的一大重点就是许多我们以为自然而永恒的事物，其实是人为且多变的。
• 现在所有的旧东西都曾经无比新颖。历史唯一不变的，就是改变。

 结语

• 新信息技术的发明总是能促成重大的历史变革，因为信息最重要的作用就是编织新的网络，而不是呈现既有现实。
• 信息并不等于真理，信息的主要任务在于联结，而非呈现现实，而且史上的信息网络往往比较重视秩序而非真理。
• 人类其实既是地球上最聪明的动物，也是地球上最愚蠢的动物。我们聪明到能够制造出核弹与超级智能算法，也愚蠢到一股脑地把这些东西都制造出来，甚至还没搞清楚自己能不能控制它们，说不定还会反受其害。我们到底为什么会这么做？人类的本性里是否有什么逼迫我们走上这条自我毁灭的道路？

 来自微信读书