最著名的方法就是所谓“卷积变换”，也称傅立叶变换。
傅立叶对现代工程技术最大的贡献就在于，他发现可以通过傅立叶变换将对象的时域过程转换成方便计算的频域过程。
什么叫“卷积”呢？简单来说，就是一个黑箱的输出函数等于输入函数和这个黑箱特征函数的卷积。
在已知输入函数和特征函数时，求解输出函数的过程，叫作“求卷积”，实际上就是计算傅立叶积分的过程。
机器在零和博弈空间里完胜人类这一点，并非凸显了机器智能超群，只是进一步验证了人类的局限性和零和博弈目标的有限性。
引言
他担心人工智能可能会展现给我们，我们最看重的人的品质可以通过简单的机械化方法获得，这让人十分沮丧。
如果人类这种无限微妙、复杂且具有情感深度的心灵能被一块小小的芯片所简化，这将会摧毁我对人性的理解。
01 从起源到遭遇寒冬，心智是人工智能一直无法攻克的堡垒
数字计算机本质上是符号操纵器，操纵符号“0”和“1”的各种组合。
1956年，在达特茅斯的研讨会上，不同领域的参会者对采用何种方法来研究人工智能产生了分歧。数学家提倡将数学逻辑和演绎推理作为理性思维的语言；另一些人则支持归纳法，这是一种运用程序从数据中提取统计特征，并使用概率来处理不确定性的方法；其他人则坚信应该从生物学和心理学中汲取灵感来创造类似大脑的程序。
人工智能是一个包括广泛研究方法的领域，其目标是创造具有智能的机器，而深度学习只是实现这一目标的一种方法。
符号人工智能，力图用数学逻辑解决通用问题
一个符号人工智能程序里的知识包括对人类来说通常可以理解的单词或短语（即“符号”），以及可供程序对这些符号进行组合和处理以执行指定任务的规则。
由通用问题求解器所阐释的这类符号人工智能，在人工智能领域发展的最初30年里占据了主导地位，其中以专家系统最为著名。在专家系统中，人类专家为计算机程序设计用于医疗诊断和法律决策等任务的规则。
亚符号人工智能方法则从神经科学中汲取灵感，并试图捕捉隐藏在所谓的“快速感知”背后的一些无意识的思考过程，如识别人脸或识别语音等。
感知机是人工智能的一个重要里程碑，同时也催生了现代人工智能最成功的工具——DNN。
感知机是一个根据加权输入的总和是否满足阈值来做出是或否（输出1或0）的决策的简易程序。
感知机中没有任何对其需要执行的任务进行描述的明确规则，感知机中的所有“知识”都被编码在由数字组成的权重和阈值中。
感知机应该通过自己的学习获得这些数值。
罗森布拉特认为感知机也应该在样本上进行类似的训练：在触发正确的行为时奖励，而在犯错时惩罚。如今，这种形式的条件计算在人工智能领域被称为监督学习（supervised learning）
罗森布拉特对人工智能的首要贡献是他对一个特定算法的设计，即感知机学习算法（perceptron-learning algorithm），感知机可以通过这一算法从样本中得到训练，来确定能够产生正确答案的权重和阈值。
感知机的“知识”由它所学到的权重和阈值这对数值组成，这一事实，意味着我们很难发现感知机在执行识别任务时使用的规则。感知机的规则不是符号化的，不像通用问题求解器的符号
感知机的权重和阈值不代表特定的概念，这些数字也很难被转换成人类可以理解的规则。
如果一个感知机通过添加一个额外的模拟神经元“层”来增强能力，那么原则上，感知机能够解决的问题类型就广泛得多，带有这样一个附加层的感知机叫作多层神经网络。
对于任何谈论人工智能的人来说，定义“人工智能”都是一个挑战，因为人工智能的核心概念——智能，仍然没有明晰的定义。针对类似“智能”及其引申词，如“思想”“认知”“意识”“情感”这样的词语
对于人类智能，智商是在单一尺度上衡量的，但我们也会探讨智能的不同维度，如情感、语言、空间、逻辑、艺术、社交等。因此，智能的定义可能是二元的（一个物体是或不是智能的）、在一个连续统上的（一个物体比另一个物体更智能），或者是多维的（一个人可以具有高语言智能和低情感智能）。
02 从神经网络到机器学习，谁都不是最后的解药
与感知机不同的是，这里的每个单元并不是简单地基于阈值来判断是“激活”还是“不激活”（输出1或0），而是使用它求得的和来计算一个0～1之间的数，称为激活值。
神经网络中所谓的学习就是逐步修改连接的权重，从而使得每个输出在所有训练样本上的错误都尽可能接近于零。
编写规则的人类专家实际上或多或少依赖于潜意识中的知识（常识）以便明智地行动。这种常识通常难以通过程序化的规则或逻辑推理来获取，而这种常识的缺乏严重限制了符号人工智能方法的广泛应用。
根据联结主义的支持者的观点，智能的关键在于构建一个合适的计算结构以及系统来获得从数据或现实世界的行为中进行学习的能力，这是受到了大脑的启发。
符号系统可以由人类设计，被输入人类知识，并使用人类可理解的逻辑推理来解决问题。
MYCIN是符号人工智能的一个典型范例。
亚符号系统往往难以阐释，并且没人知道如何直接将复杂的人类知识和逻辑编码到这些系统中。亚符号系统似乎更适合那些人类难以定义其中规则的感知任务。
我们完全可以用符号系统来完成类似于语言描述和逻辑推理的高级任务，而用亚符号系统来完成诸如识别人脸和声音这样的低级感知任务。
03 从图灵测试到奇点之争，我们无法预测智能将带领我们去往何处
人类对深蓝的集体焦虑很快就消退了。我们接受了国际象棋是可以屈服于暴力搜索机器的，我们认为下棋下得好一点都不需要通用智能。这似乎是一种常见的反应：当计算机在某一特定任务上超越人类时，我们就得出结论，该任务实际上并不需要智能。正如麦卡锡哀叹的那样：“一旦它开始奏效，就没人再称它为人工智能了。”
一堆狭义智能永远也不会堆砌成一种通用人工智能。通用人工智能的实现不在于单个能力的数量，而在于这些能力的整合。
人工智能是在模拟思考，还是真的在思考
如果一台机器能够写出一首十四行诗或一首协奏曲，是因为它感受到的思想和情感，而不是因为符号的偶然组合，只有这样，我们才会认同该机器等同于大脑。
只有当一台机器能“感受”事物，并知道自己的行为和感觉，即具有意识时，我们才能认为它是真正在思考；但是，没有一台机器能够做到这点，因此，没有一台机器能够真正地思考。
瑟尔发表了一篇名为《思想、大脑和程序》的文章
对瑟尔来说，强人工智能是：“经过恰当编程的数字计算机不只是模拟出了心智，而是实实在在地拥有了心智。”相比之下，用瑟尔的术语来说，“弱人工智能将计算机视为模拟人类智能的工具，并不认为它们真正拥有心智”。我们回到我和我母亲讨论的哲学问题上：“模拟心智”和“真正的心智”之间，有区别吗？
奇点2045，非生物智能将比今天所有人类智能强大10亿倍
“在未来的某个时期，技术变革的步伐将如此之快，影响将如此之深，以至于人类生活将被不可逆转地改变。”“奇点”一词的含义为：“具有非凡影响的一个独特事件，特别是，一件能够分裂人类历史结构的事件。”对于库兹韦尔来说，这一独特的事件就是人工智能超越人类智能。
古德对于智能爆炸之潜在可能性是这样预测的：“让我们将超级智能机器定义为一种可以在所有智力活动方面都远超任何人的机器。鉴于对机器的设计本身正是如上所说的智力活动之一，因此超级智能机器能够设计出更好的机器，届时毫无疑问将会出现一场智能爆炸，人类智能将被远远地抛在后面。
人类智能的进化花费了数百万年的时间，我们将只用其中一小段时间创造出同等的进步。我们很快就能创造出比我们自身更强大的智能，当这种情况发生时，人类历史将达到一种奇点……世界的运转将远远超出我们的理解范围。
我将奇点的时间设定为2045年。在那一年，人类创造的非生物智能，将比今天所有的人类智能强大10亿倍。
对大脑进行逆向工程意味着要对其运转机理有充分的了解，从而能够复制大脑，或者说，至少可以在计算机中运用大脑的基本原理并复制其智能。库兹韦尔认为，这种逆向工程是一种实用的、短期内能实现的创造人类水平的人工智能的方法。
库兹韦尔还不太清楚这一切将如何发生，但他确信：“我们不能像某些大型专家系统那样，一个链接一个链接地编码人类智能，来实现人类水平的人工智能。相反，我们要基于人脑的逆向工程，建立一个复杂的自组织系统层次结构，并为其提供教育……比起人类教育的过程，这一过程的速度将快上数百倍，甚至上千倍。”
2002年，出现了一个名为Long Bets的网站，这个网站是有竞争力的、负责任的预测的“竞技场”，因而可以使未来学家保持“诚实”。它允许预测者给出一个指定实现日期的长期预测，也允许挑战者来挑战该预测，双方都用钱押注，而这个赌注将在预测日期过后进行支付。
人类学习的根本模式是经验性的。书本学习是在这之上的一层……如果人类的知识，特别是关于经验的知识，在很大程度上是隐性的，也就是说，这些知识从来不被直接和明确地表达，那就无法从书本中找到，而库兹韦尔设想的知识获取方法将会失败……问题不在于计算机知道什么，而在于计算机不知道什么以及无法知道什么
那是因为你不理解指数。我和一个批评家的意见分歧的核心常常在于，他们会说，你低估了人类大脑逆向工程的复杂性或生物科学的复杂性，但我不这么认为，我认为是他们低估了指数级增长的力量。
一堆狭义智能永远也不会堆砌成一种通用人工智能。通用人工智能的实现不在于单个能力的数量，而在于这些能力间的整合。
04 何人，何物，何时，何地，为何
深度学习中的“深度”并不是指神经网络所学习内容的复杂性，而仅仅是指网络本身的层数。
ConvNets是当今计算机视觉领域正在进行的深度学习革命的驱动力，当然在其他领域也是如此。
ConvNets实际上并不是很新，最初是在20世纪80年代由法国计算机科学家杨立昆提出，而他则是受到了福岛提出的神经认知机的启发。杨立昆是ConvNets之父，纽约大学终身教授，深度学习三巨头之一，杨立昆是他给自己起的中文名字。
05 ConvNets和ImageNet，现代人工智能的基石
根据WordNet中的名词构建一个图像数据库，使其中每个名词都与大量包含该名词示例的图像相关联。因此ImageNet的构想诞生了。
有些照片仅包含一个物体，而另一些照片包含多个物体，正确的目标物体就在其中。由于存在这种模糊性，参赛程序可以对每个图像至多猜测5个类别，如果正确类别在输出之列，我们就说该程序对这张图像的识别是正确的，这被称为“top-5”准确率衡量标准。
06 人类与机器学习的关键差距
依赖于收集到的大量已标注的数据来进行训练是深度学习不同于人类学习的另一个特点。
所谓的“长尾”，就是指人工智能系统可能要面临各种可能的意外情况。
如果我们单纯依靠监督学习来提升人工智能系统对世界的认识，那么就会存在一个问题：尾部的情况并不经常出现在训练数据中，所以当遇到这些意外情况时，系统就会更容易出错。
对于通用人工智能，几乎所有学习都应该在无监督方式下进行
人类具有一种当前所有的人工智能系统都缺乏的基本能力：运用常识。我们拥有关于这个世界的体量庞大的背景知识，包括物质层面及社会层面。我们对现实世界中的事物会如何行动或变化有充分的了解，无论它是无生命的还是有生命的，我们广泛地运用这些常识来决定如何在特定情况下采取行动。
许多人认为，除非人工智能系统能像人类一样拥有常识，否则它们将无法在复杂的现实世界中实现完全自主。
很多人好奇深度学习究竟是真正的智能还是‘聪明的汉斯’
“聪明的汉斯”已成为对表现出理解力但实际上只是对训练员给出的别人难以发现的提示做出反应的个体或程序的隐喻。
DNN做出决策的原因通常很难理解，这使得它们的失败难以被预测或规避。
“长尾”这个术语来自统计学，其中包含的一长串可能性低，但却可能发生的情况被称为一个概率分布的“尾巴”，尾巴上的情况有时被称为“边缘情况”。人工智能在现实世界的大多数领域中都会面对这种长尾效应：现实世界中的大部分事件通常是可预测的，但仍有一长串低概率的意外事件发生。如果我们单纯依靠监督学习来提升人工智能系统对世界的认识，那么就会存在一个问题：尾部的情况并不经常出现在训练数据中，所以当遇到这些意外情况时，系统就会更容易出错。
07 确保价值观一致，构建值得信赖、有道德的人工智能
我个人的观点是，人们对超级智能可能带来的风险给予了太多关注，而对于深度学习缺乏可靠性和透明性，及其易受攻击性的关注则远远不够。
人工智能程序员面临的挑战是，如何确保人工智能系统的价值观与人类保持一致。可是，人类的价值观又是什么？假设存在社会共享的普世价值有任何意义吗？
在将我们的价值观置入机器之前，我们必须弄清楚如何让我们的价值观清晰且一致。
在赋予计算机“道德智能”方面的进展不能与其他类型智能的进展分开，真正的挑战是创造出能够真正理解它们所面临的场景的机器。
可信任的道德理性的一个先决条件是通用的常识，而这，正如我们所见，即使在当今最好的人工智能系统中也是缺失的。
08 强化学习，最重要的是学会给机器人奖励
环境愈复杂和不可预测，将机器人在模拟中学到的技能转移到现实世界的尝试就愈加难以成功。由于这些难点的存在，迄今为止强化学习最大的成功不是在机器人领域，而是在那些能够在计算机上进行完美模拟的领域。目前，强化学习最知名的成功是在游戏领域
09 学会玩游戏，智能究竟从何而来
强化学习需要在探索与坚持之间取得一个平衡
从更好的猜测中学习猜测。
强化学习不是将其输出与人类给定的标签进行匹配，而是假设后续迭代给出的值比前面迭代给出的值更好，网络学习的是使其输出在一次迭代到下一次迭代的过程中保持一致。这种学习方法被称为时序差分学习（temporal differencelearning）。
一台能在国际象棋上超越人类的机器将迫使我们要么承认机械化思维的可能性，要么进一步限制我们对‘思维’这一概念的理解。
一旦它开始奏效，就没人再称它为人工智能了”？
ConvNets将在AlphaGo中发挥直觉的作用，这种直觉的实际效果会进一步被蒙特卡洛树搜索改进。
10 游戏只是手段，通用人工智能才是目标
人类这种从一种任务到另一种任务的能力迁移看起来毫不费劲；我们对所学知识进行泛化的能力正是思考的核心部分。因而，我们可以说，迁移学习的本质就是学习本身。
我们的结果全面地证明了一个纯粹的强化学习方法是完全可行的，即便在最具挑战性的领域，不用人类的示例或指导，除基本规则之外不提供任何其他领域的知识，程序也有可能训练到超人类水平。
11 词语，以及与它一同出现的词
自动语音识别（automatic speech recognition）是深度学习在自然语言处理中的第一个重大成就，并且我敢说，这是迄今为止人工智能在所有领域中取得的最重要的成就。自动语音识别是一项将口语实时转录成文本的技术。
任何一个复杂的工程项目都适用一个著名的经验法则：项目前90%的工作占用10%的时间，而后10%的工作占用90%的时间。
你会通过与一个单词一同出现的词来认识它。”这就是说，一个单词的含义可以依据与其经常一同出现的其他单词来定义，这些其他单词又可以依据与它们经常一同出现的单词来定义，以此类推。
使用词向量的坐标作为数字输入来表示单词，而不是使用简单的独热编码方案，可以大大提高神经网络在自然语言处理任务中的性能。
word2vec方法的工作原理是使用传统的神经网络来自动学习词汇表中的所有单词的词向量。谷歌的研究人员利用该公司庞大的文档库中的一部分数据来训练他们的网络，一旦训练完成，研究团队就将所有生成的词向量结果保存并发布到一个网页上，可以供任何人下载，并可以将其用作自然语言处理系统的输入。
如今，几乎所有的自然语言处理系统都使用某种类型的词向量方法作为输入单词的方式，word2vec这种方法只是其中的一种。
Facebook的杨立昆表示赞同：“在Facebook的人工智能研究中，我们希望将整个世界嵌入到思维向量中，我们将其称为world2vec（世界到向量）。
12 机器翻译，仍然不能从人类理解的角度来理解图像与文字
自动图像字幕生成存在着和机器翻译一样的性能表现两极分化的问题。当它表现得很好时，它看起来几近神奇，如图12-4所示，但其犯起错来却也可以从轻微偏离主题到完全的胡说八道，
我认为字幕生成网络对图像中的内容还是缺乏基本的理解，这必然意味着：就像在机器翻译中的表现一样，这些系统仍然是不可信的。它们会在某些情况下运行得很好，但有时却会令人大失所望。此外，即便这些系统在大多情况下是正确的，但对于一幅蕴含丰富意义的图像，它们往往无法抓住其中的要点。
深度学习时代的机器翻译所取得的巨大成功是由大数据和快速计算造就的，但这种成功完全是基于对单个句子翻译水平的评估，而非篇幅更长的文章。
13 虚拟助理——随便问我任何事情
阅读理解的真正要义在于阅读字里行间中相互关联的概念并进行推理，进而理解文本中有所暗示但又未具体给出的信息。
完全从在线数据中学习、基本上没有理解其所处理语言的机器，完全不可能达到人类在翻译、阅读理解等方面的水平。语言依赖于人们的常识和对世界的理解
阅读理解的关键不仅在于“提取答案”，还在于“具备常识”
让计算机真正理解我们所问的问题的含义。这本质上是一种阅读理解任务，但目前计算机其实并不能完全读懂一个特定文本中字里行间的意思，也无法做到真正的推理，比起阅读理解，计算机能做到的应该叫“答案提取”。
“提问-回答”的话题一直是自然语言处理研究的一个重点。若想正确回答这些问题，不仅需要答案提取的技能，还需要具备自然语言处理和常识推理的集成能力，以及一些必要的背景知识。
14 正在学会“理解”的人工智能
不仅仅是我们的日常语言中充斥着我们意识不到的隐喻，我们对基本上所有抽象概念的理解都是通过基于核心物理知识的隐喻来实现的。
我们通过核心物理知识来理解抽象概念。
构建和使用这些心智模型依赖于两种基本的人类本能：抽象和类比。
抽象是将特定的概念和情境识别为更一般的类别的能力。
我们所谓的感知、分类、识别、泛化和联想都涉及我们对所经历过的情境进行抽象的行为。
对两件事之间共同本质的感知。这一共同的本质可以是一个命名的概念，
掌握核心常识以及复杂的抽象和类比能力，是人工智能未来发展不可或缺的重要一环。
理解力是一种预测力，而预测力与我们的经历息息相关
15 知识、抽象和类比，赋予人工智能核心常识
随着深度学习系统的应用愈加广泛，其智能正逐渐露出“破绽”。即便是最成功的系统，也无法在其狭窄的专业领域之外进行良好的泛化、形成抽象概念或者学会因果关系。此外，它们经常会犯一些不像人类会犯的错误，以及在对抗样本上表现出的脆弱性都表明：它们并不真正理解我们教给它们的概念。
人工智能领域再一次越来越多地讨论关于赋予机器常识的重要性。
现代人工智能以深度学习为主导，以DNN、大数据和超高速计算机为三驾马车，然而，在追求稳健和通用的智能的过程中，深度学习可能会碰壁——重中之重的“意义的障碍”。
结语
对于一项复杂的技术项目，完成其前90%的工作往往只需要花费10%的时间，而完成最后10%则需要花费90%的时间。
当下社会对人工智能技术的不假思索地接受，存在以下风险：造成大量人失业的可能性、人工智能系统被滥用的潜在风险，以及这些系统在面对攻击时的不可靠性和脆弱性。这些仅仅是人们对技术可能对人类生活产生影响的一些非常合理的担忧。
我们人类倾向于高估人工智能的发展速度，而低估人类自身智能的复杂性。目前的人工智能与通用智能还相距甚远，并且我不认为超级智能已经近在眼前了。如果通用人工智能真的会实现，我敢保证，它的复杂性能够与我们人类的大脑相媲美。
短期内人工智能系统最令人担忧的问题是：我们在没有充分意识到人工智能的局限性和脆弱性时就给它赋予了太多的自主权。我们倾向于拟人化人工智能系统，我们把人类的品质灌输给这些系统，却又高估了这些系统可以被完全信任的程度。
我们应该感到害怕，不是害怕机器太智能，而是害怕机器做出一些它们没有能力做出的决策。相比于机器的“智能”，我更害怕机器的“愚笨”。机器的愚笨会创造一个尾部风险。机器可以做出很多好的决策，然后某天却会因为在其训练数据中没有出现过的一个尾部事件而迅速失灵，这就是特定智能和通用智能的区别
人们担心计算机会变得过于聪明并接管世界，但真正的问题是计算机太愚蠢了，并且它们已经接管了世界。
