尼克•博斯特罗姆（Nick Bostrom）在2014年出版的《超级智能：路径、危险与策略》（Superintelligence: Paths, Danger, Strategies）一书中详细阐述了严肃对待风险的主张。《经济学人》（The Economist）杂志对这本书进行了评论，评论最后写道：“在地球上引入第二个智能物种影响深远，值得我们深思。”当然，在利害攸关的情况下，智者们已经在苦思冥想了：参与严肃的辩论、权衡利弊、寻求解决方案、找出解决方案的漏洞等。据我所知，这些工作收效甚微，而且遭到了各种否认。一些著名的人工智能研究人员的论据几乎不值一驳。我在文章中看到或在会议上听到了不下几十种说法，以下是其中的一部分：电子计算器在算术方面无人能敌，而计算器并没有占领世界；因此，没有理由担心超人类人工智能。历史上没有发生过机器杀死数百万人的例子，有鉴于此，这种情况未来也不会发生。宇宙中没有无限大的物理量，智力也不例外，所以无须过度担忧超级智能。或许人工智能研究人员最常见的回答是：“我们可以关掉它。”阿兰•图灵自己也提出了这种可能性，但他并不太自信：如果机器可以思考，它可能会比我们思考得更全面，那么我们会处在什么位置？即使可以让机器屈从于我们，例如在关键时刻关闭电源，但我们作为一个物种，也应该感到自愧不如……这种新的危险……一定会让我们倍感焦虑。关掉机器是行不通的，原因很简单，超级智能实体一定会考虑到这种可能性，会采取措施来阻止。它会这么做不是因为它“想要生存”，而是因为它在追求我们给它设定的目标，并且知道如果被关掉，它就会失败。我们不能简单地“关掉它”，就像我们不能仅凭将棋子放在相应的棋盘格上就打败阿尔法围棋一样。

其他形式的否认则引发了更复杂的观点，比如智力是多方面的。例如，一个人的空间智力可能高于其他人，但社交智力则不及后者，所以我们不能按照严格的智力顺序来排列所有人。对机器来说更是如此：将阿尔法围棋的“智力”与谷歌搜索引擎的“智力”进行比较毫无意义。

━━━━《连线》杂志的创始主编、极富洞察力的技术评论员凯文•凯利（Kevin Kelly）将这一观点又向前推进了一步。他在《超人类人工智能神话》（The Myth of a Superhuman AI）一书中写道：“智力不是一个单一的维度，所以‘比人类更聪明’是一个毫无意义的概念。”关于超级智能的忧虑被一竿子打翻了。现在，有一个很明显的答案，机器可能在所有相关智力的维度上超越人类。在这种情况下，即便按照凯利的严格标准，机器人也会比人类聪明。不过这个相当有力的假设并不是反驳凯利的论点的必要条件。以黑猩猩为例。黑猩猩的短期记忆可能优于人类，即使是人类擅长的任务，比如回忆数字序列也是如此。短期记忆是智力的一个重要维度。按照凯利的论点，人类并不比黑猩猩聪明，事实上，他会说“比黑猩猩聪明”是一个毫无意义的概念。对仅仅因为人的宽容而存活下来的黑猩猩和其他物种，以及所有人类已经摧毁的物种而言，这可不是什么安慰。同样，对于可能担心被机器消灭的人来说，这也算不上安慰。有人认为超级智能无法实现，因此超级智能的风险也就不复存在。这些说法并不新鲜，但现在人工智能研究人员自己都说这种人工智能不可能实现，着实令人惊讶。例如，AI100组织的重要报告《2030年的人工智能与生活》（Artificial Intelligence and Life in 2030）称：“与电影场景不同，未来现实中不会也不可能出现超人类机器人。”据我所知，这是第一次有严肃的人工智能研究人员公开表示不可能出现人类级或超人类人工智能，而且这发生在人工智能研究飞速发展的时期，这期间一个又一个障碍被打破。这就好比是一群顶尖的癌症生物学家宣布他们一直在愚弄我们：他们一直都知道永远都不会有治愈癌症的方法。是什么促成了这种重大转变？报告中没有提供任何论据或证据。（事实上，有什么证据能够证明，物理上不可能存在比人类大脑更优的原子排列呢？）我认为主要原因在于部落主义——这是一种对抗可能对人工智能构成“攻击”的事物的本能，然而，将超级智能的人工智能视为可能对人工智能构成攻击的事物似乎有些奇怪，用人工智能永远不会实现其目标来为人工智能辩护更显得荒谬。我们不能靠打赌断定人类的创造力有限来确保未来的灾难不会发生。严格来说，超人类人工智能不是没有可能，那我们是否无须过早担心它的风险？计算机科学家吴恩达认为，这就像是在担心“火星上人口过剩”。不过，长期风险仍然会引起人们的关注。何时担忧有关人类的潜在严重问题，不仅取决于问题发生的时间，还取决于准备和实施解决方案需要多长时间。例如，要探测一颗将于2069年与地球相撞的小行星，我们会等到2068年才开始研究解决方案吗？当然不是！人类将设立全球性的紧急项目来寻找应对威胁的方法，因为我们无法提前获知我们需要多少时间。吴恩达的观点也让人感觉我们根本不可能把数十亿人转移到火星上去。这个类比是错误的。我们投入了大量的科学和技术资源来创造更强大的人工智能系统，却很少考虑成功之后会发生什么。我们可以做一个更恰当的类比：计划把人类迁移到火星，而不考虑到达后的呼吸、饮食问题。有些人可能会认为这个计划不明智。另一种回避潜在问题的方法是断言人们对风险的担忧源于无知。例如，艾伦人工智能研究所的首席执行官奥伦•艾奇奥尼（Oren Etzioni）指责呼吁人们认清人工智能潜在威胁的埃隆•马斯克和斯蒂芬•霍金是卢德主义（对新技术和新事物的盲目冲动反抗）者：每一项新兴技术创新都将人们置于恐惧中。从工业时代初期织工把鞋子扔进纺织机，到今天对机器人杀手的畏怯，我们不知道新技术会对自我意识和生计产生什么影响。当我们一无所知，便会心生恐慌。即使从表面上理解这个经典的谬误论证，它也站不住脚。霍金对科学推理并不陌生，马斯克监督并投资了多个人工智能研究项目。如果认为提出担忧的比尔•盖茨、I.J.古德（I.J. Good）、马文•明斯基、阿兰•图灵和诺伯特•维纳（Norbert Wiener）都没有资格讨论人工智能，那就更不可信了。指责卢德主义也是完全错误的。这就好比当核工程师指出有必要控制裂变反应时，有人指责核工程师是卢德主义者。也就是说，提及人工智能的风险就意味着否认人工智能的潜在利益。再以奥伦•艾奇奥尼为例：悲观预测往往没有考虑到人工智能在预防医疗事故、减少车祸等方面的潜在优势。近期，脸谱网首席执行官马克•扎克伯格与埃隆•马斯克进行了媒体交流：反对人工智能就是在反对不会发生事故的更安全的汽车，反对更准确的患者病情诊断。任何提及风险的人都是在“反对人工智能”，这种观念很离奇。（核安全工程师“反对电”吗？）更重要的是，整个论点恰恰是逆向的，原因有二。首先，如果没有潜在利益，就没有人工智能研究的动力和人类级人工智能带来的危险，我们也就不会进行相关探讨。其次，如果不能成功降低风险，就不会有任何利益。━━━━1979年三里岛、1986年切尔诺贝利和2011年日本福岛发生的灾难性事件大大降低了核能的潜在利益。这些核灾难严重限制了核工业的发展。意大利于1990年放弃了核能，比利时、德国、西班牙和瑞士已经宣布放弃核能计划。从1991年到2010年，每年新增的核电净容量大约是切尔诺贝利事故前几年的1/10。奇怪的是，有这些事件作为前车之鉴，著名的认知科学家史蒂文•平克（Steven Pinker）依然认为，不应呼吁人们关注人工智能的风险，因为“先进社会的安全文化”将确保消除所有重大的人工智能风险。即便无视我们先进的安全文化导致的切尔诺贝利核事故、福岛核事故和全球变暖失控，平克的论点也完全没有说到重点。发挥作用的安全文化包括指出潜在的失效模式和寻找方法来进行预防，而人工智能的标准模型即是失效模式。平克还认为，有问题的人工智能行为源于设定特定类型的目标；如果不考虑这些，就不会有任何问题：人工智能反乌托邦项目将狭隘的大男子主义心理投射到了智力的概念上。他们认为，具有超人类智力的机器人会制定一些目标，比如推翻它们的主人，或者征服世界。深度学习先驱、脸谱网人工智能研究主管扬•勒丘恩（Yann LeCun）在淡化人工智能风险时，经常引用同样的观点：我们无须让人工智能拥有自我保护本能、嫉妒心理等……人工智能不会产生破坏性的“情绪”，除非我们将这些情绪融入其中。那些认为这种风险可以忽略不计的人，没有解释为何超级人工智能必须处于人类控制之下。

实际上，不管我们是否植入“情感”或“欲望”（比如自我保护、资源获取、知识发掘，或者极端情况下的统治世界）都全然无关紧要。机器无论如何都会产生这些情感，就像我们所构建目标的子目标一样——不管它是什么性别。正如“关掉机器”的观点所揭示的，对于一台机器来说，生命终止本身并不是坏事。尽管如此，还是要避免生命终止，因为一旦终止，它们便很难达到目标。