第4章 序言

在你的颅腔里，有个器官能够阅读。这个器官就是人的大脑，它具有其他动物大脑没有的一些能力，而我们在地球上的主宰地位便归功于这些独特的能力。

其他动物有更强壮的肌肉或更锐利的爪子，但是我们有更聪明的大脑。我们在一般智能方面的些许优势使我们创造了语言，发展了科技，并建立了复杂的社会组织。这种优势随着时间的延续而不断提高，因为每一代人的成就都建立在前人的成就之上。

如果有一天我们发明了超越人类大脑一般智能的机器大脑，那么这种超级智能将会非常强大。并且，正如现在大猩猩的命运更多地取决于人类而不是它们自身一样，人类的命运将取决于超级智能机器。

然而我们拥有一项优势：我们清楚地知道如何制造超级智能机器。原则上，我们能够制造一种保护人类价值的超级智能，当然，我们也有足够的理由这么做。实际上，控制问题—也就是如何控制超级智能，似乎非常困难，而且我们似乎也只有一次机会。一旦不友好的超级智能出现，它就会阻止我们将其替换或者更改其偏好设置，而我们的命运就因此被锁定了。

在本书中，我将努力诠释可能出现的超级智能带来的挑战，以及我们如何更好地应对。这很可能是人类面对的最重要和最可怕的挑战。而且，不管我们成功还是失败，这大概都是我们将要面对的最后一个挑战。

本书并不认为，我们即将在人工智能方面取得重大突破，或者能够准确预测突破会在何时发生。突破有可能会在21世纪的某些时候实现，但是我们并不能确定。本书的前几章讨论了取得突破的可能途径，并谈论了何时能够突破的问题。然而，本书的主要部分讨论的是智能爆发以后会发生什么。我们会研究智能大爆发的动力学，超级智能的形式和能量，以及具有决定性优势的超级智能体有哪些战略选择。然后，我们探讨的重点转向控制问题，并提出为了让我们生存并且获得有利的结果，我们如何选择初始数据的问题。在本书的结尾，我们将画面拉远，思考我们的研究所呈现的更大的图景。最后提出了一些建议，指出为了增加避免存在性灾难的概率，我们现在可以做些什么。

我希望本书可以开辟出一条道路，以使其他研究者能够更加快速和便捷地到达这个领域的前沿，从而以全新的视角加入这项研究，进一步扩展我们的认识。

（如果我铺的这条道路有点崎岖不平，那么我希望评论家们在评判结果时，不要低估原来地势的险恶情况！）

这本书写起来并不容易。我努力使其读起来容易，但是我觉得可能并没有做到。写作时，我把早前时间切片（time-slice）里的自己当作目标读者，并尽量把书写成自己喜欢阅读的类型。虽然这可能会导致读者群较窄，但我还是认为书中的内容对很多人来说都是能够理解的，前提是他们对书中的内容进行一些思考，同时拒绝盲目地将任何一个新观点误解为他们文化中相似而陈旧的观点。非科技专业的读者不必因为书中偶尔出现的数学知识或专业术语感到气馁，因为往往可以通过上下文的解释看懂主要观点。

本书提出的很多观点可能是不恰当的，而有些非常重要的观点我可能也没有考虑到，从而削弱了我的某些或者所有结论的有效性。我已经尽可能地在全书中指明细微差别和不确定性—书中遍布着太多的“可能”、“或许”、“也许”、“也有可能”、“看起来”、“大概”、“非常可能”、“几乎肯定”这样的词。每个限定词的使用都是经过深思熟虑的。然而，这些字眼所体现出的认识方面的谦虚谨慎依然是不够的，还必须要补充对不确定性和易错性的整体说明。这不是虚伪的谦虚，因为虽然我相信我的书中可能有一些较严重的问题和误导性，但是我认为目前书中提到的其他观点更加糟糕，包括默认观点或者所谓的“零假设”，这些观点认为我们可以暂时安全地或合理地忽略超级智能出现的可能性。