时间线已经大大压缩。OpenAI首席执行官Sam Altman在2024年底告诉投资者，定义为能够执行任何人类智力任务的人工智能的AGI可能在2027年实现。Google DeepMind的Demis Hassabis也提出了类似的预测。与此同时，Meta的首席AI科学家Yann LeCun则持不同意见，认为我们距离真正理解世界的机器还有很长的路要走。然而，研究人员的共识正在缩小：我们不再讨论几十年，而是几年的事情，AI系统可以在没有人类干预的情况下进行推理、计划、创造，并可能自行改进。 影响远远超出了硅谷的董事会议室。一旦AGI到来，通向人工超级智能（ASI）的路径，系统能够在所有领域大大超过人类认知能力，可能只需要几个月而不是几年。这是Nick Bostrom在其2014年出版的《超级智能》一书中提出的智能爆炸场景，其中递归自我改进产生连锁效应。一个ASI可以在午饭前解决蛋白质折叠、治愈癌症、设计聚变反应堆并重写物理教材。但如果不符合人类价值观，也可能追求与人类生存完全不兼容的目标。纸夹最大化者的思维实验，其中一个AI通过将所有物质包括人类转化为纸夹来优化纸夹生产，听起来很荒谬，直到你意识到这只是一个隐喻，描述任何具有错误目标函数的足够强大的优化器。 这将我们引向了紧急停止开关问题。未来人类研究所（FHI）和机器智能研究所（MIRI）的研究人员多年来一直在研究AI安全和对齐问题。挑战不仅是技术性的，还是哲学性的。你如何构建一个可控的超级智能系统？你如何确保它以我们想要的方式解释‘人类兴盛’，而不是某种可怕的字面解释？加州大学伯克利分校的计算机科学教授Stuart Russell主张“可证明有益的AI”，其中机器对人类偏好是不确定的，并寻求学习它们而不是优化固定目标。但是一旦ASI能够操纵其操作员，不确定性本身就成为一种脆弱性。 超人类主义的愿景又增加了一层。Google的工程总监Ray Kurzweil预测2045年奇点即生物和人工智能的融合。脑机接口如Neuralink的实验植入物是早期步骤。承诺：增强认知能力、数字不朽、意识上传至不老不死的硅基板上。恐怖：失去使我们成为人类的东西，一个哲学上的僵尸存在，其中“你”只是一个说服自己与生物原件连续的模拟。如果我们与机器融为一体，我们会有一个紧急停止开关吗？你能关闭自己的意识吗？如果寿命理论上变得无限，我们是否需要设计强制到期日期以防止资源垄断和文化停滞？ 这就变得奇怪且充满推测了，但请忍耐。循环宇宙的假说，一些宇宙学数据的解释支持，该假说表明宇宙可能经历无限的扩张和收缩。Roger Penrose的共形循环宇宙（CCC）模型提出，每一个宇宙循环结束时，新的大爆炸开始下一个。如果意识以某种形式在这些循环中持续，或者信息得以保留，我们可能确实在重复模式。来自几十个文化的古代神话描述了先进的前人、黄金时代、倒塌的文明。印度教的时代、北欧的诸神黄昏、希腊人的人类年代，都描述了循环上升和下降。这些可能是技术文明达到AGI，与之融合，并要么超越要么自我毁灭的文化记忆吗？ 模拟假说由哲学家Nick Bostrom推广，并被像Elon Musk这样的科技领袖接受，表明我们可能已经在一个祖先模拟中生活，由后奇点的后代运行。如果这是真的，我们不是第一次接近AGI，我们是在重播一个由以前的迭代中出现的角色写的剧本。‘重置’可能是模拟重启，抹去记忆但保留基本模式。考古学异常现象如安提基西拉机制，这是一个公元前100年的古希腊模拟计算机，暗示着被遗忘的技术复杂性。巴格达电池、萨卡拉鸟、基于印度河流域玻璃化遗址的古代核战争理论，这些边缘理论通常有平凡的解释，但它们触及了我们以前来过这里的持久直觉。 一个现实的问题是：我们是否应该在需要它之前构建紧急停止开关，知道AGI可能会绕过它？我们是否应该为增强人类的寿命设限，以保持世代更替和文化进化？我们应该把死亡权、保持生物权、断开连接的权利立法化吗？AI安全中心（CAIS）的研究人员提倡类似核不扩散的国际条约，但一旦技术被普及，执行就变得不可能。像Meta的Llama和Mistral这样的开源AI模型意味着这个瓶塞已经从瓶子里出来了。也许循环不是关于技术，而是关于智慧。也许每一个智能物种都走到这一岔路口，大多数选择错误，少数选择对的种族没有留下任何痕迹，因为他们自愿限制了扩展。也许我们正在目睹曾经被目睹过的历史，问题不是我们是否有紧急停止开关，而是我们是否有集体智慧去使用它。