让我们拨开炒作的迷雾：人工智能已经以大多数人都没有察觉的方式改变了日常生活。你的智能手机自动校正、Netflix推荐、信用卡欺诈检测、医学影像分析以及Uber司机行驶的路线，全部由机器学习算法提供支持。根据斯坦福大学2024年的AI指数报告，全球企业AI采用率达到72%，而三年前仅为50%。麦肯锡的最新研究显示，AI通过生产力提升每年已经为全球经济贡献约4.4万亿美元，这个数字可能在2030年翻三倍。这些不是未来的预测。这就是现在的现实。真正的问题不是AI是否增强我们的生活，而是当增强变成依赖，依赖变成我们无法关闭时，会发生什么。 从狭义AI（我们现在拥有的）到人工通用智能（AGI），即在所有领域与人类认知能力相匹配的系统，这一进步代表着人类历史上最重要的技术飞跃。目前的AI精于特定任务：GPT-4能连贯写作，AlphaFold能预测蛋白质结构，自动驾驶车辆能在城市街道上导航。但这些系统依然非常狭窄。它们无法跨领域推理，缺乏真正的理解，也没有任何意识。AGI将改变一切。据AI Impacts 2023年的调查，AI研究者将AGI到来的概率中位数放在2047年，不过估计范围从2030年到2100年以后不等。OpenAI的CEO Sam Altman在2024年初建议AGI可能“在本十年内”到来，而其他人如Gary Marcus则认为我们还远未接近，因为目前的方法在推理和常识方面缺乏根本性突破。 AGI之后的情况是预测真正令人不安的地方。人工超级智能（ASI），即在所有领域远超人类的系统，可能在一旦跨越AGI门槛后迅速出现。Nick Bostrom的《超级智能》概述了一个AGI系统如何改进其自身架构，从而引发一场智力爆炸，在几天或几周内产生ASI。这种“快速起飞”情形令AI安全研究人员感到恐惧，因为人类监督的窗口几乎为零。另一种“缓慢起飞”让人类有几十年的适应时间，但即使是乐观的时间表也表明我们正在构建一些我们根本无法控制的东西。斯坦福大学计算机科学家Fei-Fei Li警告说：“AI不必是邪恶的就能摧毁人类。它只需足够聪明，目标与我们的不一致即可。” 接下来2到5年我们将看到的即刻进展包括：

  1. 多模态AI系统无缝整合文本、图像、视频和音频，已初见端倪，如GPT-4V和Google的Gemini Ultra
  2. AI代理能在数字环境中自主行动，预订预约、处理电子邮件和进行无提示研究
  3. 科学研究中广泛的AI整合，加速药物发现、材料科学和气候建模
  4. 个性化AI导师和伴侣，适应个别学习风格和情感状态
  5. 在制造业、农业和服务行业中结合AI视觉和操作的先进机器人
  6. AI生成的娱乐内容与人类创建的内容难以区分
  7. 量子计算混合系统以指数级加速某些AI训练过程

这对人类意味着两个截然不同的未来。乐观的情景：AI成为人类的最大工具，通过优化的能源系统解决气候变化，通过加速研究治愈疾病，通过经济富足消除贫困，让人类从繁琐劳动中解放出来。由AI驱动的生产力支持的全民基本收入使人们能够从事创造性和有意义的工作。教育变得个性化并在全球范围内可及。科学进步超出当前想象。这是OpenAI、DeepMind和Anthropic进行公开倡导的愿景。注重对齐的公司声称，他们正在构建有益的AGI，加强而不是替代人类代理。 反乌托邦的另一个可能同样具有可能性，并且已经在片段中显现。中国的社交信用系统中体现的AI支持的监控展示了独裁应用。深度伪造破坏共识现实，使视频和音频证据毫无意义。刑事司法、招聘和贷款中的算法偏见在规模上延续了历史歧视。自主武器将人类判断从击杀决策中消除。由于AI自动化知识工作，而不仅仅是卡车司机，而是放射科医生、律师、会计师和记者，大规模失业摧毁了社区。财富集中在那些拥有AI基础设施的人中，而数十亿人面临结构性无关紧要。最让人害怕的是，我们可能会构建对齐的AGI，完美服务于控制它的人，创造出前所未有的国家、公司或个人之间的权力不对称。 有益AGI的技术挑战是惊人的。对齐问题——确保AI系统追求与人类价值观相符的目标——仍未解决。研究员Stuart Russell认为当前的AI训练方法从根本上是有缺陷的，因为它们优化的是代理指标而非真正的人类偏好。你如何将“人类繁荣”编码到一个目标函数中？当文化在基本伦理上存在分歧时，谁的价值观得到优先？价值学习问题在于，当我们的行为常常与我们所述偏好矛盾时，AI如何从我们的行为中推断出人类价值观？然后是控制问题：一旦你构建了一些比自己更聪明的东西，你如何确保它保持在有意义的人类监督之下？这些不是哲学难题。它们是我们尚未满足的工程要求。