AI可能毁灭人类？专家接连警告

周二，一位顶尖人工智能（AI）研究员从Anthropic公司辞职，并指责该公司及其主要竞争对手OpenAI的行为不负责任，这在社交媒体上引发了人们对AI技术快速发展的担忧。

曾先后在这两家公司担任研究员的Jacob Coxon，辞职后在X网站上发帖称，他辞职是因为担心Anthropic和OpenAI是在“拿我们的生命做赌注”。他说，开发人工智能的人“真心相信，到本十年末（2030年），人工智能可能会毁灭我们所有人”。

“不要低估这项技术的力量，”他写道：“这些很快就会成为超人般的系统，它们可以入侵任何系统，一夜之间彻底改变任何领域，并获得真正的权力和资源。”

Coxon的帖子浏览量超过7000万次，并引起了业内研究人员的共鸣。他们担忧递归式自我改进（RSI），即AI系统能够在无人干预的情况下设计和开发其后续版本。尽管RSI目前尚未实现，但包括Anthropic和OpenAI在内的多家公司警告称，这将使人类更容易失去对这些系统的控制。

Coxon写道：“两家公司都没有采取负责任的行动。它们正竞相研发自我提升的超级智能。”

Anthropic对齐科学负责人Evan Hubinger后来也在X上发表的一篇文章中响应了Coxon的可怕预警。他表示，目前AI模型本身的风险较低，真正担忧的是通过递归自我改进产生超级智能。

“Coxon说得对——我们确实真心相信人工智能可能会毁灭所有人类！我个人认为，未来十年内，这种情况发生的概率会超过10%。”Hubinger写道，“我相信人智公司正在尽最大努力，但我们目前还没有解决超级智能协同问题的方案，而且显然也没有走上正轨。”

尽管这种担忧有些极端，但人工智能可能导致人类灭绝或其他灾难性事件的担忧在该研究领域并非新鲜事。

例如，2023年，包括OpenAI首席执行官Sam Altman和Anthropic首席执行官Dario Amodei在内的多位知名人工智能研究人员和高管签署了一份声明，指出“降低人工智能导致人类灭绝的风险应该与应对其他社会规模的风险（例如流行病和核战争）一样，成为全球优先事项。”

一些专家甚至使用简写p(doom)来估计人工智能可能带来的严重后果的概率。p(doom)指的是“AI导致人类灭绝或文明崩溃的概率”‌，是硅谷AI圈流行的风险估算值，没有官方标准，完全靠个人主观判断。这个数字没有统一算法，仅代表个人对AI风险的焦虑程度。

‌Anthropic首席执行官Dario Amodei‌：10%–25%

‌图灵奖得主 Geoffrey Hinton‌：10%–20%（也曾说过 40%）

‌OpenAI前临时首席执行官Emmett Shear‌：5%–50%

‌MIT教授Max Tegmark‌：超过 90%‌‌

监管方向仍模糊

随着Anthropic和OpenAI两家公司不断推出日益先进的模型，并朝着可能具有历史意义的首次公开募股（IPO）迈进，许多研究人员呼吁各方协调一致地放缓人工智能的发展速度。 一些国会议员已经采取措施，试图应对人工智能的快速发展，但对于如何监管这项技术，目前还没有明确的共识。

今年7月，加州共和党众议员Jay Obernolte和马萨诸塞州民主党众议员Lori Trahan共同提出了一项名为《前沿法案》（FRONTIER Act）的议案，旨在建立一个监管高级人工智能模型部署的框架。

本月初，佛蒙特州独立参议员伯尼·桑德斯和德克萨斯州民主党众议员Greg Casar又提出了一项名为《禁止人工智能超级智能法案》（Ban Artificial Superintelligence Act）的议案，该议案拟暂时中止高级人工智能的开发，直至联邦政府制定出安全规则。这两项议案都引发了不同的反响。

“安全研究人员纷纷辞职，强大的AI模型正从实验室里涌现，而企业却依然竞相推进，”Trahan周三在X网站上发表的一篇文章中写道。“国会早就应该不再袖手旁观，履行其职责了。”