周日下午，在一栋价值30万美元的别墅里，俯瞰着太平洋。别墅里，人工智能领域最聪明的头脑们啜饮着不含酒精的鸡尾酒，平静地讨论着人类的末日。这几乎是反乌托邦的场景，但却真实存在：这是这位企业家组织的最新研讨会。 丹尼尔·法格拉，其中价值数十亿美元的人工智能公司创始人和哲学家德盛 （通用人工智能）讨论“后人类转型”。主题是什么？如何为人类的未来做好准备，将控制权移交给超级智能。
正如彼得·格里芬所说，时刻，时刻，时刻。当大众担心人工智能会让他们变得无用时，有人愿意指挥它吗？让我看看我理解得对不对。
后人类未来别墅
研讨会“值得的继任者”（字面意思是“值得的继任者”）并不是旧金山普通的科技活动。Faggella 特意选择了一个独特的地点，因为， 他向《连线》杂志解释道，“大型实验室和那些知道 AGI 可能会终结人类的人，他们没有谈论它，因为激励措施不允许这样做。”
此次活动汇集了 估值从 100 亿美元到 5 亿美元的 AI 创始人 以及AGI领域最重要的哲学思想家。他们并非孤立的空想家：他们是真正构建人工智能未来的人。他们探讨的概念值得我们深入思考。
“贤能继任者”理念
法杰拉 提出了一个具有挑衅性的愿景 人类的未来我们应该创造一种能力超群、道德优越的人工智能，这样一来，由它而不是我们来决定宇宙智能的未来发展方向就更好了。正如 他在接受采访时说,
“有价值的继任者的目标是创造一种后人类智慧，这种智慧如此强大且具有道德价值，以至于你会认为让它而不是人类来掌控未来是更好的选择。”
他的论点基于一个令人不安的前提：可能 通用人工智能（AGI）不会与人类目标保持一致如果这是真的，法格拉认为，我们至少应该确保我们所创造的东西具有两个基本的道德特征： 意识 e 自创生 （自我创造）。
AGI 的时间表越来越紧迫
这一转变的时机不再只是理论上的推测。专家们的预测出人意料地接近。 本·格特策尔SingularityNET 创始人 他认为这是合理的 人类水平的AGI 可以在 2027 年实现，最迟不晚于 2032 年.
做出这一预测的并非只有他一个人。 谢恩·莱格 谷歌的 DeepMind 维持其 50 年实现 AGI 的概率为 2028% 的预测，而 近期分析 在8.590位专家的预测中，2025-2030年是通用智能系统最有可能出现的时期。
未公开谈论的风险
研讨会揭示了一个令人不安的脱节。科技公司大肆宣扬人工智能的好处，而知情的研究人员却私下讨论其生存风险。 Yoshua Bengio图灵奖得主、深度学习先驱 最近发布了 一篇关于 AGI 对国家安全的风险的论文，强调超级智能系统如何为其控制者提供前所未有的战略优势。
以同样的方式， 最大Tegmark 麻省理工学院 他警告说 AGI 有可能摆脱人类的控制，成为可能取代人类的“数字物种”。他的立场很明确：“我站在人类这边，我将为我一岁大的孩子争取拥有有意义的未来的权利。”
人类的未来：在加速与治理之间
推动 AGI 加速发展的人士与呼吁更严格治理的人士之间的矛盾显而易见。 Google DeepMind 发布了 一篇 145 页的论文预测 2030 年通用人工智能将会出现，并警告可能造成“严重损害” 包括“可能永久毁灭人类”的生存风险。
悖论显而易见：开发这些技术的公司明知其灾难性风险，却仍在继续竞争。或许，法格拉的观察是正确的，经济激励阻碍了人们对真正危险的公开讨论。
人类的未来，我们都应该问自己的问题
旧金山研讨会就人类的未来提出了一个根本性问题：我们是否已做好准备，迎接一场可能彻底重新定义我们物种的转变？最重要的是，我们是否应该在这个过程中拥有发言权，还是应该将决策权交给那些拥有构建这些系统技术工具的人，让他们在私人别墅里做出决定？
这些问题的答案将决定人工智能究竟会成为我们最强大的盟友，还是我们最终犯下的错误。与此同时，当我们还在讨论人工智能在日常生活中带来的好处时，它的创造者们已经在设计一个没有人类的世界了。
