自（早在1941年）计算机成形以来，它们首先填充了整个房间，然后是办公桌，然后是口袋。 但是它们都有一个共同点：它们是由人的思想设计的。 多年来，许多人都在想：如果计算机自行设计会怎样？
不久的将来，一台智能计算机本身就可以创造出一台比它本身更强大的机器。这台新计算机可能会反过来制造另一台更强大的计算机，依此类推。人工智能呈指数上升曲线，达到人类难以想象的认知高度。 总之，这就是技术上的奇异之处。
技术奇点
“技术奇点”一词可以追溯到 50 多年前，当时科学家们刚刚开始修补使基本计算成为可能的二进制代码和电路。即使在那时，技术奇点也是一个令人惊叹且令人敬畏的概念。
新一代的超级智能计算机可以彻底改变一切。 从纳米技术到沉浸式虚拟现实再到超光速太空旅行。
凭借技术奇点，我们不仅可以利用基于生物的大脑，还可以使用人工智能并与之交互。 改善或增加大脑的表现 植入，甚至以数字方式上传我们的想法 在我们的身体中生存.
技术奇点的结果将是一个超强的人类，能够以光速思考并且不受生物问题的影响。
一个全新的世界
哲学家 尼克·博斯特伦 他认为这个充满活力的世界可能会带来一个全新的时代。
在这个世界上，我们都更像是一个巨大的迪斯尼乐园中的孩子，不是由人类而是由我们创造的机器或他们自己创造的机器经营的。
尼克·博斯特伦哲学家、作家、牛津大学人类未来研究所所长
我上方的星空，处理器内的道德律
技术奇点可能会将我们带入乌托邦幻想或反乌托邦噩梦。博斯特罗姆深知这一点。几十年来他一直在思考超级人工智能的出现，并且了解透彻 这种创造带来的风险。
当然，这是机器人革命的经典科幻噩梦，其中机器决定它们宁愿控制地球。
然而，更有可能的是，超级智能人工智能的道德准则，无论它是什么，根本与我们的道德准则不一致。
如果人工智能不再像我们一样重视人类的生命，那么负责自动驾驶汽车车队或医疗用品分配的人工智能可能会造成严重破坏。
AI对齐问题近年来，它被称为新的紧迫性，部分要感谢 像Bostrom这样的思想家的作品。
技术上的奇异和思想差异
如果我们无法控制超级智能人工智能，我们的命运可能取决于未来的机器智能是否像我们一样思考。在这方面，博斯特罗姆提醒我们，我们正在努力“设计人工智能，使其实际上选择对人类有益的东西，并在不清楚我们的意思时选择要求我们澄清。” “
我们可以通过多种方法将人类道德教导给新生的超级智能。 就像今天一样，可以学习机器学习算法来识别人类价值系统 甘 他们接受了图像和文字数据库的培训。 或者，几个AI可以在人类主持人的监督下相互争论，以建立更好的人类偏好模型。
尊重的问题
如果技术奇点不再创造简单的机器，而是真正的人工思维，我们还应该考虑伦理方面。博斯特罗姆说，我们有必要扪心自问，影响他们是否正确，以及影响到什么程度。
简而言之，在这个有意识的机器时代，技术上的奇异性可能对人类施加新的道德义务： 尊重数字生物。
