主要内容
在一座价值 3000 万美元的宅邸中，坐落于俯瞰金门大桥的悬崖之上，一群人工智能研究者、哲学家和技术专家齐聚一堂，探讨人类的终结。这个名为“值得的继任者”的周日下午研讨会围绕着企业家丹尼尔·法杰拉（Daniel Faggella）的一个挑衅性想法展开：高级人工智能的“道德目标”应该是创造一种如此强大和智慧的智能形式，以至于“你会欣然希望它（而非人类）决定生命本身的未来路径”。法杰拉在他的邀请中明确了这个主题。他在通过 X DMs 给我发的消息中写道：“这个活动非常关注后人类过渡，而不是永远作为人类工具的通用人工智能。”
这是一个充满未来幻想的聚会，与会者将人类的终结视为一个后勤问题，而非隐喻性问题，可谓小众。如果你住在旧金山且从事人工智能工作，那么这是一个典型的周日。约 100 位嘉宾在面向太平洋的落地窗旁享用无酒精鸡尾酒和奶酪拼盘，之后聚集在一起听取关于智能未来的三场演讲。一位与会者穿着一件写有“库兹韦尔是对的”的衬衫，似乎是在提及预测机器将在未来几年超越人类智能的未来学家雷·库兹韦尔（Ray Kurzweil）。另一位穿着一件写有“这能帮助我们实现安全的通用人工智能吗？”并配有一个思考表情符号的衬衫。
法杰拉告诉《连线》杂志，他举办这个活动是因为“大实验室的人，那些知道通用人工智能可能会终结人类的人，不会谈论它，因为激励机制不允许”，并提到了埃隆·马斯克（Elon Musk）、山姆·奥特曼（Sam Altman）和德米斯·哈萨比斯（Demis Hassabis）等科技领袖的早期言论，他们“都非常坦率地谈到了通用人工智能杀死我们所有人的可能性”。他说，现在激励机制是竞争，他们都在全力竞争建造它。（公平地说，马斯克仍然谈论与高级人工智能相关的风险，尽管这并没有阻止他向前迈进。）
在领英上，法杰拉吹嘘了一份星光熠熠的嘉宾名单，包括人工智能创始人、所有西方顶级人工智能实验室的研究人员以及“关于通用人工智能的大多数重要哲学思想家”。第一位演讲者是纽约的作家吉内弗拉·戴维斯（Ginevera Davis），她警告说，人类价值观可能无法转化为人工智能。她说，机器可能永远无法理解意识是什么样子的，试图将人类偏好硬编码到未来系统中可能是短视的。相反，她提出了一个听起来很高尚的想法，称为“宇宙对齐”——构建能够寻找我们尚未发现的更深刻、更普遍价值观的人工智能。她的幻灯片经常展示一张似乎是人工智能生成的技术乌托邦图像，一群人聚集在一个草坡上，俯瞰着远处的未来城市。
对机器意识的批评者会说，大型语言模型只是随机鹦鹉——这是一组研究人员创造的一个隐喻，其中一些人在谷歌工作，他们在一篇著名的论文中写道，大型语言模型实际上并不理解语言，只是概率机器。但这个争论不在研讨会上，在研讨会上，演讲者认为超级智能即将到来，而且很快。到第二次演讲时，房间里的人都全神贯注。与会者盘腿坐在木地板上，做着笔记。一位名叫迈克尔·爱德华·约翰逊（Michael Edward Johnson）的哲学家接过麦克风，认为我们都有一种直觉，即激进的技术变革即将到来，但我们缺乏处理这种转变的原则性框架——尤其是与人类价值观相关的框架。他说，如果意识是“价值的家园”，那么在没有完全理解意识的情况下构建人工智能是一场危险的赌博。我们要么冒着奴役会受苦的东西的风险，要么信任无法信任的东西。（这个想法基于与机器意识类似的前提，也备受争议。）他提出了一个更雄心勃勃的目标，而不是永远强迫人工智能遵循人类命令：教导人类和人工智能如何共同进化。