主要内容
现代大型语言模型（LLMs）能创作优美的十四行诗和优雅的代码，但它们甚至缺乏从经验中学习的基本能力。麻省理工学院（MIT）的研究人员现已设计出一种方法，让 LLMs 通过根据有用的新信息调整自身参数来不断改进。这项工作是朝着构建持续学习的人工智能模型迈出的一步，这是该领域的长期目标，也是如果机器要更忠实地模仿人类智能就必须做到的关键。与此同时，它可以为我们提供更好地整合新信息（包括用户的兴趣和偏好）的聊天机器人和其他 AI 工具。
MIT 的名为自我适应语言模型（SEAL）的方案，涉及让一个 LLM 学习根据收到的输入生成自己的合成训练数据和更新程序。MIT 参与开发 SEAL 的博士生 Jyothish Pari 表示：“最初的想法是探索标记（输入到 LLMs 并由其生成的文本单元）是否能引起对模型的强大更新。”Pari 说，这个想法是看看模型的输出是否可用于训练它。参与构建 SEAL 的 MIT 本科生研究员 Adam Zweiger 补充说，尽管较新的模型可以通过执行更复杂的推理以“推理”的方式找到更好的解决方案，但从长期来看，模型本身并不会从这种推理中受益。相比之下，SEAL 会生成新的见解，然后将其纳入自身的权重或参数中。例如，给定关于阿波罗太空计划面临的挑战的陈述，该模型会生成新的段落来尝试描述该陈述的影响。研究人员将此与人类学生写和复习笔记以帮助学习的方式进行了比较。然后，系统使用此数据更新模型，并测试新模型回答一组问题的能力。最后，这提供了强化学习信号，帮助引导模型进行更新，以提高其整体能力并帮助其继续学习。
研究人员在两个开源模型 Meta 的 Llama 和阿里巴巴的 Qwen 的中小版本上测试了他们的方法。他们说，这种方法也应该适用于更大的前沿模型。研究人员在文本以及名为 ARC 的基准测试上测试了 SEAL 方法，该基准测试衡量 AI 模型解决抽象推理问题的能力。在这两种情况下，他们都看到 SEAL 允许模型在初始训练后继续很好地学习。监督这项工作的 MIT 教授 Pulkit Agrawal 表示，SEAL 项目涉及到 AI 中的重要主题，包括如何让 AI 自己弄清楚它应该尝试学习什么。他说，它很可能被用于帮助使 AI 模型更个性化。“LLMs 很强大，但我们不希望它们的知识停止，”他说。
SEAL 还不是 AI 无限改进的方法。一方面，正如 Agrawal 所指出的，所测试的 LLMs 存在所谓的“灾难性遗忘”问题，即当摄入新信息时，旧知识会简单消失，这是一种令人不安的效应。这可能表明人工神经网络和生物神经网络之间存在根本差异。Pari 和 Zweigler 还指出，SEAL 计算量大，目前还不清楚如何最好地最有效地安排新的学习周期。Zweigler 提到一个有趣的想法，即像人类一样，也许 LLMs 可以经历“睡眠”时期，在其中整合新信息。尽管有其局限性，但 SEAL 是进一步 AI 研究的一条令人兴奋的新路径，它很可能会融入未来的前沿 AI 模型中。你对能够持续学习的 AI 有什么看法？发送电子邮件至 hello@wired.com 让我知道。