主要内容
研究人员利用遍布全球的 GPU 训练了一种新型大型语言模型（LLM），并使用了私人和公共数据——这一举措表明，构建人工智能的主导方式可能会受到干扰。
两家追求非传统 AI 构建方法的初创公司 Flower AI 和 Vana 合作创建了名为 Collective-1 的新模型。Flower 创造了可将训练分布在数百台通过互联网连接的计算机上的技术，其技术已被一些公司用于训练 AI 模型，无需汇集计算资源或数据。Vana 提供了数据来源，包括 X、Reddit 和 Telegram 的私人消息。
以现代标准来看，Collective-1 规模较小，有 70 亿个参数，而当今最先进的模型如 ChatGPT、Claude 和 Gemini 则有数千亿个参数。剑桥大学计算机科学家、Flower AI 联合创始人 Nic Lane 表示，这种分布式方法有望超越 Collective-1 的规模。他还说，Flower AI 正在使用常规数据训练一个 300 亿参数的模型，今年晚些时候计划训练另一个接近行业领先规模的 1000 亿参数模型。
Lane 称，该初创公司还在将图像和音频纳入训练，以创建多模态模型。分布式模型构建也可能改变塑造 AI 行业的权力动态。目前，AI 公司通过将大量训练数据与集中在数据中心的大量计算相结合来构建模型，这些数据中心通过超高速光纤电缆联网。
分布式方法使较小的公司和大学能够通过汇集不同的资源来构建先进的 AI，也使缺乏传统基础设施的国家能够将几个数据中心联网以构建更强大的模型。Lane 认为，AI 行业将越来越多地关注允许训练突破单个数据中心的新方法。
AI 治理专家 Helen Toner 表示，Flower AI 的方法对 AI 竞争和治理“有趣且可能非常相关”，可能会继续努力跟上前沿，但可能是一种有趣的快速跟随方法。
分布式 AI 训练涉及重新思考用于构建强大 AI 系统的计算方式的划分。创建 LLM 涉及将大量文本输入模型，该模型调整其参数以对提示产生有用的响应。新方法允许在可能相距数英里且通过相对缓慢或可变的互联网连接的硬件上执行通常在大型数据中心内部完成的工作。一些大公司也在探索分布式学习。去年，谷歌的研究人员展示了一种新方案。