主要内容
Adobe 为电影制作人提供了新的生成式 AI 音频工具，可快速为视频添加主题合适的背景音乐和旁白。生成配乐和生成语音功能被引入重新设计的 Adobe Firefly AI 应用程序，同时 Adobe 也在开发一种新的基于网络的视频制作工具，将多个 AI 功能与简单的编辑时间线相结合。
生成配乐工具在 Firefly 应用程序中推出公共测试版，通过评估上传的视频，生成一系列自动与视频同步的乐器音频剪辑。用户可通过选择提供的预设（如低保真、嘻哈、古典、电子舞曲等）或在提供的文本提示界面中描述所需氛围来指导音乐风格——要求更感性、更激进等。该工具还将根据上传的视频片段提供一个提示，可作为起点。Adobe 生成式 AI 负责人 Alexandru Costin 向 The Verge 表示：“我们希望帮助用户提示音乐。这是我们需要培养的新能力，因此为了使这更简单和易于访问，如果您给我们您的片段，我们将预测与该片段搭配的音乐类型。但我们也为您提供这种 Mad Libs 方法，您可以选择氛围、风格、片段的目标。”
生成配乐将为每个提示提供四个不同的音频剪辑变体，每个剪辑最长为五分钟。生成配乐所基于的 Firefly AI 模型是在授权内容上进行训练的，这意味着它不会使创作者面临视频因版权问题被删除的风险。Costin 表示：“我们从知识产权所有者那里购买了音乐和语音，这就是我们有信心将其作为商业安全提供的原因。”
这一承诺使 Adobe 的 AI 音乐制作努力优于 Suno 和 Udio 等竞争公司，这些公司已成为版权侵权诉讼的目标，并承认在受保护的材料上训练自己的 AI 模型。生成配乐仅用于背景音频，但 Adobe 也在开发其他工具，以提供更全面的 AI 音乐制作体验——旨在为创作者省去应对知识产权法的麻烦。
Firefly 的生成语音工具也在推出公共测试版，可用于从文本为视频项目创建配音。它提供由 Adobe 的 Firefly 语音模型或 ElevenLabs 提供支持的 50 多种语音，支持 20 多种语言。用户可以微调速度、音高和情感等，并手动纠正可能有地区差异的名称或单词的发音。
另一个正在开发的电影制作工具是 Firefly 视频编辑器，Adobe 将其描述为“用于生成、组织、修剪和排序剪辑的多轨时间线编辑器”。它将 Adobe 的各种用于生成配音、配乐和标题的工具整合到一个基于网络的应用程序中，同时还具有逐帧编辑功能和样式预设。Firefly 视频编辑器将于下个月开始推出私人测试版，潜在用户需要注册等待名单以获得早期访问权限。