主要内容
迪恩·莱特斯特多夫通过 Zoom 介绍自己，然后输入一个提示，让我感觉自己刚刚服用了致幻蘑菇：“狂野西部、宇宙、罗马帝国、金色、水下”。他将这些词输入到自己的初创公司 Decart 开发的人工智能模型中，该模型实时处理实时视频。“我不知道会发生什么，”莱特斯特多夫笑着说，不久之后，他就变成了一个穿着披风、怪异的、带有金色色调的水下版尤利乌斯·恺撒。莱特斯特多夫已经看起来有点狂野——长发垂在背后，一支笔在他的手指间做着杂技。在我们交谈时，随着模型尝试预测每一帧的外观，他的屏幕图像以超现实的方式波动。莱特斯特多夫用手捂住脸，变成了更具女性特征的样子。他的笔在不同的颜色和形状之间跳跃。他添加了更多的提示，带我们进入新的迷幻领域。Decart 的视频到视频模型 Mirage 既是一项令人印象深刻的工程壮举，也是人工智能可能很快撼动直播行业的一个迹象。像 OpenAI 的 Sora 这样的工具可以通过文本提示生成越来越逼真的视频片段。Mirage 现在使实时处理视频成为可能。周四，Decart 将推出一个网站和应用程序，允许用户创建自己的视频并修改 YouTube 剪辑。该网站提供了几个默认主题，包括“动漫”、“迪拜天际线”、“赛博朋克”和“凡尔赛宫”。在我们的采访中，莱特斯特多夫上传了一段有人玩《堡垒之夜》的剪辑，场景从熟悉的《战斗皇家》世界转变为水下版本。Decart 的技术在游戏方面有很大的潜力。2024 年 11 月，该公司展示了一款名为 Oasis 的游戏，该游戏使用与 Mirage 类似的方法实时生成一个可玩的《我的世界》风格的世界。用户可以靠近一个纹理，然后再次放大，在游戏中生成新的可玩场景。实时处理实时场景在计算上更加繁重。Decart 编写了低级代码，从英伟达芯片中挤出高速计算以实现这一壮举。Mirage 以 768×432 的分辨率每秒生成 20 帧，每帧延迟 100 毫秒——足以满足高质量的 TikTok 剪辑。实时构建视频也是一个挑战，因为模型很容易以极端方式偏离现实。Decart 开发了一种用于训练和运行模型的自定义方案，以实现更大的连贯性。该公司还设计了一种让其模型快速纠正错误的方法。Decart 表示，它正在努力实现全高清和 4K 输出，并寻找让用户控制其视频的新方法。“我们很快将有更多的版本推出，让你可以进行更具体的编辑，”莱特斯特多夫说。我可以想象这个工具在 TikTok 或 Instagram 等平台上变得流行——我当然很享受和朋友一起尝试创建奇怪场景的过程，生成了各种各样看起来神秘的赛博朋克角色，有些角色的手指数量不可思议。但它的不可预测性可能会引起争议。有时，该模型似乎莫名其妙地想要改变用户的种族。莱特斯特多夫表示，除了他自己的公司，只有最大的人工智能实验室——OpenAI、Anthropic、xAI、谷歌和 Meta——才有技术能力构建像 Mirage 这样的东西。但他无意被收购。“我们有五年时间，努力打造一只千亿美元的独角兽，”他说，转动着他的笔。“那是 10000 亿美元，或 1 万亿用户。”