研究院发布五项成果推动类人人工智能发展

新闻要点

Meta FAIR团队宣布五个项目推进先进机器智能研究。此次发布聚焦提升AI感知等能力,涉及语言建模、机器人等领域。新成果在图像视频任务、视觉语言模型等方面有突破,有望推动AI发展。

- 发布五个项目推进先进机器智能研究

- 感知编码器在多任务上性能超现有模型

- PLM模型及新基准助力开源社区研究

- Meta Locate 3D让机器人实现3D环境定位

正文

Meta 的基础人工智能研究(FAIR)团队宣布了五个推进公司追求先进机器智能(AMI)的项目。Meta 的最新发布重点在于增强人工智能感知——机器处理和解释感官信息的能力——以及语言建模、机器人技术和协作式人工智能代理的进步。Meta 表示其目标是创建能够获取、处理和解释关于我们周围世界的感官信息,并能够使用此信息以类似人类的智能和速度做出决策的机器。

这五个新发布代表了朝着实现这一雄心勃勃的目标的不同但相互关联的努力。

感知编码器:Meta 提升人工智能的“视觉”
新发布的核心是感知编码器,被描述为一种旨在在各种图像和视频任务中表现出色的大规模视觉编码器。视觉编码器充当人工智能系统的“眼睛”,使它们能够理解视觉数据。Meta 强调了构建满足高级人工智能需求的编码器所面临的日益增长的挑战,需要具备跨越视觉和语言、有效处理图像和视频以及在包括潜在对抗性攻击在内的具有挑战性的条件下保持稳健的能力。Meta 认为,理想的编码器应该能够识别广泛的概念,同时区分细微的细节——例如发现“藏在海底的黄貂鱼、在图像背景中识别一只小金丝雀或在夜视野生动物相机上捕捉一只奔跑的豚鼠”。Meta 声称感知编码器在图像和视频零样本分类和检索方面实现了“卓越的性能,超越了所有现有的开源和专有模型”。此外,其感知优势据报道在语言任务中也表现良好。当与大型语言模型(LLM)对齐时,该编码器在视觉问答(VQA)、字幕、文档理解和基础(将文本链接到特定图像区域)等领域据说优于其他视觉编码器。它还据说提高了传统上对 LLM 困难的任务的性能,例如理解空间关系(例如“一个物体在另一个物体后面”)或相机相对于物体的运动。Meta 表示:“随着感知编码器开始被整合到新的应用中,我们很高兴看到其先进的视觉能力将如何使更强大的人工智能系统成为可能。”

感知语言模型(PLM):视觉语言的开放研究
与编码器相辅相成的是感知语言模型(PLM),这是一种旨在处理复杂视觉识别任务的开放且可重现的视觉语言模型。PLM 是使用大规模合成数据与开放视觉语言数据集结合进行训练的,明确没有从外部专有模型中提炼知识。认识到现有视频理解数据的差距,FAIR 团队收集了 250 万新的、人工标记的样本,专注于细粒度视频问答和时空字幕。Meta 声称这构成了“迄今为止最大的此类数据集”。PLM 提供 10 亿、30 亿和 80 亿参数版本,以满足需要透明度的学术研究需求。除了模型,Meta 还发布了 PLM-VideoBench,这是一个专门设计用于测试现有基准经常遗漏的能力的新基准,即“细粒度活动理解和时空基础推理”。Meta 希望开放模型、大型数据集和具有挑战性的基准的结合将赋予开源社区力量。

Meta Locate 3D:赋予机器人情境意识
弥合语言命令和物理动作之间的差距的是 Meta Locate 3D。这个端到端模型旨在允许机器人根据开放词汇自然语言查询在 3D 环境中准确定位对象。

评论 0

逛逛 Pop ↗
奖励 100 宝石

评论审核通过后可获奖励,与 Pop 共用每日 3 条额度,同一新闻每天奖励一次。

还没有评论,来分享第一个想法吧。

提交反馈

每一个想法,都让 Mergeek 更好一点。