Meta AI实验室推三项新AI项目庆祝成立十周年:Ego-Exo4D、Audiobox等
Meta AI实验室推三项新AI项目庆祝成立十周年:Ego-Exo4D、Audiobox等
登录
Meta AI实验室推三项新AI项目庆祝成立十周年:Ego-Exo4D、Audiobox等
Meta AI实验室推三项新AI项目庆祝成立十周年:Ego-Exo4D、Audiobox等

Meta AI实验室推三项新AI项目庆祝成立十周年:Ego-Exo4D、Audiobox等

**划重点:**

1. 🌐 **Ego-[]Exo4D:[]** Meta发布[]支持视频学习[]和多模态感知[]的数据集,涵[]盖运动、音乐[]、烹饪等复杂[]人类活动,可[]用于增强现实[]、机器学习和[]社交网络。

2. 💬 **Seam[]less Commun[]icatio[]n:** 推出四个AI[]研究模型,旨[]在跨越语言界[]限实现更自然[]、真实的表达[]和快速翻译,[]包括保留语音[]表达和语境的[]Seamle[]ssExpr[]essive[]等功能。

3. 🎶 **Audiobox:** Meta的新音频生成模型,通过语音输入和自然语言文本提示生成声音和音效,以创造定制的音频文件,为研究人员和学术机构提供先进的音频生成研究支持。

12月1日 消息:为庆祝Meta基础人工智能研究(FAIR)团队成立十周年,公司隆重推出三个创新的人工智能项目,展示了引人注目的演示。

Ego-Exo4D: 

官方项目介绍网址:https://ai.meta.com/blog/ego-exo4d-video-learning-perception/

Meta AI实验室推三项新AI项目庆祝成立十周年:Ego-Exo4D、Audiobox等

该项目以数据[]集及基准测试[]的形式呈现,[]旨在支持视频[]学习和多模态[]感知的人工智[]能研究。由M[]eta的FA[]IR、Pro[]ject Aria,以[]及来自全球1[]5所大学的合[]作伙伴在两年[]内共同收集,[]Ego-Ex[]o4D捕捉了[]佩戴Proj[]ect Aria头戴[]设备的参与者[]的&ldqu[]o;自我中心[]&rdquo[];视角和周围[]摄像机的&l[]dquo;外[]部中心&rd[]quo;视角[]

这一数据集聚[]焦于复杂的人[]类活动,如运[]动、音乐、烹[]饪、舞蹈和自[]行车维修。M[]eta认为,[]该数据集在增[]强现实系统、[]机器人学习以[]及社交网络等[]领域具有广泛[]应用前景。1[],400多小[]时的视频数据[]将于12月以[]开源形式发布[],并计划于明[]年进行Ego[]-Exo4D[]公开基准竞赛[]

Seamless Communication:

官方项目介绍[]网址:htt[]ps://a[]i.meta[].com/b[]log/se[]amless[]-commu[]nicati[]on/

该项目旨在通过四个AI研究模型实现更自然、真实的跨语言交流。包括保留语音表达和语境的SeamlessExpressive,以及提供约两秒延迟的语音和文本翻译的SeamlessStreaming。此外,SeamlessM4T v2是一个多语言、多任务的模型,用于轻松实现语音和文本之间的交流。最终,Seamless将集成SeamlessExpressive、SeamlessStreaming和SeamlessM4T v2的功能于一个模型中。

Meta AI实验室推三项新AI项目庆祝成立十周年:Ego-Exo4D、Audiobox等

Meta还发[]布了Seam[]lessEx[]pressi[]ve的演示,[]用户可以在其[]中将其语音翻[]译成其他语言[],增强了跨语[]言沟通的交互[]性。

官方演示网址[]:https[]://sea[]mless.[]metade[]molab.[]com/ex[]pressi[]ve/

Audiobox:

官方项目介绍[]网址:htt[]ps://a[]i.meta[].com/b[]log/au[]diobox[]-gener[]ating-[]audio-[]voice-[]natura[]l-lang[]uage-p[]rompts[]/

这是Meta全新的音频生成模型,通过结合语音输入和自然语言文本提示,能够生成声音和音效,从而更轻松地创建用于不同用途的定制音频文件。相比其前身Voicebox,Audiobox通过允许用户使用自然语言提示来创建所需的声音或语音类型,提供了更强的可控性。

Meta AI实验室推三项新AI项目庆祝成立十周年:Ego-Exo4D、Audiobox等

Meta表示,该模型将首先提供给一组选择的研究人员和学术机构,以推动音频生成研究的发展,并确保人工智能的负责任发展。

这三个项目的推出标志着Meta FAIR团队十年来在人工智能领域取得的巨大成就,并为未来的技术发展和创新奠定了坚实基础。

    版权归属: noBug
    本文链接: https://wucuo.com/post/223
    相关推荐

    评论区

    提示:本文章评论功能已关闭