音效师狂喜!谷歌推出首个AI视频自动配音工具,一个人干了后期活

提供1000 款AI效率工具丨AIEVA.CN丨欢迎访问

AI奇点网-AI工具特刊丨6月19日

音效师狂喜!谷歌推出首个AI视频自动配音工具,一个人干了后期活

谷歌发布新一代AI视频自动配音工具,AI视频开启「有声时代」!

6月17日,谷歌人工智能团队DeepMind发布了一个名为V2A(Video-to-Audio)的AI架构系统,顾名思义即“视频转音频”,能根据画面内容或者手动输入的提示词直接为视频配音。

该模型最大的功能在于,可为任何视频自动创建合适的音轨BGM,在实践中取得了十分有效的进展,可以大大降低视频配音的制作成本。

音效师狂喜!谷歌推出首个AI视频自动配音工具,一个人干了后期活

当前Sora、Pika、可灵以及Runway等视频模型已经能输出逼真的短片,但它们均输出的是默片

谷歌V2A系统的特点,便是V2A能依靠自身的多模态视觉能力理解视频当中的信息。V2A能看懂画面,知道画面里正在发生什么,应该出现什么声音。

举个例子,比如输入一则主题为「在黑暗中行走」的无声视频,添加“电影、恐怖片、音乐、紧张、混凝土上的脚步声”等文本提示后,AI模型就能根据提示词生成恐怖片风格的背景音效,十分逼真。

脚步声基本吻合人物走动的节奏,随着画面的切换,脚步声也随之消失,毛骨悚然的紧张感拉满。

为了能够贴近Sora热点,谷歌V2A的开发团队使用了不少Sora生成的视频片段作为输入范例。

比如上边这段Sora生成的水母漂荡影像,营造出了负压十足的深海水压感。

下方这则短片也是Sora的样片,经由V2A生成的音乐配乐后的视频颇有西部大片的感觉。

当然也不是每一次生成的配音都是完美的,比如架子鼓的敲击,这种复杂的音频场景就会发生音画不同步的情况。

除了纯粹的配音外,谷歌V2A给了创作者很大的自由度。

影片创作者可以根据可以通过明确的“正面”提示词,引导模型输出所需的声音,或者输入“负面”提示词,以规避不想出现的音效。让用户可以创作不同的音画匹配。

让我们看下面这个Sora样片的配音效果,提供了两种截然不同的画面情绪氛围:

【视频①】营造星际穿越的孤独感

【视频②】营造星际穿越的史诗感

只需简单调整提示词,谷歌V2A就能迅速给创作者提供风格迥异的音频。

当然,V2A还允许用户通过输入“正面提示词”来引导模型输出所需的声音,或输入“负面提示词”来引导其避免出现不需要的声音,这给了创作者更大的控制力。

与其他普通的AI音频生成工具不同,V2A输出的视频是配音完毕的完整片段,无需人工对齐音频与视频,可实现音画自动对齐。

V2A配音案例——狼吼

V2A配音案例——电吉他

谷歌Deepmind也承认,该AI系统目前仍然存在较大的局限性。如果输入的视频质量不高,或者无法吻合预训练的视频类型,那么输出的音频质量也会出现明显的下降。

因此,谷歌目前正在改善安全性并补齐当前V2A在人物对口型方面的短板,才会正式向公众发布这一AI配音工具。

这套AI配音系统是如何工作的呢?

谷歌DeepMind的研究人员称,V2A系统首先会将视频进行压缩,然后借助扩散模型从中随机抽取噪声以提炼和学习音画对应的音频信息。

音效师狂喜!谷歌推出首个AI视频自动配音工具,一个人干了后期活

该过程经由视觉输入和自然语言提示作为引导,以匹配提示词生成对应的音频。最后,音频输出并解码,转为一般音频文件并与视频数据组合对齐。

音效师狂喜!谷歌推出首个AI视频自动配音工具,一个人干了后期活

为了能引导生成更高质量的音频,谷歌DeepMind的研究人员在训练过程中添加了许多人工标注的信息。V2A系统渐渐学会了将特定的音频事件与各种视觉场景相关联,并且将提示词中提供的信息与之匹配。

需要注意到是,谷歌目前并不打算向公众开放V2A系统,还需要许多准备工作。

音效师狂喜!谷歌推出首个AI视频自动配音工具,一个人干了后期活

考虑到Fake News(假新闻)粗制滥造的可能,谷歌DeepMind强调,他们会考虑在V2A系统AI生成的内容添加元数据水印,防止外界滥用该技术。

从文生图到文生视频,到音画同步,谷歌V2A系统的发布将给影视内容创作的生态带来巨大的改变,尤其是在后期剪辑与动画制作方面。

相信今年将是AI视频爆发的元年。

项目主页:https://deepmind.google/discover/blog/generating-audio-for-video/

【本文来自丨AI奇点网丨全网账号同名丨欢迎搜索关注】

AI奇点网丨提供1000 款AI效率工具丨AIEVA.CN丨欢迎访问

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

(0)
上一篇 2024年7月26日 下午3:42
下一篇 2024年7月26日 下午3:54

相关推荐

  • 会议管理软件品牌

    会议管理软件品牌:高效会议管理的必备工具 随着现代会议数量的不断增加,会议管理软件已经成为了许多组织和个人的必备工具。这些软件可以帮助组织者更好地管理会议,提高会议效率,降低会前准…

    科研百科 2025年1月4日
    0
  • 科研经费管理问题

    科研经费管理问题 科研经费是科学家进行科学研究的重要资源,也是推动科技创新和发展的关键因素。然而,科研经费管理问题却成为了当前科研领域面临的一个严峻挑战。 科研经费管理问题主要体现…

    科研百科 2024年8月21日
    43
  • 科研项目中止和撤项的区别科研项目中止和撤项的区别

    科研项目中止和撤项的区别 科研项目中止和撤项都是影响科研项目进展的重要事件,但两者之间存在一些本质的区别。 科研项目中止是指项目在研究过程中出现了不可预见或无法控制的问题,导致项目…

    科研百科 2024年9月8日
    36
  • 培训项目执行管理系统

    培训项目执行管理系统 随着培训行业的不断发展,培训项目执行管理系统已经成为许多机构和企业必不可少的工具。一个好的培训项目执行管理系统可以帮助您有效地管理培训项目,提高培训效率和质量…

    科研百科 2024年12月25日
    0
  • 广特播报发布上海电视台播出——日铁软件(上海)有限公司(上海广播电视台rts)

    当前,数字经济蓬勃发展,制造业的数字化、智能化转型,正推动实体经济实现质量与效率的重大变革,成为了制造业高质量发展的重要途径。智能变革,数字未来,日铁软件(上海)有限公司自成立20…

    科研百科 2024年5月7日
    72
  • 科研项目管理平台原型

    科研项目管理平台原型 随着科技的不断进步,科研项目管理已经成为了一个越来越重要的话题。一个高效的科研项目管理平台可以帮助研究人员更好地管理项目进度,资源,质量和风险。本文将介绍一个…

    科研百科 2024年12月3日
    5
  • 党建与业务同频共振,助力律所高质量发展(律所党建共建)

    记者 刘一诺 近年来,山东达洋律师事务所党支部以党建带所建,以党建塑品牌,通过打造“枫舸”党建品牌,创新“四坚四实”工作法,始终保持党建与业务工作同频共振,为律所的高质量发展提供了…

    科研百科 2023年6月28日
    110
  • 外委项目管理办法

    外委项目管理办法 为规范外委项目的管理,提高项目管理的效率和质量,根据《中华人民共和国项目管理法》等相关法律法规,我们制定了《外委项目管理办法》。 本管理办法的适用范围: 本办法适…

    科研百科 2024年9月20日
    24
  • 公司安全保障——保安管理制度(公司安保管理制度范本)

    一、总则 第一条、为加强保安队伍的管理工作,使保安人员值勤执行任务有所依据,确保公司人员、财产、治安、消防安全,特制定本制度。 第二条、认真做好保安管理工作,自觉服从上级管理人员的…

    科研百科 2024年1月31日
    133
  • XXX学校党组织领导的校长负责改革方案

    标题:XXX学校党组织领导的校长负责改革方案 正文: 近年来,随着教育领域的不断发展和改革,学校党组织领导的校长负责改革方案已成为教育改革的重要议题。为了推动学校教育改革,提高教育…

    科研百科 2024年11月29日
    2