CVPR2022 Oral | AI学会“赞叹”音乐会，还get了推理技能

研究课题影音交互桥段解读和侦探小说，并可以在一定程度上尽量避免桥段之中的频率弊端。

大多数披露详述类数据资料集（ActivityNet-QA, AVSD等）之中的声响讯息通常与其所示像对象不匹配，会产生情况严重的频率（如背景音乐创作），这使得它们易于聚焦并不相同一般性之间的相似性。此外，TVQA数据资料集虽然都有所示像和声响一般性，但其声响是由人类说话声构成的，在其详述对相紧密结合步骤之中也只采用了相应的原音讯息，并不是毫无疑问的视音相似性桥段。

终究数据资料集都有了9,288个录像并都有了22种打击乐，其总用时超过150每隔。并且以众包的表现形式形成了45,867个详述对，平均每个录像约5个详述对，这些详述对涵括了并不相同一般性下的9类弊端并不一定以及33个并不相同的弊端模板。多种不同化而多种不同繁复的数据资料集对AVQA护航的研究课题较强较大的价值和意义。

△MUSIC-AVQA数据资料集克尔数据资料系统性

2. 基本概念原理

为了解决上述 AVQA 护航，我们分别从自由空间和连续性感所致的角度出发，提议了一种自适应视音桥段下的自由空间-连续性详述基本概念（如下所示下所示）。

△自适应视音桥段的自由空间-连续性详述基本概念

首先，声响及其所示像源的位置反映了影音一般性之间的自由空间相似性，这更全面将繁复的桥段转化为就其的影音相似性。因此我们提议了一个基于安全感组态的基频定位的自由空间模块来精心新设计这种串连一般性的相似性。

其次，由于影音桥段随星期自适应变化，因此抓取和显眼与弊端密切之外的不可或缺星期得用至关重要。因此，我们提议了采用弊端特质作为查询的星期基础模块来聚焦不可或缺星期片段，以有效率编码弊端感所致磁带和所示像的嵌入。

最后，融合上述自由空间感所致和星期感所致的影音特质，得不到详述的为首问到，以预见录像相似性弊端的无误。

3. 实验者结果

如下表下所示，替换成Audio和Visual一般性讯息都更全面基本概念耐用性的增加。

此外，能微小看不到当紧密结合声响和所示像一般性时，AV+Q 基本概念的耐用性比A+Q和V+Q基本概念要好得多，这声称多感官感所致更全面增加详述护航的耐用性。

我们也能看不到视音自由空间相似性模块和连续性相似性模块都必须很微小地增加基本概念的耐用性，从而更快地对桥段来进行解读。

△并不相同一般性消融实验者表

下表则展出了一些最近的QA原理在我们的MUSIC-AVQA数据资料集上的结果。

结果首先声称所有的AVQA原理都要好于VQA、AQA和VideoQA原理，这概述多一般性感所致可以竭尽所能AVQA护航。

其次我们的原理在大多数影音弊端上取得了较大的进步，特别是对于无需自由空间和连续性侦探小说的影音弊端更为微小（如Temporal和Localization等）。

△与其他QA类原理对比

为了全面概述所提基本概念的有效性和可解释性，我们来进行了一些可视化展出。其之中热能所示问到基频的位置，热能所示下方的表格问到连续性上的安全感名次。从可视化结果可以微小看出所提的基本概念在多一般性影音桥段之中较强更好的解读和侦探小说技能。

△可视化结果

总述

总体来说，本文聚焦了如何说道有关并不相同所示像对象、声响及其在录像之中的相似性的弊端，从而对自适应繁复的视音桥段来进行细粒度解读和侦探小说。

作者开发团队相紧密结合了一个都有45,867个并不相同影音一般性和多种弊端并不一定详述对的大规模MUSIC-AVQA数据资料集，以及提议了一个比较简单高效的视音连续性-自由空间基本概念来更好的解决AVQA弊端。

我们确信提议的MUSIC-AVQA数据资料集可以成为评估影音桥段细粒度解读和异度侦探小说的基准平台，同时也相信这项工作是聚焦影音侦探小说的前上奏之作，为该应用领域开创了一个良好的开端，并借此想要必须激励更多的研究课题成果同我们一道去聚焦这一应用领域。

开发团队主要来自释法AI所学院

本项研究课题由之吉林大学高瓴智能所学院为首，与美国杜克大学大学合作收尾，通讯作者为GeWu实验者室丹尼助理副教授，主要主旨由GeWu实验者室研究课题生马来西亚人负责。

丹尼同学于2019年获西北工业大学博士学位，受教李学龙副教授，担任QQ科技所学院智能研究课题员，于2020年8月加入之吉林大学。丹尼同学所致之中国科协大学生专才托举建设工程资助，曾荣获2020年之中国智能总会优博奖，入围之吉林大学“优秀人类学家”方案。

GeWu实验者室现有就其的研究课题方向主要之外多一般性桥段解读、多一般性学习组态和串连一般互与转化成等。

项目地址：

— 完 —

凝聚态位 QbitAI · 头条号续约

。

拉萨哪家白癜风医院
昆明白癜风治疗哪家好
西安白癜风医院
打鼾吃什么药有效
尿酸高
盐酸坦洛新缓释片治疗前列腺好吗
急性肠胃炎拉肚子拉水
感冒吃阿莫西林胶囊有用吗