衡宇发自凹非寺 量子位公众号QbitAI 听到唔哩唔哩的警笛声，你可以迅速判断出声音来自路过的一辆急救车。 能不能让AI根据音频信号得到发声物完整的、精细化的掩码图呢？ 来自合肥工业大学、商汤、澳国立、北航、英伟达、港大和上海人工智能实验室的研究者提出了一项新的视听分割任务（AudioVisualSegmentation，AVS）。 视听分割，就是要分割出发声物，而后生成发声物的精细化分割图。 相应的，研究人员提出了第一个具有像素级标注的视听数据集AVSBench。 新任务、新的数据集，搞算法的又有新坑可以卷了。 据最新放榜结果，该论文已被ECCV2022接受。精准锁定发声物 听觉和视觉是人类感知世界中最重要的两个传感器。生活里，声音信号和视觉信号往往是互补的。 视听表征学习（audiovisuallearning）已经催生了很多有趣的任务，比如视听通信（AVC）、视听事件定位（AVEL）、视频解析（AVVP）、声源定位（SSL）等。 这里面既有判定音像是否描述同一事件物体的分类任务，也有以热力图可视化大致定位发声物的任务。 但无论哪一种，离精细化的视听场景理解都差点意思。 AVS任务与SSL任务的比较 视听分割迎难而上，提出要准确分割出视频帧中正在发声的物体全貌 即以音频为指导信号，确定分割哪个物体，并得到其完整的像素级掩码图。AVSBench数据集 要怎么研究这个新任务呢？ 鉴于当前还没有视听分割的开源数据集，研究人员提出AVSBench数据集，借助它研究了新任务的两种设置： 1、单声源（Singlesource）下的视听分割 2、多声源（Multisources）下的视听分割 数据集中的每个视频时长5秒。 单声源子集包含23类，共4932个视频，包含婴儿、猫狗、吉他、赛车、除草机等与日常生活息息相关的发声物。 AVSBench单源子集的数据分布 多声源子集则包含了424个视频。 结合难易情况，单声源子集在半监督条件下进行，多声源子集则以全监督条件进行。 研究人员对AVSBench里的每个视频等间隔采样5帧，然后人工对发声体进行像素级标注。 对于单声源子集，仅标注采样的第一张视频帧；对于多声源子集，5帧图像都被标注这就是所谓的半监督和全监督。 对单声源子集和多声源子集进行不同人工标注 这种像素级的标注，避免了将很多非发声物或背景给包含进来，从而增加了模型验证的准确性。一个简单的baseline方法 有了数据集，研究人员还抛砖引玉，在文中给了个简单的baseline。 吸收传统语义分割模型的成功经验，研究人员提出了一个端到端的视听分割模型。 这个模型遵循编码器解码器的网络架构，输入视频帧，最终直接输出分割掩码。 另外，还有两个网络优化目标。 一是计算预测图和真实标签的损失。 而针对多声源情况，研究人员提出了掩码视听匹配损失函数，用来约束发声物和音频特征在特征空间中保持相似分布。部分实验结果 光说不练假把式，研究人员进行了广泛实验。 首先，将视听分割与相关任务的6种方法进行了比较，研究人员选取了声源定位（SSL）、视频物体分割（VOS）、显著性物体检测（SOD）任务上的各两个SOTA方法。 实验结果表明，视听分割在多个指标下取得了最佳结果。 和来自相关任务方法进行视听分割的对比结果 其次，研究人员进行了一系列消融实验，验证出，利用TPAVI模块，单声源和多声源设置下采用两种backbone的视听分割模型都能得到更大的提升。 引入音频的TPAVI模块，可以更好地处理物体的形状细节（左），并且有助于分割出正确的发声物（右） 对于新任务的视听匹配损失函数，实验还验证了其有效性。 OneMoreThing 文中还提到，AVSBench数据集不仅可以用于所提出的视听分割模型的训练、测试，其也可以用于验证声源定位模型。 研究人员在项目主页上表示，正在准备比AVSBench大10倍的AVSBenchv2。 一些视频的分割demo也上传在主页上。感兴趣的话可以前往查看 论文地址： https：arxiv。orgabs2207。05042 GitHub地址： https：github。comOpenNLPLabAVSBench 项目主页： https：opennlplab。github。ioAVSBench 完 量子位QbitAI头条号签约 关注我们，第一时间获知前沿科技动态
刘烨与谢娜分手16年各自的人生都是繁花与眼泪相伴头条创作挑战赛点击关注，每天都有名人故事感动您！刘烨刘烨是家喻户晓的一线男星，主演了《蓝宇》《那山那人那狗》《北平无战事》《硬汉》《美人草》《拿什么拯救你，我……寒露又逢高血压日，专家提醒秋冻勿盲目本报讯（记者蒋晓春通讯员杨璞）10月8日是农历二十四节气中的寒露，也是第25个全国高血压日，今年的宣传主题是血压要知晓，降压要达标。农谚道：吃了寒露饭，单衣汉少见。专家提……不容易！樊振东对阵法尔克取得胜利赢得开门红，小胖都打出汗了刚刚结束的世乒赛男团四分之一决赛第一盘比赛，中国国乒男单一哥樊振东直落三局战胜了瑞典男团的法尔克。三局比分为11：7，11：9，11：5。瑞典男团各个都是猛将，任何一盘比赛都不……11次出手得18分，还有7个篮板球，山西队第8顺位选了个宝季前赛的又一场焦点之战。上海队对阵山西队。关于这场比赛的看点，两支球队都有很多。先来说说上海队这边。上个赛季没能打进总决赛，这让球队的管理层很是不甘，在……独家2022计算机科学CS美研项目自制排名前言：2022年全世界在逐渐从COVID19的阴霾中缓缓走出来，疫情极大推动了科技的发展，很多工作都陆续在往线上转型。为了抗击疫情，机器学习（machinelearnin……2023年元旦用酒，在超市遇到这4款别犹豫，抓紧下手，低价又我们这个地方冬天夏天都是差不多的温度。只不过是稍微冷和稍微热些的差别，也其实一年四季没有分的那么明显，冬天来的还是挺悄无声息的，这是让人比较遗憾的一点，我看了许多视频上面北方的……提醒中老年人3个习惯比烟酒伤身，堪比长寿克星，建议了解生活中，每个人都有不同的作息习惯，根据体质差异，不同的习惯所产生的影响程度也有高有低，然而在上了年纪之后，人们一些坚持很久的习惯往往会给身体带来不可逆的伤害。很多人在提到……每次吵架我总负气离家出走，走了七年却没走出他的手掌心头条创作挑战赛每次跟他吵架，我总会气得离家出走，以前他会寻我，再把我七哄八骗的拖回家。现在再吵，他随我暴走，坐在家里等我蔫巴兮兮的自己走回来！这条离家出走的路我走了七年，结果走……郑州医惠保正式上线89元保一年，最高保障200万（附详细答疑大河报豫视频记者郑超89元保一年，不限年龄、职业、户籍、健康状况，可带病投保，医保个账可缴费，最高保障200万。12月20日，郑州医惠保正式上线，参保时间持续到20……胃不好的人，早餐可以常吃5种食物，胃病或慢慢好转胃对于人体健康非常重要，可以起到消化和吸收的作用，如果胃部受到损伤，可能会产生腹痛或者腹胀，还会导致恶心和呕吐，长时间以来营养吸收障碍引起自身免疫力和抵抗能力低下，甚至还会导致……美媒国轩高科瞄准36亿美元美国密歇根州工厂，拟开发大型项目生路透社9月21日消息，据美国密歇根州本地媒体TheDetroitNews报道，知情人士称，国轩高科境外全资孙公司美国国轩（Gotion）正计划在美国密歇根州大急流城附近开发一个……腾讯慎待元宇宙反提全真互联公司高级执行副总裁汤道生服务真实场每经记者：王帆每经编辑：文多当前，数字经济发展迅猛，正推动生产方式、生活方式和治理方式深刻变革，成为全球创新和经济增长的新动能，这也让数字技术与实体经济如何加快融合成为当……