幼儿饰品瑜伽美体用品微软
投稿投诉
微软创意
爱情通信
用品婚姻
爱好看病
美体软件
影音星座
瑜伽周边
星座办公
饰品塑形
搞笑减肥
幼儿两性
智家潮品

听声辨物,这是AI视觉该干的???ECCV2022

  衡宇发自凹非寺
  量子位公众号QbitAI
  听到唔哩唔哩的警笛声,你可以迅速判断出声音来自路过的一辆急救车。
  能不能让AI根据音频信号得到发声物完整的、精细化的掩码图呢?
  来自合肥工业大学、商汤、澳国立、北航、英伟达、港大和上海人工智能实验室的研究者提出了一项新的视听分割任务(AudioVisualSegmentation,AVS)。
  视听分割,就是要分割出发声物,而后生成发声物的精细化分割图。
  相应的,研究人员提出了第一个具有像素级标注的视听数据集AVSBench。
  新任务、新的数据集,搞算法的又有新坑可以卷了。
  据最新放榜结果,该论文已被ECCV2022接受。精准锁定发声物
  听觉和视觉是人类感知世界中最重要的两个传感器。生活里,声音信号和视觉信号往往是互补的。
  视听表征学习(audiovisuallearning)已经催生了很多有趣的任务,比如视听通信(AVC)、视听事件定位(AVEL)、视频解析(AVVP)、声源定位(SSL)等。
  这里面既有判定音像是否描述同一事件物体的分类任务,也有以热力图可视化大致定位发声物的任务。
  但无论哪一种,离精细化的视听场景理解都差点意思。
  AVS任务与SSL任务的比较
  视听分割迎难而上,提出要准确分割出视频帧中正在发声的物体全貌
  即以音频为指导信号,确定分割哪个物体,并得到其完整的像素级掩码图。AVSBench数据集
  要怎么研究这个新任务呢?
  鉴于当前还没有视听分割的开源数据集,研究人员提出AVSBench数据集,借助它研究了新任务的两种设置:
  1、单声源(Singlesource)下的视听分割
  2、多声源(Multisources)下的视听分割
  数据集中的每个视频时长5秒。
  单声源子集包含23类,共4932个视频,包含婴儿、猫狗、吉他、赛车、除草机等与日常生活息息相关的发声物。
  AVSBench单源子集的数据分布
  多声源子集则包含了424个视频。
  结合难易情况,单声源子集在半监督条件下进行,多声源子集则以全监督条件进行。
  研究人员对AVSBench里的每个视频等间隔采样5帧,然后人工对发声体进行像素级标注。
  对于单声源子集,仅标注采样的第一张视频帧;对于多声源子集,5帧图像都被标注这就是所谓的半监督和全监督。
  对单声源子集和多声源子集进行不同人工标注
  这种像素级的标注,避免了将很多非发声物或背景给包含进来,从而增加了模型验证的准确性。一个简单的baseline方法
  有了数据集,研究人员还抛砖引玉,在文中给了个简单的baseline。
  吸收传统语义分割模型的成功经验,研究人员提出了一个端到端的视听分割模型。
  这个模型遵循编码器解码器的网络架构,输入视频帧,最终直接输出分割掩码。
  另外,还有两个网络优化目标。
  一是计算预测图和真实标签的损失。
  而针对多声源情况,研究人员提出了掩码视听匹配损失函数,用来约束发声物和音频特征在特征空间中保持相似分布。部分实验结果
  光说不练假把式,研究人员进行了广泛实验。
  首先,将视听分割与相关任务的6种方法进行了比较,研究人员选取了声源定位(SSL)、视频物体分割(VOS)、显著性物体检测(SOD)任务上的各两个SOTA方法。
  实验结果表明,视听分割在多个指标下取得了最佳结果。
  和来自相关任务方法进行视听分割的对比结果
  其次,研究人员进行了一系列消融实验,验证出,利用TPAVI模块,单声源和多声源设置下采用两种backbone的视听分割模型都能得到更大的提升。
  引入音频的TPAVI模块,可以更好地处理物体的形状细节(左),并且有助于分割出正确的发声物(右)
  对于新任务的视听匹配损失函数,实验还验证了其有效性。
  OneMoreThing
  文中还提到,AVSBench数据集不仅可以用于所提出的视听分割模型的训练、测试,其也可以用于验证声源定位模型。
  研究人员在项目主页上表示,正在准备比AVSBench大10倍的AVSBenchv2。
  一些视频的分割demo也上传在主页上。感兴趣的话可以前往查看
  论文地址:
  https:arxiv。orgabs2207。05042
  GitHub地址:
  https:github。comOpenNLPLabAVSBench
  项目主页:
  https:opennlplab。github。ioAVSBench
  完
  量子位QbitAI头条号签约
  关注我们,第一时间获知前沿科技动态

约4000元!摩托罗拉edge2022发布首发天玑1050【手机中国新闻】此前,摩托罗拉举办了新品发布会,带来了一款折叠屏旗舰手机和一款两亿像素手机,开启了手机影像的新纪元。而8月19日,手机中国注意到,摩托罗拉有一款新机edge20……OLED骁龙870120Hz,联想搅局平板市场这两年终端市场对平板电脑的需求明显有了较大提升,因此才会有越来越多的手机厂商开始加入平板行列,尤其是在安卓阵营几个手机大厂,基本都推出了自己的平板。而就在昨天,联想小新PadP……马斯克震撼演讲世界上最可怕的事情是孩子没有内驱力马斯克指出自己成功的关键是内驱力,而世界上最可怕的事情是孩子没有内驱力。作为一个屡次创造历史的男人,马斯克在诸多领域都展现了他杰出的能力。他管理了6家公司,这些企业在各自从事的……成为大格局女孩的12个建议你好,我是七月的小雨滴。专注女性成长与情感干货,欢迎关注,我在这陪你到老。我觉得人这一生,格局真的很重要,因为格局的大小决定着你的人生。格局越大,看得越远,人生之路……50!51!中斯诺克大爆发,可惜丁俊晖弃赛,傅家俊被逆转万众瞩目的斯诺克欧洲大师赛正在如火如荼地进行,中国斯诺克球员表现非常强势,其中00后小将颜丙涛大发神威5比0击败对手晋级16强,18岁的小将吴易泽大爆发,同样是5比0横扫对手晋……只需这四点,让你重新认识互联网回收随着生态危机的不断加深,生态环境的保护已是刻不容缓的问题。大量的自然资源被不断加速消耗,生态环境受到严重破坏,经济持续发展受到资源的严重制约,提高废品回收利用率已是迫在眉……2。7亿美金2。24亿美金2。51亿美金!大合同满天飞,艾宝NBA自由球员交易大门开启之际,联盟官方确定了新赛季的工资帽与奢侈税触发线,具体内容为:工资帽为1。2365亿美金,较上赛季(1。124亿美金)提升了约1160万美金;奢侈税触……方博被指抄袭,怒怼网友滚远点,要求删除侵权言论,这是怎么啦?8月24日下午,已经退役的乒乓球运动员方博在社交平台发动态:我已经委托律师事务所,你们对我的名誉侵权建议你们及时删除,不然我将通过法律手段维护自身利益。这是怎么回事?段子……女性机器人功能外形很逼真,却引发争议,网友又不能生娃在我们的日常生活中,其实早就有着机器人的身影,比如说扫地机器人,洗碗机等等,只不过这些是工具型机器人。(此处已添加小程序,请到今日头条客户端查看)还有我们去饭店吃饭时商家……英特尔将为RaptorLake加入350W极限性能模式,需配RaptorLake与AlderLake有着类似的性能核(PerformanceCore)和能效核(EfficientCore)设计,前者将由GoldenCove架构改为Rap……iPhone14将在所有型号上配备7P镜头,这家国产品牌成主随着iPhone14发布的临近,一位分析师需要一些时间来确定哪家供应商将为苹果提供所有型号的大部分7P镜头。此外,还有一些硬件回顾谈到了即将推出的型号的相机规格。即使较便……一生一世把心腾干净,住进来的人才舒服文苏小妹在感情的世界里,容不下第三者。我们的心很大,可以容纳万物。但有时候心很小,只能容下一个人。一个人的心房,只能住一个人。如果换人了,记得把心腾干净,这样住进来的人才……
刘烨与谢娜分手16年各自的人生都是繁花与眼泪相伴头条创作挑战赛点击关注,每天都有名人故事感动您!刘烨刘烨是家喻户晓的一线男星,主演了《蓝宇》《那山那人那狗》《北平无战事》《硬汉》《美人草》《拿什么拯救你,我……寒露又逢高血压日,专家提醒秋冻勿盲目本报讯(记者蒋晓春通讯员杨璞)10月8日是农历二十四节气中的寒露,也是第25个全国高血压日,今年的宣传主题是血压要知晓,降压要达标。农谚道:吃了寒露饭,单衣汉少见。专家提……不容易!樊振东对阵法尔克取得胜利赢得开门红,小胖都打出汗了刚刚结束的世乒赛男团四分之一决赛第一盘比赛,中国国乒男单一哥樊振东直落三局战胜了瑞典男团的法尔克。三局比分为11:7,11:9,11:5。瑞典男团各个都是猛将,任何一盘比赛都不……11次出手得18分,还有7个篮板球,山西队第8顺位选了个宝季前赛的又一场焦点之战。上海队对阵山西队。关于这场比赛的看点,两支球队都有很多。先来说说上海队这边。上个赛季没能打进总决赛,这让球队的管理层很是不甘,在……独家2022计算机科学CS美研项目自制排名前言:2022年全世界在逐渐从COVID19的阴霾中缓缓走出来,疫情极大推动了科技的发展,很多工作都陆续在往线上转型。为了抗击疫情,机器学习(machinelearnin……2023年元旦用酒,在超市遇到这4款别犹豫,抓紧下手,低价又我们这个地方冬天夏天都是差不多的温度。只不过是稍微冷和稍微热些的差别,也其实一年四季没有分的那么明显,冬天来的还是挺悄无声息的,这是让人比较遗憾的一点,我看了许多视频上面北方的……提醒中老年人3个习惯比烟酒伤身,堪比长寿克星,建议了解生活中,每个人都有不同的作息习惯,根据体质差异,不同的习惯所产生的影响程度也有高有低,然而在上了年纪之后,人们一些坚持很久的习惯往往会给身体带来不可逆的伤害。很多人在提到……每次吵架我总负气离家出走,走了七年却没走出他的手掌心头条创作挑战赛每次跟他吵架,我总会气得离家出走,以前他会寻我,再把我七哄八骗的拖回家。现在再吵,他随我暴走,坐在家里等我蔫巴兮兮的自己走回来!这条离家出走的路我走了七年,结果走……郑州医惠保正式上线89元保一年,最高保障200万(附详细答疑大河报豫视频记者郑超89元保一年,不限年龄、职业、户籍、健康状况,可带病投保,医保个账可缴费,最高保障200万。12月20日,郑州医惠保正式上线,参保时间持续到20……胃不好的人,早餐可以常吃5种食物,胃病或慢慢好转胃对于人体健康非常重要,可以起到消化和吸收的作用,如果胃部受到损伤,可能会产生腹痛或者腹胀,还会导致恶心和呕吐,长时间以来营养吸收障碍引起自身免疫力和抵抗能力低下,甚至还会导致……美媒国轩高科瞄准36亿美元美国密歇根州工厂,拟开发大型项目生路透社9月21日消息,据美国密歇根州本地媒体TheDetroitNews报道,知情人士称,国轩高科境外全资孙公司美国国轩(Gotion)正计划在美国密歇根州大急流城附近开发一个……腾讯慎待元宇宙反提全真互联公司高级执行副总裁汤道生服务真实场每经记者:王帆每经编辑:文多当前,数字经济发展迅猛,正推动生产方式、生活方式和治理方式深刻变革,成为全球创新和经济增长的新动能,这也让数字技术与实体经济如何加快融合成为当……
友情链接:易事利快生活快传网聚热点七猫云快好知快百科中准网快好找文好找中准网快软网