幼儿饰品瑜伽美体用品微软
投稿投诉
微软创意
爱情通信
用品婚姻
爱好看病
美体软件
影音星座
瑜伽周边
星座办公
饰品塑形
搞笑减肥
幼儿两性
智家潮品

听声辨物,这是AI视觉该干的???ECCV2022

  衡宇发自凹非寺
  量子位公众号QbitAI
  听到唔哩唔哩的警笛声,你可以迅速判断出声音来自路过的一辆急救车。
  能不能让AI根据音频信号得到发声物完整的、精细化的掩码图呢?
  来自合肥工业大学、商汤、澳国立、北航、英伟达、港大和上海人工智能实验室的研究者提出了一项新的视听分割任务(AudioVisualSegmentation,AVS)。
  视听分割,就是要分割出发声物,而后生成发声物的精细化分割图。
  相应的,研究人员提出了第一个具有像素级标注的视听数据集AVSBench。
  新任务、新的数据集,搞算法的又有新坑可以卷了。
  据最新放榜结果,该论文已被ECCV2022接受。精准锁定发声物
  听觉和视觉是人类感知世界中最重要的两个传感器。生活里,声音信号和视觉信号往往是互补的。
  视听表征学习(audiovisuallearning)已经催生了很多有趣的任务,比如视听通信(AVC)、视听事件定位(AVEL)、视频解析(AVVP)、声源定位(SSL)等。
  这里面既有判定音像是否描述同一事件物体的分类任务,也有以热力图可视化大致定位发声物的任务。
  但无论哪一种,离精细化的视听场景理解都差点意思。
  AVS任务与SSL任务的比较
  视听分割迎难而上,提出要准确分割出视频帧中正在发声的物体全貌
  即以音频为指导信号,确定分割哪个物体,并得到其完整的像素级掩码图。AVSBench数据集
  要怎么研究这个新任务呢?
  鉴于当前还没有视听分割的开源数据集,研究人员提出AVSBench数据集,借助它研究了新任务的两种设置:
  1、单声源(Singlesource)下的视听分割
  2、多声源(Multisources)下的视听分割
  数据集中的每个视频时长5秒。
  单声源子集包含23类,共4932个视频,包含婴儿、猫狗、吉他、赛车、除草机等与日常生活息息相关的发声物。
  AVSBench单源子集的数据分布
  多声源子集则包含了424个视频。
  结合难易情况,单声源子集在半监督条件下进行,多声源子集则以全监督条件进行。
  研究人员对AVSBench里的每个视频等间隔采样5帧,然后人工对发声体进行像素级标注。
  对于单声源子集,仅标注采样的第一张视频帧;对于多声源子集,5帧图像都被标注这就是所谓的半监督和全监督。
  对单声源子集和多声源子集进行不同人工标注
  这种像素级的标注,避免了将很多非发声物或背景给包含进来,从而增加了模型验证的准确性。一个简单的baseline方法
  有了数据集,研究人员还抛砖引玉,在文中给了个简单的baseline。
  吸收传统语义分割模型的成功经验,研究人员提出了一个端到端的视听分割模型。
  这个模型遵循编码器解码器的网络架构,输入视频帧,最终直接输出分割掩码。
  另外,还有两个网络优化目标。
  一是计算预测图和真实标签的损失。
  而针对多声源情况,研究人员提出了掩码视听匹配损失函数,用来约束发声物和音频特征在特征空间中保持相似分布。部分实验结果
  光说不练假把式,研究人员进行了广泛实验。
  首先,将视听分割与相关任务的6种方法进行了比较,研究人员选取了声源定位(SSL)、视频物体分割(VOS)、显著性物体检测(SOD)任务上的各两个SOTA方法。
  实验结果表明,视听分割在多个指标下取得了最佳结果。
  和来自相关任务方法进行视听分割的对比结果
  其次,研究人员进行了一系列消融实验,验证出,利用TPAVI模块,单声源和多声源设置下采用两种backbone的视听分割模型都能得到更大的提升。
  引入音频的TPAVI模块,可以更好地处理物体的形状细节(左),并且有助于分割出正确的发声物(右)
  对于新任务的视听匹配损失函数,实验还验证了其有效性。
  OneMoreThing
  文中还提到,AVSBench数据集不仅可以用于所提出的视听分割模型的训练、测试,其也可以用于验证声源定位模型。
  研究人员在项目主页上表示,正在准备比AVSBench大10倍的AVSBenchv2。
  一些视频的分割demo也上传在主页上。感兴趣的话可以前往查看
  论文地址:
  https:arxiv。orgabs2207。05042
  GitHub地址:
  https:github。comOpenNLPLabAVSBench
  项目主页:
  https:opennlplab。github。ioAVSBench
  完
  量子位QbitAI头条号签约
  关注我们,第一时间获知前沿科技动态

罕见影像!甘肃拍到雪山之王,雪豹相亲,1天倒立尿尿30次甘肃,一个充满了西北味道的地方。10月21日,甘肃安南坝野骆驼国家级自然保护区的红外相机处迎来雪山之王。长长的尾巴,豹纹般的身体,从相机外就可以深深感受到雪山之王的……党旗飘飘,青山不老,大道同行,初心如磐是什么?如利剑,划破岁月的铁幕,放万千光明?是什么?似巨铎,唤醒沉睡的雄狮,吼时代强音?是什么?若丰碑,张扬进军的旋律,……吉利集团收购阿斯顿马丁7。6股份!打造国产新能源超跑?说起国内芸芸汽车集团之中,富有国际观的汽车品牌,吉利汽车必然是其中之一,只因旗下除了拥有路特斯、沃尔沃、极星Polestar以及英伦电动汽车LEVC等品牌以外,也是梅赛德斯奔驰……宝妈含泪告诫如果可以,不要让外婆带娃,揭露当下家庭现状有史以来,身为婆婆的角色都一定会参与到帮年轻人带娃的事项当中。但是,从现在的情况来看,越来越多的姥姥承担起了帮年轻人带娃的责任。一大部分原因是因为这些年轻女性,不想因为带……这才是中年女性穿搭标杆,刘涛点亮入秋通勤装,知性大方一提到中年女性,大家脑海中都会不自觉浮现出他们臃肿的身材,失去的笑容以及失去光泽的皮肤,但如果抛开这些刻板印象,你会发现中年女性反而有种说不出来的魅力,他们比少女多了阅历,显得……华为P30Pronova8SE如何抉择?其实老款更香同一品牌,选择老款旗舰机好,还是新款中低端机好?以华为P30Pro和最新上市的nova8SE来举例,这两款机型目前售价相仿,哪款更值得入手?nova8SE是一款4G机型,……裴擒虎技能多方位调整,达摩和芈月大幅度加强,盾山的盾牌变薄近期体验服又进行了一波更新,此次更新内容不多,只有几个英雄的调整,且只是小范围的调整,不过调整的范围虽小,对很多英雄的影响却很大。其中有关于新英雄和专属装备的信息在这里就不做分……传奇世界梦寐以求的天玄套大家好,我是阿曼,今天和大家分享下在传奇世界游戏中关于道士的套装天玄套。传说道神套装是以整块的青冥玉翠雕琢而成,晶莹剔透。唯有领会了道家真正的奥义的强者才能佩戴。依稀一些道家仙……CBA球员盖帽榜前10截止至1月8日完赛No。1沈梓捷深圳马可波罗,44个No。2高世鳌青岛每日优鲜,37个No。3王哲林上海久事,33个No。4艾萨克哈斯北京控股,28个No。5吴冠希苏州肯……王者荣耀达摩赛季皮肤特效还不错,甄姬的女儿国更让人惊艳大家都知道王者荣耀的新赛季就要来了,每当这个时候,下赛季的一些皮肤就会有消息了,这次自然也不例外,目前为止已经有两款皮肤出现了,我们就一起来看看吧。首先就是达摩的沙漠行僧……孙红雷罕携老婆露面!小15岁娇妻熬成婆,同框再不见当初那般甜不同的单品有着不同的风格魅力,在不同的场合,我们也要选择不同的单品去塑造个人气质。平时我们都知道孙红雷颜王的称号,其实他的妻子王骏迪也很会穿搭,无论是红毯还是日常穿搭,都能用简……继热火队封杀伦纳德后,联盟背后的犹太资本又再一次封杀了欧文回想热火队的伦纳德,作为一名空间性内线,在外线拥有不错的射程,他在这个小球时代,也混得比较好,且能够在季后赛期间替补出场分钟以上,应该说还是有一些前途的。只不过刚29岁,……
巴西大胜,2022版梦幻四重奏成型赛后问到姆巴佩,内马尔无语巴西在世界杯前倒数第二场热身赛再次轻取对手,以3:0战胜实力不俗的非洲劲旅加纳。队中头号球星内马尔表现出色,完成2次助攻。热刺前锋里沙利松独中两元,大巴黎中卫马尔基尼奥斯角球建……女篮世界杯中美大战评分四人满分三将不及格,教练组运筹帷幄女篮世界杯小组赛,中国女篮迎来大热门美国,为了这场比赛,美国女篮全主力火线回归,比赛首节中国还能咬住比分,但从第二节开始,美国多点开花的优势尽显,尤其在李梦和王思雨休息后,中国……诗歌写诗何靠山摄影《写诗》文何靠山不知道什么时候开始喜欢写诗也不知道是什么时候喜欢你一个飘雪的夜独自走在凌晨三点半的寒冷路上哼唱着你最喜欢听的……重返帝国只需小氪一下,直接起飞《重返帝国》备受关注的千城之战,即将震撼打响!全新版本新增六大势力、多名全新英雄、势力战场,以及势力援军、兵种韬略、联盟技能、飞艇改造、收藏图鉴等众多玩法,相信这些大胆创……海尔智家半年报营收和利润逆势增长9。115。9卡萨帝高端品牌文天伟8月29日晚,海尔智家发布2022半年报。财报显示,上半年海尔智家实现收入1218。6亿元,较2021年同期增长9。1;实现归母净利润79。5亿元,较2021年同期……芯片业由盛转衰三星等韩国制造商出货量三年来首次下滑三星手机芯片韩国芯片制造商7月份的工厂出货量遭遇了近三年来的首次下降,凸显出作为全球经济晴雨表的半导体需求疲软。在此之前,疫情等因素一度导致全球芯片供应紧张,创造了一个产……她已辞职8月30日,中国银行发布公告称,本行董事会收到陈春花的辞呈。因个人工作原因,陈春花辞去本行独立非执行董事、董事会企业文化与消费者权益保护委员会主席及委员、战略发展委员会委员、人……Aedas新作四川宜宾绿地文旅中心,自然地貌的全新诠释有着中国竹都之称的四川宜宾,坐落在金沙江、岷江、长江三江交汇处,是沿江城市带区域中心城市,更是四川南向开放的枢纽门户。优越的地理位置,使其成为成渝双城经济圈的重要组成。Y……38岁文章近照太憔悴,脸色蜡黄独自开车就医,面部浮肿显老态饿了吗?戳右边关注我们,每天给您送上最新出炉的娱乐硬核大餐!11月22日,有八卦媒体曝光了文章的近况,晒出了他独自前往医院看病的视频,并感慨文章有些落魄,此事引发了网友热……吉利丰田投资燃油,电动车时代里巨头为何开倒车?暴雪马上就在中国要废了,从九城时代,再到网易时代,80后90后们的BLZ(玻璃渣)游戏青春即将结束。它留下了很多的经典名词,比如GG(GoodGame)、GL(GoodLuck……雷神科技北交所上市,电竞装备第一股底气何来?2022年12月23日,青岛雷神科技股份有限公司(简称雷神科技)在北交所上市,这也意味着资本市场正式迎来电竞装备第一股。作为海尔集团人单合一模式下投资孵化的明星创客公司,……用什么勾勒男装全新轮廓?回望男装史有着鲜明的答案。无论是经典的战壕风衣,或者是猎装,再例如经典版型的西装。腰线在男士制衣中起到了承上启下关键的作用。当然,我们不会在此罗列男装历史。因为收紧的腰线……
友情链接:易事利快生活快传网聚热点七猫云快好知快百科中准网快好找文好找中准网快软网