深圳大学和特拉维夫大学最新成果，AI编辑人脸终于告别P一处而

　　Attentionisallyouneed！这句名言又在新的领域得到了印证。来自深圳大学和特拉维夫大学的最新成果，通过在GAN中引入注意力机制，成功解决了编辑人脸时会产生的一些手抖问题：
　　比如改变人的发型时把背景弄乱；
　　加胡子时影响到头发、甚至整张脸都不太像是同一个人了：
　　这个有了注意力机制的新模型，修改图像时清清爽爽，完全不会对目标区域之外产生任何影响。
　　具体怎么实现？引入注意力图
　　此模型名叫FEAT（FaceEditingwithAttention），它是在StyleGAN生成器的基础上，引入注意力机制。
　　具体来说就是利用StyleGAN2的潜空间进行人脸编辑。其映射器（Mapper）建立在之前的方法之上，通过学习潜空间的偏置（offset）来修改图像。
　　为了只对目标区域进行修改，FEAT在此引入了注意图（attentionmap），将源潜码获得的特征与移位潜码的特征进行融合。
　　为了指导编辑，模型还引入了CLIP，它可以用文本学习偏移量并生成注意图。FEAT的具体流程如下：
　　首先，给定一张具有n个特征的图像。如上图所示，浅蓝色代表特征，黄色部分标记通道数量。然后在文字提示的指导下，为所有能预测相应偏置（offset）的样式代码（stylecode）生成映射器。
　　这个映射器通过潜码加偏置（wjj）修改，生成映射图像。再接着，用注意力模块生成的attentionmap将原始图像和映射图像的第i层特征进行融合，生成我们要的编辑效果。
　　其中，注意力模块的架构如下：左侧是用于特征提取的StyleGAN2生成器，右为用于制作注意图的AttentionNetwork。
　　不修改目标区域之外的图像
　　在实验对比环节中，研究人员首先将FEAT与最近提出的两种基于文本的操作模型进行比较：TediGAN和StyleCLIP。其中TediGAN将图像和文本都编码到StyleGAN潜空间中，StyleCLIP则实现了三种将CLIP与StyleGAN相结合的技术。
　　可以看到，FEAT实现了对面部的精确控制，没有对目标区域以外的地方产生任何影响。而TediGAN不仅没有对发型改变成功，还把肤色变暗了（第一行最右）。在第二组对表情的改变中，又把性别给改了（第二行最右）。
　　StyleCLIP整体效果比TediGAN好很多，但代价是变得凌乱的背景（上两张图中的第三列，每张效果的背景都受到了影响）。接着将FEAT与InterFaceGAN和StyleFlow进行比较。
　　其中InterfaceGAN在GAN潜空间中执行线性操作，而StyleFlow则在潜空间中提取非线性编辑路径。结果如下：
　　这是一组加胡子的编辑，可以看到InterfaceGAN和StyleFlow在此操作之余对头发和眉毛做了细微改动。除此之外，这两种方法还需要标记数据进行监督，不能像FEAT一样进行零样本操作。
　　在定量实验中，FEAT也展现出了它的优越性。在五个属性的编辑结果中，FEAT比TediGAN和StyleCLIP在视觉质量（FID得分）和特征保留（CS和ED得分）方面表现更佳。
　　关于作者
　　一作侯贤旭来自深圳大学。
　　他本科和硕士毕业于中国矿业大学地理学和地质学专业，博士毕业于诺丁汉大学计算机科学专业，主要研究方向为计算机视觉和深度学习。
　　通讯作者为沈琳琳，深圳大学模式识别与智能系统专业硕士生导师，目前研究方向为人脸指纹掌纹等生物特征识别、医学图象处理、模式识别系统。他本硕毕业于上海交大应用电子专业，博士也毕业于诺丁汉大学。其谷歌学术引用次数已达7936次。
　　论文地址：
　　https：arxiv。orgabs2202。02713