【摘 要】
:
随着卷积神经网络不断发展,以人脸为对象的视觉任务研究和产业落地已取得长足进步,如广泛应用于社交、金融等领域的人脸识别。近期包括视频会议、短视频和网上授课等以人为主体的流媒体规模不断扩大,对于数据中2D人脸更加智能的理解和编辑需求变得越来越迫切。本文从人脸部位出发,主要研究人脸的理解和编辑两个方面,首先提出了两个基础的人脸部位分割算法,然后提出可用于视频会议中实时人脸去口罩的嘴部补全算法。人脸分割指
论文部分内容阅读
随着卷积神经网络不断发展,以人脸为对象的视觉任务研究和产业落地已取得长足进步,如广泛应用于社交、金融等领域的人脸识别。近期包括视频会议、短视频和网上授课等以人为主体的流媒体规模不断扩大,对于数据中2D人脸更加智能的理解和编辑需求变得越来越迫切。本文从人脸部位出发,主要研究人脸的理解和编辑两个方面,首先提出了两个基础的人脸部位分割算法,然后提出可用于视频会议中实时人脸去口罩的嘴部补全算法。人脸分割指从2D人脸图像中计算每个像素点所对应的语义成分(如头发、嘴巴、眼睛等)。受人类生理视觉系统的启发,本文提出了一种新型的RoI Tanh-warping图像变换操作,它将图像中的中心视觉和外围视觉结合在一起,解决了既要聚焦在有限的RoI区域和又要处理图像外围不可预测的区域之间的两难问题。FS-ROI使用基于分层次的局部方法来处理人脸内部部位,同时通过全局方法来处理人脸外部部位。实验结果表明,在LFW-PL和HELEN两个公开基准数据集上FS-ROI的分割精度超越了已有的方法。针对远离人脸中心区域的预测误差放大问题,本文提出了一种基于边缘注意力的混合卷积神经网络FS-ROI-NSM。该网络增加了一个精细化头发处理的分支,进一步提高边缘头发预测精度。FS-ROI-NSM中RoI Tanh-warping分支和NSM分支整合在一起,分别处理相对固定的人脸内部区域和未知区域。整个框架简单、原理性强、可以进行联合优化训练。FS-ROI-NSM在LaPa数据集上相对于FS-ROI有更好的分割精度,更多的分割结果表明本文提出的方法能处理各种场景下的人脸分割问题。在人脸部位补全方面,本文提出一个新颖的去口罩算法MFRA,该算法可以实时地补全戴口罩的人脸被遮挡区域,应用于视频会议上可使参会人员看到其他人如同没带口罩一样。MFRA将音频输入映射到3DMM表情系数,利用多模态信息引导生成对应的嘴形区域,并通过属性ID解耦的生成网络生成与参考图像ID一致的嘴巴外观。实验结果验证了该算法具有良好的去口罩效果,并能达到更好的视频会议体验。此外通过轻量级网络设计和工程优化,该算法达到了准实时运行的要求。
其他文献
为推广大豆玉米带状复合种植技术提供科学依据,采用大区简比设计,以常规净作玉米作对照(CK),进行5种大豆玉米复合种植模式对比栽培试验,综合分析不同模式的增产增收效应,以筛选出大豆玉米复合带状种植优选模式。结果表明:开厢宽度为200~233 cm,2行玉米套种3~4行大豆的复合种植模式较佳,其复合产值为2 426.48~2 473.22元/667m~2,与CK相比,可实现新增纯收入359.26~37
医疗影像的精准分割对后续的病理分析、手术规划具有广泛的应用价值。但是由于医学图像采集设备众多、厂家不同、质量不一,导致医学数据普遍具有多数据中心的情况。近年来,大量的深度学习模型通过不断的堆叠新的结构,实现对数据的拟合,进而提高模型的分割效果。但这种方法在面对多数据中心数据集时,面临着因跨域而导致的性能下降难题。如何设计一种可以面向多数据中心的鲁棒性医疗影像分割算法,是目前推动医学影像分割算法落地
智慧渔业是大数据、物联网与人工智能等现代信息技术驱动下的渔业发展新模式,是水产养殖业供给侧结构性改革的重要方式,涉及养殖环境监测、生物环境监测与生物状态监测这几大方面的应用与需求。本文从养殖产量与健康状态两个热点需求出发以鱼类为对象研究了鱼群密度估计与摄食状态量化两方面内容。本文采用密度估计的方法完成鱼群目标计数,通过估计鱼群图像密度间接获得目标数量。鱼群摄食行为侧面反映了鱼群的健康状态,评价其摄
甚高频通信系统是常用的海事近距离通信系统,设备包括船载话机和对讲机。其半双工传输的特点导致容易出现非法占用应急频道或专用频道的情况,直接关系到海上人员的生命财产安全和海上交通安全。由于其发射的VHF(Very High Frequency)信号的通信协议不包含身份信息,很难有效地管控。目前国内外的研究鲜有涉及近海VHF设备的个体识别研究,而是大多集中于包含VHF频段的调制方式识别研究。本文基于无线
水声定位技术是一项广泛应用于军事和民用领域的技术,而超短基线(Ultra-Short Baseline,USBL)定位系统由于其体积小、易于安装等优点广泛用于水下定位。然而由于传统USBL水下定位系统仍然存在一些问题还没有去改善解决,比如定位信号波形抗噪抗多径性能差、定位算法存在相位模糊等问题,都无可避免的降低了定位的准确度,因此USBL水下定位系统还有待进一步的研究。本文就USBL水下定位系统中
山东琴书距今约有280余年的历史,主要分布在山东省鲁西南地区,但从现在山东琴书的发展来看,它正在逐渐淡出人们的视野。笔者试图跳出线下扎台子演出的局限性,通过线上的研究视角,以山东琴书为研究对象,以短视频为研究渠道,从数据、案例、传播形式等线上调查出发,对于“非遗”音乐的保护、发展问题进行思考。而在线下则将山东琴书与教育教学进行交叉,以“线上线下”双结合的方式进行理论研究,运用两种传播渠道为山东琴书
核因子Y(Nuclear factor Y,NF-Y),又称CCAAT结合因子(CCAAT-binding factor,CBF)或亚铁血红素激活蛋白(Heme activator protein,HAP),是一类普遍存在于酵母、动物、植物等真核生物中的转录因子,通常由三种不同亚基组成,即NF-YA(CBF-B或HAP2)、NF-YB(CBF-A或HAP3)和NF-YC(CBF-C或HAP5),并
上颌窦底提升是解决上颌后牙区垂直向骨量不足的可靠方法。目前应用于上颌窦底骨增量的材料较多,关于材料的选择尚无统一共识。本文基于现有临床文献证据,针对生物活性制剂、细胞疗法以及不植入骨增量材料的上颌窦底提升进行总结及阐述,以期为临床上颌窦底提升中骨增量材料的选择提供参考。
为了探明中国粮食种植成本上涨的根源,本文基于2004—2019年的省级面板数据,考虑中国货币供给、居民收入、房地产市场、城镇化进程和能源价格5个维度11个宏观影响因素,运用Lasso回归方法对中国粮食种植成本的影响因素进行实证研究,并进一步采用通径分析方法探究主要宏观因素对粮食种植成本的直接和间接影响。研究表明,货币流动性过剩、农村居民工资性收入的增加以及房地产市场的快速发展是粮食种植成本上升的根
木荷(Schima superba)是中国南方常见的速生阔叶耐火树种之一,在生态修复和维持环境稳定方面具有重要作用,因而预测其潜在适生区变化具有重要意义。基于Maxent模型,结合158条木荷在中国的有效分布记录和筛选后的8个生物气候变量,预测木荷现代和2041—2060年3种气候排放浓度情景下木荷的潜在分布区。Maxent模型的可靠性以受试者工作特征曲线来判断,综合气候因子的贡献率、置换重要值和