2023年ACM国际会议 on Multimedia and Information Security (MM) 展示了来自南京邮电大学的美图和国科大团队联合提出的一种创新人脸修复方法——DiffBFR。该方法在保持图像质量的同时，显著改善了图像中人物皮肤的修复效果，对于人脸识别领域具有重要意义。

2023-08-25 11:41:00 美图公司

• 盲人脸恢复（Blind Face Restoration, BFR）是一个重要的计算机视觉和图形学任务，旨在从低质量的人脸图像中恢复高质量的人脸图像。然而，这项任务具有挑战性，因为不确定性退化会损害图像质量，导致图像信息损失，例如模糊、噪声、下采样和压缩伪影等。传统的 BFR 方法通常依赖于生成对抗网络（GAN），通过设计各种特定于人脸的先验来解决问题，包括生成先验、参考先验和几何先验。尽管这些方法达到了最先进的水平，但仍然没有完全达到在恢复细粒度面部细节的同时获得逼真纹理的目标。 这是因为图像修复中的长尾区域特征指的是对身份影响较小，而对视觉效果影响很大的属性，如痣、皱纹和色调等。与图像分类任务的长尾分布不同，图像修复里的长尾区域特征指的是分布在高维空间中，且具有长尾分布头部和尾部样本的特征。如图 1 所示，过去的基于 GAN 的方法不能很好地处理长尾分布头部和尾部的样本，导致修复图像会出现过平滑和细节消失的问题。 为了解决这个问题，美图影像研究院（MT Lab）与中国科学院大学的研究者提出了一种基于扩散概率模型（DPM）的盲人脸图像修复新方法 DiffBFR。该方法利用扩散概率模型来增强人脸先验信息的嵌入，基于它在任意分布范围内产生高质量图像的强大能力，选择 DPM 作为解决方案的基本框架。DiffBFR 实现了盲人脸图像的修复，将低质量的人脸图像修复成高质量、清晰图像。 DiffBFR 针对论文中所发现的人脸数据集上的特征长尾分布以及过去基于 GAN 方法的过平滑现象，通过扩散模型在避免训练模式崩溃和拟合生成长尾分布方面优于 GAN 方法，因此选择 DPM 作为解决方案的基本框架。

  

• 美图公司成立于2008年10月，是中国领先的移动互联网平台公司，围绕着“美”创造了美图秀秀、美颜相机、美图手机、美拍、美妆相机、潮自拍等一系列软硬件产品。