AI|女神青涩时纤毫毕现：腾讯AI模型GFPGAN火上GitHub热榜第一( 二 )_女神青涩时纤毫毕现：腾讯A

文章图片

而且它还会自动摆正人脸。
让人惊喜的是，遇到人像戴眼镜的情况，GFP-GAN甚至连镜片反光都能高清化处理。
u1s1（有一说一），修复后的效果完全看不出是几十年前的照片啊！

文章图片

就连齐天大圣孙悟空的猴脸，对于GFP-GAN而言也是so easy，并且对光线的修复效果格外突出。

文章图片

并且修复中也不会过度磨皮，人脸上自然的皱纹也全部精细展现。

文章图片

用GAN修复人像
那么GFP-GAN如此强大的效果是怎么实现的呢？
研究人员受到StyleGAN2的启发：
既然GAN已经能生成如假乱真的图片，那么它所包含的面部信息，是不是也能帮助人脸修复呢？
由此，在GFP-GAN的模型框架中，主要用到了一个退化清除模块和一个预训练的GAN作为先验。
两个模块通过隐编码映射和多个信道分割空间特征变化层（CS-SFT）连接。

文章图片

训练过程中，首先要对低质量人脸进行降噪等粗处理，然后保留面部信息。
在保真度方面，研究人员引入了一个面部损失（ Facial Component Loss），判断哪些细节需要提升保留，然后再用识别保留损失（Identity Preserving Loss）进行修复。
一作师从汤晓鸥教授
本文论文一作是Xintao Wang，他是腾讯 ARC 实验室(深圳应用研究中心)的研究员。
本科毕业于浙江大学，博士毕业于香港中文大学。
其博士期间师从汤晓鸥教授和Chen Change Loy教授。
研究方向为计算机视觉和深度学习，尤其关注图像、视频修复方面。

文章图片

论文地址：
https://arxiv.org/abs/2101.04061
GitHub项目页：
https://github.com/TencentARC/GFPGAN
Hugging Face试玩传送门：
https://huggingface.co/spaces/akhaliq/GFPGAN