易坊好文馆

  1. 首页 > 玩科技 >

人脸|中科院自动化所联合北方电子设备研究所提多输入文本人脸合成方法( 二 )

人脸 数据 方法 图像 合成 文本 and 电子设备 中科院 特征 arXiv Singh


此外 ， 团队首次建立了一个大规模手工标注数据集 ， 首先在CelebAMask-HQ数据集中筛选了15010张图片 ， 每个图片分别由十个工作人员手工标注十个文本描述 ， 十个描述按照由粗到细的顺序分别描述人脸的不同部位 。
实验结果
团队对提出的方法进行了定性和定量分析[5,6] ， 实验结果表明 ， 该方法不仅能生成高质量的图像 ， 并且更加符合文本描述 。

人脸|中科院自动化所联合北方电子设备研究所提多输入文本人脸合成方法
文章图片

图3 不同方法比较结果

人脸|中科院自动化所联合北方电子设备研究所提多输入文本人脸合成方法
文章图片

图4 不同数量输入的生成结果

人脸|中科院自动化所联合北方电子设备研究所提多输入文本人脸合成方法
文章图片

【人脸|中科院自动化所联合北方电子设备研究所提多输入文本人脸合成方法】表1 不同方法的定量比较结果

人脸|中科院自动化所联合北方电子设备研究所提多输入文本人脸合成方法
文章图片

表2 消融实验结果：前三行分别表示网络去除SFIM ， AMC ， 和属性分类损失 。
参考文献：
1. Osaid Rehman Nasir, Shailesh Kumar Jha, Manraj Singh Grover, Yi Yu, Ajit Kumar, and Rajiv Ratn Shah. 2019. Text2FaceGAN: face generation from fine grained textual descriptions. In IEEE International Conference on Multimedia Big Data (BigMM). 58–67.
2. Xiang Chen, Lingbo Qing, Xiaohai He, Xiaodong Luo, and Yining Xu. 2019. FTGAN: A fully-trained generative adversarial networks for text to face generation. arXiv preprint arXiv:1904.05729 (2019).
3. David Stap, Maurits Bleeker, Sarah Ibrahimi, and Maartje ter Hoeve. 2020. Conditional image generation and manipulation for user-specified content. arXiv preprint arXiv:2005.04909 (2020).
4. Weihao Xia, Yujiu Yang, Jing-Hao Xue, and Baoyuan Wu. 2021. TediGAN: Textguided diverse image generation and manipulation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2256–2265.
5. Tao Xu, Pengchuan Zhang, Qiuyuan Huang, Han Zhang, Zhe Gan, Xiaolei Huang, and Xiaodong He. 2018. Attngan: Fine-grained text to image generation with attentional generative adversarial networks. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 1316–1324.
6. Bowen Li, Xiaojuan Qi, Thomas Lukasiewicz, and Philip Torr. 2019. Controllable text-to-image generation. In Advances in Neural Information Processing Systems (NeuIPS). 2065–2075.

推荐阅读


上一篇：虚拟|新瓶装旧酒，还是新时代开端？游戏产业年会热议“元宇宙”

下一篇：张新钢|2021中国·扬州5G机器视觉大赛决赛暨颁奖典礼成功举办