照片|用iPhone给林徽因拍照会是啥样?这款“穿越相机”把老照片换成现代风

晓查 发自 凹非寺
量子位 报道 | 公众号 QbitAI
如何用iPhone给林肯拍大头照?除了肉身穿越回19世纪以外 , 你还可以试试这款“穿越相机” 。

照片|用iPhone给林徽因拍照会是啥样?这款“穿越相机”把老照片换成现代风
文章图片

照相技术发明100多年以来 , 有无数历史名人留下了黑白照片 。 然而因为时代不同、技术不同以及岁月的侵蚀 , 这些历史照片逐渐失真 。
能不能用现代相机的风格把他们都恢复原貌呢?
现在 , 来自华盛顿大学、UC伯克利、谷歌的最新论文Time-Travel Rephotography , 将这些照片里的历史人物真实地展现在屏幕上 。
比如 , 居里夫人、爱迪生、林徽因……

照片|用iPhone给林徽因拍照会是啥样?这款“穿越相机”把老照片换成现代风
文章图片

放大瑕疵的老照片如何恢复
从黑白照片乃至画像恢复人脸并不是什么新鲜事 , 比如最近恢复兵马俑、古代帝王的视频在社交网络大热 。

照片|用iPhone给林徽因拍照会是啥样?这款“穿越相机”把老照片换成现代风
文章图片

但是从古老照片恢复人脸要复杂得多 。
我们先看一张著名作家卡夫卡的还原照 。 Zhang等人恢复的照片粗看起来皮肤上有很多瑕疵 , 而“穿越相机”恢复的照片似乎自带“磨皮” 。

照片|用iPhone给林徽因拍照会是啥样?这款“穿越相机”把老照片换成现代风
文章图片

那么是前一张恢复照片更加真实吗?
事实并非如此 , 卡夫卡脸上的瑕疵是当年底片技术导致的 。 如果只是简单给黑白照片填色 , 那么就不能充分表征旧胶片的特性和老化过程 。

照片|用iPhone给林徽因拍照会是啥样?这款“穿越相机”把老照片换成现代风
文章图片

最早诞生玻璃感光底片只对蓝光紫外光敏感 , 1873年推出的新感光乳胶也只对绿光和蓝光敏感 。
由于他们都缺乏对红光的敏感性 , 造成了人物脸上的雀斑和皱纹被放大 , 嘴唇变黑 。
所以我们今天来看林肯的原始照片 , 会发现林肯脸上呈现出很多夸张的皱纹:

照片|用iPhone给林徽因拍照会是啥样?这款“穿越相机”把老照片换成现代风
文章图片

1907年 , 对红蓝绿都敏感的全色底片诞生 。 所以1913年采用新技术拍摄的潘克斯特(时年55岁) , 脸部皮肤要干净和平整得多:

照片|用iPhone给林徽因拍照会是啥样?这款“穿越相机”把老照片换成现代风
文章图片

因此 , 恢复这些历史照片不仅要考虑照片的模糊、褪色、噪点、低分辨率等问题 , 还要考虑不同老照片对颜色的感光差异 。
而这款“穿越相机”相比之前的方法 , 在人物的还原上避免了当时技术造成的失真 。
从StyleGAN2出发
对于1873年之前的照片 , 作者使用了蓝光敏感模型 , 对于1873年至1907年的照片 , 手动在蓝光敏感和正色底片之间选择 , 然后在1907年以后拍摄的照片 , 则在所有模型中手动选择 。
作者利用StyleGAN2框架将旧照片映射到现代高分辨率照片的空间中 , 从而在统一的框架中实现所有这些效果 。
作者使用其他彩色样本图像作为参考 , 它们与黑白图像具有相似的面部特征 , 但包含高频细节以及自然色和照明 。 为了进一步减小输入图像和现代人像之间的感知身份差距 , 他们还设计了特别适合于老照片的重建损失 。
模型的结构如下:

照片|用iPhone给林徽因拍照会是啥样?这款“穿越相机”把老照片换成现代风
文章图片

1、同级编码器
以低分辨率灰度参考图像I作为输入 , 生成具有真实颜色和相似面部特征的同级图像Is 。
2、同级颜色和细节转换
为了进一步限制颜色和皮肤细节 , 使其与同级图像匹配 , 模型引入了颜色转换损失Lcolor强制StyleGAN2的ToRGB层输出与同级图像的相似性 。
3、老照片的重建损失
为了进一步减小输入图像和现代人像之间的感知身份差距 , 作者特别设计了适合于老照片的重建损失Lrecon , 它对老照片的缺陷具有鲁棒性 。
4、潜在编码优化
将之前的所有损失函数叠加起来 , 以此进行优化 , 生成最终图像? 。
据作者介绍 , 生成这样一张1024×1024的照片 , 需要在英伟达Titan X上运行10分钟 。
与其他几种恢复老照片的方法相比 , “穿越相机”的效果显然有着更真实的观感 。

照片|用iPhone给林徽因拍照会是啥样?这款“穿越相机”把老照片换成现代风
文章图片

不过 , “穿越相机”现在还存在着一些缺点 。
首先是对在恢复人物发行与配饰方面存在着错误 , 或者会丢失细节 。

照片|用iPhone给林徽因拍照会是啥样?这款“穿越相机”把老照片换成现代风
文章图片

另外 , 生成照片也非常依赖于统计图像的选择 , 如果选择了和原照片不一样的种族或性别 , 会造成黑人变白人、女人变男人 。

照片|用iPhone给林徽因拍照会是啥样?这款“穿越相机”把老照片换成现代风
文章图片

作者简介
这篇文章作者包括华盛顿大学、UC伯克利与谷歌等学校与机构的6名学者 。
其中第一作者是毕业上海交大ACM班校友罗璇 , 她现就读于华盛顿大学 。

照片|用iPhone给林徽因拍照会是啥样?这款“穿越相机”把老照片换成现代风
文章图片

她今年还有一篇“水淹食堂”的CV论文 , 因为惊艳的效果引起了不小的轰动 。

照片|用iPhone给林徽因拍照会是啥样?这款“穿越相机”把老照片换成现代风
文章图片

从交大毕业后 , 罗璇选择进入华盛顿大学研究“虚拟视觉” , 又先后在迪士尼、谷歌等知名企业实习 。
作者在项目主页中表示 , “穿越相机”的代码将会很快开源 。 不过根据“水淹食堂”这篇论文开源的节奏 , 我们恐怕还要等上两三个月了 。
论文地址:
https://arxiv.org/abs/2012.12261
项目地址:
https://time-travel-rephotography.github.io/
【照片|用iPhone给林徽因拍照会是啥样?这款“穿越相机”把老照片换成现代风】— 完 —
本文系网易新闻?网易号特色内容激励计划签约账号【量子位】原创内容 , 未经账号授权 , 禁止随意转载 。
_原题《用iPhone给林徽因拍照会是啥样?这款“穿越相机”把老照片换成现代风》
阅读原文

    推荐阅读