脉冲，GAN再次出现：从模糊像素到高清照片

杜克大学的研究人员开发了一种人工智能工具，该工具可以将人脸的模糊和无法识别的图像转换为引人注目的计算机生成的肖像，并具有比以往更好的细节。

Pulse GAN 之前的方法可以用高达原始分辨率八倍的模糊像素来详细描述图像。但杜克的团队找到了一种方法，可以采用少量像素并以高达 64 倍的分辨率创建逼真的脸部，“想象”第一张图像中不存在的细纹、睫毛和皱纹等特征。

以前从未创建过具有该分辨率的图像

辛西娅·鲁丁（Cynthia Rudin），杜克大学计算机科学家

它不是一个identikit

研究人员说，Pulse GAN系统不能用于识别人员： 它不会将安全摄像头拍摄的模糊、无法识别的照片变成清晰的真人图像。相反，它能够生成不存在但看起来似乎真实的新面孔。

合著者说，理论上，同样的技术可以拍摄几乎任何东西的低分辨率照片，并创建清晰、逼真的图像，其应用范围从医学和显微镜到天文学和卫星图像 萨奇·梅农（Sachit Menon），数学和计算机科学双重专业。

研究人员将介绍他们的方法，称为 PULSE GAN，从明天到19月2020日，在XNUMX年计算机视觉和模式识别（CVPR）会议上。

传统方法首先拍摄具有模糊像素的低分辨率图像，然后通过尝试使它们与计算机之前见过的高分辨率图像中的相应像素平均匹配来“猜测”需要哪些额外像素。由于这种平均，头发和皮肤中的纹理区域可能在像素与像素之间无法完美对齐，因此可能会显得模糊和不明显。

公爵队采取了不同的方法

该系统不是拍摄低分辨率图像并慢慢添加新细节，而是搜索人工智能生成的高分辨率面部示例（现在变得非常擅长），寻找在缩小到相同尺寸时尽可能与输入图像相似的图像。

该团队使用了一种名为 GAN 或“生成对抗网络”的机器学习工具。我更深入地讨论过 在这篇文章中 以及本网站的其他内容。 GAN 是在同一照片数据集上训练的神经网络。一个网络呈现人工智能创建的人脸，模仿它所训练的人脸，而另一个网络则根据这个结果来决定它是否足够令人信服，不会被误认为是真实的照片。随着经验的积累，第一个网络变得越来越好，直到第二个网络无法区分为止。 换句话说，他们彼此竞争，通过竞争他们使自己完善。

PULSE 可以从嘈杂的低质量输入中创建逼真的图像。从一张模糊的脸部图像中，他可以发出无限数量的现实可能性，每一种可能性都略有不同。

即使是眼睛和嘴巴几乎无法辨认的像素化照片，“我们的算法也可以用它做点什么。这是传统方法无法做到的。”共同作者的话 亚历克斯·达米安（Alex Damian），杜克大学的数学家。

Pulse GAN，“幻想”的力量

该系统可以在几秒钟内将模糊像素或 16x16 像素图像转换为 1024 x 1024 像素图像，增加超过一百万个像素，类似于高清分辨率。 在低分辨率照片中看不到的细节，例如毛孔，皱纹和发束，在计算机生成的版本中变得清晰明了。

研究人员要求40个人评估通过PULSE GAN和其他五种缩放方法生成的1.440张图像。 他们的判断？ 一个数字，范围为XNUMX到XNUMX。 而Pulse GAN做得最好。 更重要的是，他得分 几乎等于真实人物的高质量照片。

亲自查看结果 https://pulse.cs.duke.edu/.