来自加州大学以及 Facebook 现实实验室和人工智能研究两个部门的研究人员团队开发了一种能够从 3D 图像创建 3D 图像和 2D 人物的神经网络。
Pifu HD,代表 像素对齐的隐函数HD,经过培训可以将3D图像和视频转换为2D图像,从而将穿着打扮的人重现。
除了嘴巴和鼻子等面部特征外,该系统还可以将皱纹和衣物纹理准确地转换为相应的3D模型。 女性的摄影姿势很有说服力,而男性的姿势也不是在开玩笑。
Pifu HD是去年推出的先前AI Pifu的改进版本。 利用更多的像素信息,您可以将较小的细节转移到3D模型中,例如折叠和手指位置。 科学家 斋藤俊辅 在两个视频中展示了新作品。还有一个 科学文献 详细信息。
皮芙高清培训
人工智能 经过培训可使用3D图像(作为界标)生成2D图像。 在特定情况下,使用了一组时尚图像,其中包含各种姿势和衣服的男性和女性摄影模型。
与医学 MRI 的工作原理非常相似,每个深度级别的扫描都会产生三维图形。图像编码器计算每个 3D 像素各自的 2D 坐标,并估计它是在所考虑的图像横截面内部还是外部。从图像到 3D,这只是一小步。
Pifu HD以降低的分辨率对并行图像进行编码,并使用该信息创建自己的3D模型。
该视频演示效果很好。 因此,Pifu可以从模型图像生成3D人物。 另外,来自同一目标人且具有不同视角的不同图像的更详细的3D模型。
我们还需要一些时间
Pifu尚未完全开发,效率不足以使其3D模型有效地使用。 但是,该软件的创建和学习速度惊人。