赋予肖像“ P”需要多长时间?浓密的胡须?该AI仅需一秒钟,效果逼真,看不到任何缺陷。
最近,马斯克(Musk)的欺骗视频在YouTube上风靡一时。
一个YouTube博客使用AI [P]发布了多个版本的Musk,着重于惊人的结果。
例如,这个中年秃头版。
恐怕即使麝香遇见他也会相信吗?和麝香,长发飘飘。
我不得不说,麝香的女性版本也散发着坚强的女人的气质。
该AI是Adobe Research和阿卜杜拉国王科技大学(KAUST)的最新研发成果-StyleFlow算法。
它非常善于根据合成图像或真实图像重新编辑面部属性。
除了对麝香的面部毛发,年龄和性别进行处理外,它还可以更改相机的角度,光线,面部表情等。
值得一提的是,StyleFlow不仅可以用于人像处理,还可以用于修改其他图像属性,例如汽车。
例如,此[Tesla]图像可以在一秒钟内切换车身颜色。
接下来,让我们看看这种硬核AI是如何做到的? Style比StyleGAN提到的Style系列更滑的AI,使人们想到了StyleGAN。
经常关注Leifeng.com的朋友可能会了解StyleGAN是GAN的一种变体。
它也可以通过生成器和鉴别器之间的相互争斗来触及人们。
惊人的面部合成效果。
而且,StyleFlow可以说是StyleGAN图像合成的高级版本。
研究人员在论文中指出,在确保高质量输出的情况下,GAN(例如StyleGAN)使用(语义)属性控制生成过程的选项有限。
同时,由于GAN潜在空间的纠缠性质,沿着一个属性进行编辑很容易导致其他属性发生变化。
因此,他们提出了一种基于Attribute-ConditionedSampling和Attribute-Controlled编辑的StyleFlow。
其中,属性条件采样是对具有目标属性的高质量真实图像进行采样;属性控制编辑是编辑给定图像并使其具有目标属性,同时最好地保留源图像的特征。
以下是StyleFlow完成两个任务的完整框架:z代表先验分布变量,w代表StyleGAN的中间权重向量。
从源图像开始,通过使用一系列CNF(连续标准化流)功能模块的反向推理和正向推理来支持属性条件编辑。
另外,应当指出,ODE求解器通过对时间变量计算CNF函数来求解反向推理和正向推理。
CNF(连续返回头等舱)功能块可以实现为神经网络块。
其中,以属性向量at为条件的学习功能可用于正向推理和反向推理。
results实验结果基于上述原理,研究人员使用StyleFlow采样了给定图像的属性条件。
纸张显示的是固定目标姿势下戴着眼镜的女性的图像(上图);一张50岁的男性脸上有头发的照片(中);和一个固定姿势的5岁男孩的笑脸(底部)。
三种类型的属性的采样结果。
可以注意到,采样的质量非常高,并且未经编辑的属性在很大程度上保持不变。
它验证了网络可以学习底层的语义表示并将其进一步用于图像的语义编辑。
接下来,研究人员使用StyleGAN生成的面部和汽车的潜在空间对StyleFlow进行了评估,并显示了细粒度分离和各种属性编辑的结果。
他们使用了两个评估数据集FFHQ和LSUNCar。
前者是由70,000张图像组成的1024×1024高分辨率面部图像数据集,这些图像在种族,年龄和配件方面有所不同。
LSUN-Car是由16185个图像组成的512×384分辨率的汽车图像数据集。
这些图像在汽车的姿势,颜色和类型上有很大差异。
在定性比较方面,与现有的Image2StyleGAN,InterfaceGAN和GANSpace方法相比,StyleFlow对人像角度,光线,表情,性别和年龄的处理显示出某些优势。
定量比较也是如此。
下图显示了在面部分类器(Geitgey2020)的评估下,通过StyleFlow和其他方法获得的SOTA结果。
在诸如照明,姿势和表情等属性中,StyleFlow基本上达到了最高值。
以下是循环编辑的一致性。
在不同的排列方式下,StyleFlow的编辑方法基本相同