导航：首页 > 互联网科技 >

如何压缩版styleGAN合成高保真图像

发表于：2025-01-23 作者：千家信息网编辑

千家信息网最后更新 2025年01月23日，本篇内容介绍了"如何压缩版styleGAN合成高保真图像"的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成

千家信息网最后更新 2025年01月23日如何压缩版styleGAN合成高保真图像

本篇内容介绍了"如何压缩版styleGAN合成高保真图像"的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！

该实现所需的训练代码非常简单：

pip install -r requirements.txtpython train.py --cfg configs/mobile_stylegan_ffhq.json --gpus

StyleGAN2（左）与 MobileStyleGAN（右）的生成效果展示。

下面我们来具体看一下 MobileStyleGAN 架构的方法细节。

MobileStyleGAN 架构

MobileStyleGAN 架构是在基于样式生成模型的基础上构建的，它包括映射网络和合成网络，前者采用的是 StyleGAN2 中的映射网络，该研究的重点是设计了一个计算高效的合成网络。

MobileStyleGAN 与 StyleGAN2 的区别

StyleGAN2 使用基于像素的图像表征，并旨在直接预测输出图像的像素值。而 MobileStyleGAN 使用基于频率的图像表征，旨在预测输出图像的离散小波变换 (DWT)。当应用到 2D 图像，DWT 将信道转换成四个大小相同的信道，这几个信道具有较低的空间分辨率和不同的频带。然后，逆向离散小波变换(IDWT) 从小波域重建基于像素的表征，如下图所示。

StyleGAN2 利用跳远生成器（skip-generator），通过对同一图像的多个分辨率的 RGB 值进行显式求和来形成输出图像。该研究发现，当在小波域中对图像进行预测时，基于跳远连接（skip connection）的预测头对生成图像的质量影响不大。因此，为了降低计算复杂度，该研究采用网络中最后一个块的单个预测头替换跳远生成器。但从中间块中预测目标图像对于稳定的图像合成具有重要意义。因此，该研究为每个中间块添加一个辅助预测头，根据目标图像的空间分辨率对其进行预测。

StyleGAN2 和 MobileStyleGAN 的预测头区别。

如下图所示，调制卷积包括调制、卷积和归一化（左）。深度可分离调制卷积也包括这些部分（中）。StyleGAN2 描述了用于权重的调制 / 解调，该研究分别将它们应用于输入 / 输出激活，这使得描述深度可分离调制卷积更加容易。

StyleGAN2 构造块使用 ConvTranspose（下图左）来 upscale 输入特征映射。而该研究在 MobileStyleGAN 构造块（下图右）中使用 IDWT 当作 upscale 函数。由于 IDWT 不包含可训练参数，该研究在 IDWT 层之后增加了额外的深度可分离调制卷积。

StyleGAN2 和 MobileStyleGAN 的完整构造块结构如下图所示：