生成对抗网络(GAN)能生成高度逼真的合成图像。训练过程中,生成器负责生成图像,判别器则尝试区分真实与合成图像,二者的"军备竞赛"可产生极具说服力的生成器。
生成高分辨率、清晰且多样化的图像需要大型网络。但网络过大可能导致对抗训练无法收敛。传统解决方案是从小型生成器和判别器开始,逐步添加神经网络层,确保生成器在复杂度提升时保持基准性能。过去这种方法采用确定性策略:按固定计划添加预定数量、大小和类型的层。
在某机构人工智能促进协会(AAAI)年会上发表的论文中,提出了一种更有机的GAN生长方式。该方法基于训练期间的性能表现,动态计算新增层的大小、数量和类型。通过标准指标(切片Wasserstein距离和Fréchet起始距离)评估表明,该方法在多数数据集上优于其他渐进生长GAN。
关键创新点在于突破了对称架构限制。传统方法中生成器和判别器同步增长,最终层数相同;而新方法可分别优化两者的层数,形成显著不同的架构。动态生长过程允许生成器在中等判别器指导下快速成长,后期判别器再跟进提供更强反馈。
生长协议交替进行训练阶段和生长阶段。每个生长阶段可选择向生成器、判别器或两者添加新层。当向生成器顶部添加大于下层的新层时,必须在判别器底部添加相同大小的层以匹配输入输出尺寸,这种添加会提升生成图像的分辨率。
新增层采用随机初始化权重,同时继承现有层的权重(后续训练可能调整)。对于卷积神经网络的处理,算法需动态确定新增层的卷积尺度(滤波器大小和重叠程度)。由于全局最优解搜索计算量过大,该方法从搜索历史中选取k个最佳模型,计算所有可能的下一添加层,虽不能保证全局最优,但能获得足够好的局部最优解。
该方法为可生长GAN提供了比预先固定架构参数更大的灵活性,在图像生成质量和多样性方面展现出显著优势。