Build Basic Generative Adversarial Networks

Week 1: Intro to GANs

内容 备注
教学ppt
编程实验: 一个训练好的GAN模型的探索
编程实验: 了解GAN的输入以及它对输出的影响
编程作业: 第一个GAN

Week 2: Deep Convolutional GANs

内容 备注
教学ppt
博客: 转置卷积以及交互式的展示棋盘格效应
编程作业: DCGAN
论文: DCGAN
编程实验: 利用TGAN生成视频 在本笔记本中,您将从论文 Temporal Generative Adversarial Nets with Singular Value Clipping (Saito, Matsumoto, & Saito, 2017) 中了解 TGAN,以及它在图像生成中的起源

Week 3: Wasserstein GANs with Gradient Penalty

内容 备注
教学ppt
编程作业: wgan_gp
编程实验: SN-GAN 在本笔记本中, 您将了解并实现spectral normalization,这是一种用于稳定鉴别器训练的权重归一化技术, 在 Spectral Normalization for Generative Adversarial Networks (Miyato 等人 2018) 中提出.
编程实验: GAN在生物信息学中的应用ProteinGAN
论文: Wasserstein GAN
论文: Improved Training of Wasserstein GANs
博客: From GAN to WGAN

Week 4: Conditional GAN & Controllable Generation

内容 备注
教学ppt
编程作业: Conditional GAN
编程实验: InfoGAN
论文: Conditional Generative Adversarial Nets
作业: Controllable Generation
论文:Interpreting the Latent Space of GANs for Semantic Face Editing

Build Better Generative Adversarial Networks

Week 1: Evaluation of GANs

内容 备注
教学ppt
论文: A Note on the Inception Score FID为什么超过Inception score, 本文解释了Inception score的缺点
论文: HYPE: A Benchmark for Human eYe Perceptual Evaluation of Generative Models GAN的人工评估和HYPE(Human eYe Perceptual Evaluation)
论文: Improved Precision and Recall Metric for Assessing Generative Models 在GAN上使用准确率和召回率指标
编程作业: Fréchet Inception Distance
编程实验: Perceptual Path Length
博客: FID 和 IS 回顾之Fréchet Inception Distance FID和IS的回顾
博客: FID 和 IS 回顾之 How to measure GAN performance? FID和IS的回顾

Week 2: GAN Disadvantages and Bias

内容 备注
教学ppt
编程实验: Alternatives: Variational Autoencoders (VAEs)
编程实验: Score-based Generative Modeling 这是score-based的生成模型的简短指南, 这是一系列基于estimating gradients of the data distribution的方法. 他们在不需要对抗训练的情况下获得了与 GAN 相当的高质量样本, 并且被一些人认为是 GAN 的新竞争者.
博客: 机器学习中的偏见
博客: Fairness Definitions Explained Machine Learning Glossary: Fairness 公平的定义
论文: A Survey on Bias and Fairness in Machine Learning
博客: Does Object Recognition Work for Everyone
What a machine learning tool that turns Obama white can (and can't) tell us about AI bias
如何发现现有材料(模型、数据集、框架等)中的偏见以及如何防止它
编程作业: Bias
编程实验: GAN Debiasing 了解通过潜在空间去偏进行公平属性分类, Fair Attribute Classification through Latent Space De-biasing
NeRF: Neural Radiance Fields 学习如何使用神经辐射场仅使用几个输入视图生成复杂 3D 场景的新视图,最初由 NeRF 提出:Representing Scenes as Neural Radiance Fields for View Synthesis (Mildenhall et al. 2020 )。尽管 2D GAN 在高分辨率图像合成方面取得了成功,但 NeRF 已迅速成为实现高分辨率 3D 感知 GAN 的流行技术。

Week 3: StyleGAN and Advancements

内容 备注
教学ppt
编程作业: Components of StyleGAN
编程实验: Components of StyleGAN2
编程实验: BigGAN
论文: StyleGAN
博客: StyleGAN的另外一种解释
编程实验: Finetuning GAN 了解并实现 Freeze the Discriminator: a Simple Baseline for Fine-Tuning GANs (Mo et al. 2020) 中提出的微调方法,该方法介绍了冻结鉴别器上层的概念在微调。具体来说,将微调预训练的 StyleGAN 以从人脸生成动漫面孔

Apply Generative Adversarial Networks

Week 1: GANs for Data Augmentation and Privacy

内容 备注
教学ppt
论文: Automated Data Augmentation 混合数据增强技术和自动增强策略感
编程作业: Data Augmentation
编程实验: Generative Teaching Networks 在本笔记本中, 您将实现 Generative Teaching Network (GTN), 该网络首次在Generative Teaching Networks: Accelerating Neural Architecture Search by Learning to Generate Synthetic Training Data中介绍: 通过学习生成合成训练数据来加速神经架构搜索(Such et al. 2019). 本质上, GTN 由生成合成数据的生成器(即教师)和针对某些任务接受此数据训练的学生组成. GTN 和 GAN 之间的主要区别在于 GTN 模型是协同工作的(而不是对抗性的).
论文: Talking Heads 如何使用 GAN 来创建会说话的头像和 deepfakes
论文: De-identification 如何在保留基本面部属性以隐藏身份的同时对面部进行去识别(匿名化)的信息
论文: GAN Fingerprints 担心区分真实图像和伪造的 GAN 生成图像? 看看 GAN 是如何留下指纹的!

Week 2: Image-to-Image Translation with Pix2Pix

内容 备注
教学ppt
编程作业: U-Net
编程作业: Pix2Pix
论文: Image-to-Image Translation with Conditional Adversarial Networks
编程实验: Pix2PixHD 在本笔记本中,您将了解 Pix2PixHD,它从语义标签映射中合成高分辨率图像。 Pix2PixHD 在 High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs中提出,通过多尺度架构、改进的对抗性损失和实例映射对 Pix2Pix 进行了改进。
编程实验: Super-resolution GAN 在本笔记本中,您将了解 Super-Resolution GAN (SRGAN),这是一种将图像分辨率提高 4 倍的 GAN,在 Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network(Ledig et al. 2017) 中提出。您还将实现架构和训练代码,并能够在 CIFAR 数据集上对其进行训练。
论文: PatchGAN GAN 如何填充图像的裁剪部分?了解 PGGAN 如何使用 PatchGAN 做到这一点!
编程实验: GauGAN 在本笔记本中,您将了解 GauGAN,它从您实现和训练的语义标签映射中合成高分辨率图像。 GauGAN 基于 Semantic Image Synthesis with Spatially-Adaptive Normalization(Park 等人,2019 年)中提出的一种特殊的反归一化技术

Week 3: Unpaired Translation with CycleGAN

内容 备注
教学ppt
编程作业: CycleGAN
论文: CycleGAN
阅读材料: CycleGAN for Medical Imaging
编程实验: MUNIT 在本笔记本中,您将了解并实现 MUNIT,这是一种无监督图像到图像转换的方法,在Multimodal Unsupervised Image-to-Image Translation (Huang et al. 2018) 中提出。