tenaflyyy/Papers

VALSE 2018 _ 生成对抗网络

Opened this issue · 0 comments

tenaflyyy commented

生成对抗网络

  • 概率生成模型：观测数据->概率分布->新的数据
    • 图像生成：收集现实中的数据，送入概率模型中，采样处理建模，生成全新的和观测模型一致的数据
      • 测试高维复杂的概率分布模型
      • 模拟未来
      • 处理缺失数据
      • 多模态输出
      • 解决真是的数据生成问题：自然图像、句子
    • 生成模型优化
      • 最大似然估计
    • 生成模型的分类
      • 最大似然估计
        • 显式概率密度（）
        • 隐式概率密度模型（马尔科夫链）：生成随机网络
        • 直接建模GANs
  • 最新概率生成模型
    • GANs
    • VAE变分自动编码模型
    • 自回归模型：基于链式法则显示建模概率分布：生成样本复杂度高
  • GANs
    • 使用隐编码
    • 近似一致，优于自回归
    • 不需要马可夫链
    • 生成数据的质量很高
  • GAN基本框架
    • 生成模型
    • 判别模型
      -GANs的应用
    • 图像超分辨率重建
      • 生成模型：生成低分辨率图像块的高分辨率图像块
      • 判别模型：发现生成与真实高分辨率图像块之间的区别
  • 训练过程
    • 一个模型更新K 次，另一个模型更新1次
    • 学习条件概率模型p(y/x),通常比提供比学习p(x)更好的生成样本
    • 学习联合概率模型结果更好
    • 单边标签平滑
      • 1->0.9
      • 有效的正则
      • 不改变分类准备率，只改变置信度
      • 防止辨别模型梯度过大
      • 防止局限于特定样本
  • 值得探讨的问题：如何避免模式坍塌

深度GANs

  • 深度卷积生成网络
  • 基于递归神经网络的GANs