13.3 DCGAN 实战 13.4 GAN 变种 预览版202112 13.5 纳什均衡 13.6 GAN 训练难题 13.7 WGAN 原理 13.8 WGAN-GP 实战 13.9 参考文献 第 14 章 强化学习 14.1 先睹为快 14.2 强化学习问题 14.3 策略梯度方法 14.4 值函数方法 14.5 Actor-Critic 的训练问题一直被诟病，很容易出现训练不收敛和模式崩塌的现象。WGAN [5] 从理论层面分析了原始的 GAN 使用 JS 散度存在的缺陷，并提出了可以使用 Wasserstein 距 离来解决这个问题。在 WGAN-GP [6]中，作者提出了通过添加梯度惩罚项，从工程层面很 好的实现了 WGAN 算法，并且实验性证实了 WGAN 训练稳定的优点。 13.4.5 Equal GAN 从 GAN 的诞生至 2017 距离相对于 JS 散度更适合指导 GAN 网络的训练。 ? ?, ? ??? ?, ? (a) (b) 图 13.20 JS 散度和 EM 距离随?变换曲线 13.7.3 WGAN-GP 考虑到几乎不可能遍历所有的联合分布?去计算距离‖? − ?‖的期望?(?,?)∼?[‖? − ?‖]， 因此直接计算生成网络分布??与真实数据分布??的?(??, ??)距离是不现实的，WGAN

vision. MSRA “Feature Master” �� ��3���� � �21� �0�1 ����e�FD3F����A�L��]�gP[�����o��� �3�h��� ��� 6�3n���g[���oR�S��A3���gP��3�o�B�PM��� �������� ��� ��B���C�������3��W�[�������S� ����Dong Chen,Xudong

和 硬件选择 不同场景，不同框架 特性 GTX - 1080TI G7-P40 PCIe-V100 GPU核心 GPU微架构 Pascal Pascal Volta 核心代号 GP104 GP102 GV100 Tensor Cores NA NA 640 CUDA核数量 3456 3840 5120 处理器制程 - 16nm FinFET 12nm FinFET Core

AN%20(v2).pdf Toy example Toy example https://medium.com/@jonathan_hui/gan-wasserstein-gan-wgan-gp-6a1a2aa1b490 https://jhui.github.io/2017/01/05/Deep-learning-Information-theory/ MLE is kind of minimize