图 13.11 图片转换效果 [4] 13.4.4 WGAN GAN 的训练问题一直被诟病，很容易出现训练不收敛和模式崩塌的现象。WGAN [5] 从理论层面分析了原始的 GAN 使用 JS 散度存在的缺陷，并提出了可以使用 Wasserstein 距 离来解决这个问题。在 WGAN-GP [6]中，作者提出了通过添加梯度惩罚项，从工程层面很 好的实现了 WGAN 算法，并且实验性证实了 散度类似的另一个分布距离度量标 准：JS 散度，它定义为 KL 散度的组合： ???(?||?) = ∫ ?(?) log ?(?) ?(?) ? ?? ???(?||?) = 1 2 ??? (?|| ? + ? 2 ) + 1 2 ??? (?|| ? + ? 2 ) JS 散度克服了 KL 散度不对称的缺陷。 当 D 达到最优状态?∗时，我们来考虑此时?r和?g的 JS 散度： ? (log 4 + ℒ(?, ?∗)) 即： ℒ(?, ?∗) = 2???(??||??) − 2 log 2 对于生成网络 G 而言，训练目标是min ? ℒ(?, ?) ，考虑到 JS 散度具有性质： ???(??||??) ≥ 0 因此ℒ(?, ?∗)取得最小值仅在???(??||??) = 0时(此时?? = ??)，ℒ(?, ?∗)取得最小值： ℒ(?∗,?∗)

Where will G converge, after optimal D Intuition Q1. Where will D go (fixed G) KL Divergence V.S. JS Divergence Q2. Where will G go (after D*) ??? ?? ∥ ?? ≥ 0 ?? = ?? A~Z GAN https://github.com/ https://jhui.github.io/2017/01/05/Deep-learning-Information-theory/ MLE is kind of minimize KLD GAN JS Divergence Gradient Vanishing Training Progress Invisible HowTo The Least Cost among plans How

• 在安卓上，通过 TensorFlow Android runtime，例如：Not Hotdog app。 • 在浏览器上，通过 GPU 加速的 JavaScript 运行时，例如：Keras.js 和 WebDNN。 • 在 Google Cloud 上，通过 TensorFlow-Serving。 • 在 Python 网页应用后端（比如 Flask app）中。 • 在 JVM，通过