动量法中的方式使用泄漏平均值，即st ← γst−1 + (1 − γ)g2 t，其中参数γ > 0。保持所有其它部分不变就产生了RMSProp算法。 11.8.1 算法 让我们详细写出这些方程式。 st ← γst−1 + (1 − γ)g2 t, xt ← xt−1 − η √st + ϵ ⊙ gt. (11.8.1) 常数ϵ > 0通常设置为10−6，以确保我们不会因除以零或步长