http://www.iro.umontreal.ca/~vincentp/ift3395/lectures/backprop_old.pdf Rediscover! 1986 on Nature ▪ David Parker and Yann LeCun mentioned. http://www.iro.umontreal.ca/~vincentp/ift3395/lectures/backprop_old

进行求导， 并根据复合函数求导常用的“链式法则”将不同层的模型参 数的梯度联系起来，使得计算所有模型参数的梯度更简单。 BP算法的思想早在 1960s 就被提出来了。 直到1986年， David Rumelhart 和 Geoffrey Hinton 等人发表了一篇后来成 为经典的论文，清晰地描述了BP算法的框架，才使得BP算 法真正流行起来，并带来了神经网络在80年代的辉煌。 计算梯度

parameter sharing and filters for use in image models, which avoids having to learn separate 8 So, David, Quoc Le, and Chen Liang. "The evolved transformer." International Conference on Machine Learning

properties of the k-means algorithms." Advances in neural information processing systems 7 (1994). 15 David Arthur and Sergei Vassilvitskii. 2007. K-means++: the advantages of careful seeding. In Proceedings

1986 年，David Rumelhart 等人在 Nature 上发表了通过 BP 算法来进行表征学习的论文， BP 算法才获得了广泛的关注。 1982 年，随着 John Hopfild 的循环连接的 Hopfield 网络的提出，开启了 1982 年~1995 年的第二次人工智能复兴的大潮，这段期间相继提出了卷积神经网络、循环神经网络、反 向传播算法等算法模型。1986 年，David Rumelhart 预览版202112 第 13 章 生成对抗网络 28 预览版202112 第14章 强化学习 人工智能=深度学习+强化学习 − David Silver 本章节代码部分尚未完成修改！ 强化学习是机器学习领域除有监督学习、无监督学习外的另一个研究分支，它主要利 用智能体与环境进行交互，从而学习到能获得良好结果的策略。与有监督学习不同，强化