网络的梯度信息，如此循环往复，Critic 网络会判断的越来越精准，而 Actor 网络也会调整自己的策略，使得下一次做的更好。 14.5.2 A3C 算法 A3C 算法全称为 Asynchronous Advantage Actor-Critic 算法，是 DeepMind 基于 Advantage Actor-Critic 算法提出来的异步版本 [8]，将 Actor-Critic A. P. Badia, M. Mirza, A. Graves, T. P. Lillicrap, T. Harley, D. Silver 和 K. Kavukcuoglu, “Asynchronous Methods for Deep Reinforcement Learning,” CoRR, 卷 abs/1602.01783, 2016. [9] C. J. C. H. Watkins

少在没有额外帮助的情况下不是好选择。归根 结底，Python是单线程的，将来也是不太可能改变的。因此在诸多的深度学习框架中，MXNet和TensorFlow之 类则采用了一种异步编程（asynchronous programming）模型来提高性能，而PyTorch则使用了Python自己 的调度器来实现不同的性能权衡。对PyTorch来说GPU操作在默认情况下是异步的。当调用一个使用GPU的