共同获得了2018年计算机科学的最高奖项 ——ACM图灵奖。 深度学习界的执牛耳者 Andrew Ng 中文名吴恩达，斯坦福大学副教 授，前“百度大脑”的负责人与百 度首席科学家。 6 李航, 现任字节跳动科技有限公司人 工智能实验室总监，北京大学、南京 大学客座教授，IEEE 会士，ACM 杰 出科学家，CCF 高级会员。 代表作：《统计学习方法》 国内泰斗 周志华，南京大学计算机科学与技 术系主任 深度学习入门-图像分割 18 自然语言处理（Natural Language Processing）是一门通过建 立形式化的 计算模型来分析、理解和处理自然语言的学科，也是 一门横跨语言学、计算 机科学、数学等领域的交叉学科。自然语 言处理，是指用计算机对自然语言 的形、音、义等信息进行处理 ，即对字、词、句、篇章的输入、输出、识别、 分析、理解、生 成等的操作和加工。自然语言处理的具体表现形式包括机器 两个流程，包括自然语言理解和自然语言生成 ，自然语言理解是让计算机把 输入的语言变成有意思的符号和关 系，然后根据目的再处理；自然语言生成 则是把计算机数据转 化为自然语言。实现人机间的信息交流，是人工智能 界、计算 机科学和语言学界所共同关注的重要问题。 自然语言处理技术的技术层次 自然语言处理技术的发展历程 语音分析 词法分析 句法分析 语用分析 语义分析 20世纪70年代 • • 理性主义方法 基于统计的方法

共同获得了2018年计算机科学的最高奖项 ——ACM图灵奖。 机器学习界的执牛耳者 Andrew Ng 中文名吴恩达，斯坦福大学副教 授，前“百度大脑”的负责人与百 度首席科学家。 6 李航, 现任字节跳动科技有限公司人 工智能实验室总监，北京大学、南京 大学客座教授，IEEE 会士，ACM 杰 出科学家，CCF 高级会员。 代表作：《统计学习方法》 机器学习界的国内泰斗 周志华，南京大学计算机科学与技 术系主任 ⚫Pandas ⚫SciPy ⚫Matplotlib ⚫Scikit-learn Python模块 59 Python模块-NumPy ⚫NumPy NumPy是一个用Python实现的科学计算的扩展程序库，包括： 1、一个强大的N维数组对象Array； 2、比较成熟的（广播）函数库； 3、用于整合C/C++和Fortran代码的工具包； 4、实用的线性代数、傅里叶变换和随机数 配合使用更加方便。 NumPy（Numeric Python）提供了许多高级的数值编程工具，如：矩阵数据类型、 矢量处理，以及精密的运算库。专为进行严格的数字处理而产生。多为很多大型金融 公司使用，以及核心的科学计算组织如：Lawrence Livermore，NASA用其处理一些 本来使用C++，Fortran或Matlab等所做的任务。 60 Python模块-NumPy 切片 61 Python模块-NumPy

. . . . . . . . . . . . . . . . . . . 767 Bibliography 769 xv xvi 前言 几年前，在大公司和初创公司中，并没有大量的深度学习科学家开发智能产品和服务。我们中年轻人（作者） 进入这个领域时，机器学习并没有在报纸上获得头条新闻。我们的父母根本不知道什么是机器学习，更不用 说为什么我们可能更喜欢机器学习，而不是从事医学或法律职 压抑的大收件箱中解放出来。在围棋等棋类游戏中，软件超越了世界上最优秀的人，这曾被认为是几十年后 的事。这些工具已经对工业和社会产生了越来越广泛的影响，改变了电影的制作方式、疾病的诊断方式，并 在基础科学中扮演着越来越重要的角色——从天体物理学到生物学。 关于本书 这本书代表了我们的尝试——让深度学习可平易近人，教会人们概念、背景和代码。 1 一种结合了代码、数学和HTML的媒介 任何一种 起来。有时会让读者对如何实现它们一无所知。此外，太多的资源隐藏在商业课程提供商的付费壁垒后面。 我们着手创建的资源可以：（1）每个人都可以免费获得；（2）提供足够的技术深度，为真正成为一名应用机 器学习科学家提供起步；（3）包括可运行的代码，向读者展示如何解决实践中的问题；（4）允许我们和社区 的快速更新;（5）由一个论坛2作为补充，用于技术细节的互动讨论和回答问题。 这些目标经常是相互冲突的。公

人工智能 人工智能是让机器获得像人类一样具有思考和推理机制的智能技术，这一概念最早出 现在 1956 年召开的达特茅斯会议上。这是一项极具挑战性的任务，人类目前尚无法对人脑 的工作机制有全面、科学的认知，希望能制造达到人脑水平的智能机器无疑是难于上青 天。即使如此，在某个方面呈现出类似、接近甚至超越人类智能水平的机器被证明是可行 的。 怎么实现人工智能是一个非常广袤的问题。人工智能的发展主要经历了三个阶段，每 总 结、归纳出一些逻辑规则，并将逻辑规则以计算机程序的方式实现，来开发出智能系统。 但是这种显式的规则往往过于简单，并且很难表达复杂、抽象的概念和规则。这一阶段被 称为推理期。 1970 年代，科学家们尝试通过知识库加推理的方式解决人工智能，通过构建庞大复杂 的专家系统来模拟人类专家的智能水平。这些明确指定规则的方式存在一个最大的难题， 就是很多复杂、抽象的概念无法用具体的代码实现。比如人类对图片的识别、对语言的理 1.2 神经网络发展简史 5 图 1.6 Frank Rosenblatt 和 Mark 1 感知机① 图 1.7 Mark 1 感知机网络结构② 1969 年，美国科学家 Marvin Minsky 等人在出版的《Perceptrons》一书中指出了感知 机等线性模型的主要缺陷，即无法处理简单的异或 XOR 等线性不可分问题。这直接导致 了以感知机为代表的神经网络的相关研究进入了低谷期，一般认为

络稳定性判断。 离散Hopfield神经网络模型 1T 2T IT N T … … 1x 2x ix nx 7 1.人工神经网络发展历史 1986年，Rumelhart和 McClelland为首的科学家提出了 BP（Back Propagation）神经 网络的概念，是一种按照误差逆 向传播算法训练的多层前馈神经 网络，目前是应用最广泛的神经 网络。 BP神经网络模型 1h v 输入层 能够自适应、自主学习。BP可以根据预设 参数更新规则，通过不断调整神经网络中的参 数，已达到最符合期望的输出。 2.拥有很强的非线性映射能力。 3.误差的反向传播采用的是成熟的链式法则， 推导过程严谨且科学。 4.算法泛化能力很强。 缺点： 1.BP神经网络参数众多，每次迭代需要更新 较多数量的阈值和权值，故收敛速度比较慢。 2.网络中隐层含有的节点数目没有明确的准则 ，需要不断设置节点数字试凑，根据网络误差

大变好，有时候只需要几十轮，分类正确率就能达到百分之百（相比于以前训练 1000 轮才能到百 分之 90，好了太多）： 本节代码见 chapter4-4.py。 4.5 总结 历时不到三天的业余时间完成了这本小书的计划和写作，从叙述的详细程度和阅读学习的简 单性而言，还是比较符合我的预期的。 本来这部入门小书的原名叫做《卷积网络实战》，但我思考再三，感觉卷积网络不应该作为入 28 4.5. 总结 门来学习的神经

数据分析（3D） Axes3D.scatter3D 方法专门用于绘制3维的散点图。 数据归一化（3D） 数据处理：NumPy NumPy 是一个 BSD 开源协议许可的，面向 Python 用户的基础科学计算库，在多 维数组上实现了线性代数、傅立叶变换和其他丰富的函数运算。 X y 创建线性回归模型（数据流图） 创建会话（运行环境） 使用 TensorBoard 可视化模型数据流图 TensorBoard

在神经元建模方面工作的启发，心理学家 Frank Rosenblatt 参考大脑中神经元信息传递信号的工作机制，发明了神经感知机模型 Perceptron 。 二分类模型 神经网络 在机器学习和认知科学领域，人工神经网络（ANN），简称神经网络（NN）是一种模仿生物 神经网络（动物的中枢神经系统，特别是大脑）的结构和功能的数学模型或计算模型，用于 对函数进行估计或近似。神经网络是多层神经元的连接，上一层神经元的输出，作为下一层

超大规模深度学习在美团的应用 余建平 美团点评用户平台研究员 自我介绍 自我介绍 2011年硕士毕业于南京大学计算机科学与技术系。毕业后曾在百度凤巢从事机器学习 工程相关的工作，加入美团后，负责超大规模机器学习系统，从无到有搭建起支持千亿 级别规模的深度学习系统，与推荐、搜索、广告业务深度合作，在算法上提供从召回到 排序的全系统优化方案，在工程上提供离线、近线、在线的全流程解决方案。

建于2013年11月，其宗旨是建立 高科技人才和专利的蓄水池，推 动苏宁持续地创新和转型，为用 户提供简约完美的用户体验。 硅谷研究院由来自云计 算、大数据、人工智能及深度学 习等不同专业背景的工程师、数 据科学家及分析师组成。目前包 含人工智能、大数据和创新三个 实验室。 4  程进兴，苏宁美国研究院技术总监，斯坦福大学 博士，清华大学本科。 曾在甲骨文，雅虎，微软， 沃尔玛实验室等多家公司从事搜索，广告，大数