作业类型 集群GPU资源概况 作业分配到的GPU数量 TensorFlow on Yarn设计 TensorFlow作业AM页面：� Container所在的机器� 分配到的GPU物理设备号� tensorboard url链接� Container角⾊� Container当前状态� 训练中保存的中间模型� 查看work、ps日志� TensorFlow on Yarn设计 集成TensorFlow到Yarn面临的特定问题：� • 如何自组织ClusterSpec信息� • 训练数据的划分� • 如何启动Tensorboard服务� • 如何降低迁移成本� • 已分配的物理GPU设备号到用户态GPU设备号的映射� TensorFlow on Yarn技术细节揭秘 自动构建ClusterSpec的流程图：� TensorFlow on Yarn技术细节揭秘 训练数据的划分：� os.environ[“TF_ROLE”] task_index = int(os.environ["TF_INDEX"]) TensorFlow on Yarn技术细节揭秘 已分配的物理GPU设备号到用户态GPU设备号的映射：� TensorFlow on Yarn技术细节揭秘 TensorFlow on Yarn系统架构图：� TensorFlow on Yarn技术细节揭秘

特征选择 共同点 都从原始特征中找出最有效的特征 都能帮助减少特征的维度、数据冗余 区别 ➢ 强调通过特征转换的方式得 到一组具有明显物理或统计 意义的特征 ➢ 有时能发现更有意义的特征 属性 ➢ 从特征集合中挑选一组具 有明显物理或统计意义的 特征子集 ➢ 能表示出每个特征对于模 型构建的重要性 特征提取VS特征选择 1. 相关概念 7 2. 特征构建 01 相关概念 03 特征提取 04 特征选择 8 许永洪,吴林颖.中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) 特征构建：是指从原始数 据中人工的找出一些具有 物理意义的特征。 方法：经验、属性分割和 结合 操作：使用混合属性或者 组合属性来创建新的特征 ，或是分解或切分原有的 特征来创建新的特征 2. 特征构建 在原始数据集中的特征 的形式不适合直接进行 吴林颖.中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) 提取对象：原始数据（特征提取一般是在特征选择之前） 提取目的：自动地构建新的特征，将原始数据转换为一组具有明显物理 意义（比如几何特征、纹理特征）或者统计意义的特征。 常用方法 降维方面的PCA、ICA、LDA等 图像方面的SIFT、Gabor、HOG等 文本方面的词袋模型、词嵌入模型等 3. 特征提取

中，软件超越了世界上最优秀的人，这曾被认为是几十年后 的事。这些工具已经对工业和社会产生了越来越广泛的影响，改变了电影的制作方式、疾病的诊断方式，并 在基础科学中扮演着越来越重要的角色——从天体物理学到生物学。 关于本书 这本书代表了我们的尝试——让深度学习可平易近人，教会人们概念、背景和代码。 1 一种结合了代码、数学和HTML的媒介 任何一种计算技术要想发挥其全部影响力，都必须得 型在ImageNet数据集上的训练时间减少到不到7分钟。作为比较——最初的训练时间是按天为单位的。 • 并行计算的能力也对强化学习的进步做出了相当关键的贡献。这导致了计算机在围棋、雅达里游戏、星 际争霸和物理模拟（例如，使用MuJoCo）中实现超人性能的重大进步。有关如何在AlphaGo中实现这 一点的说明，请参见如 (Silver et al., 2016) 。简而言之，如果有大量的（状态、动作、奖励）三元组可 力。目前，深度学习主要应用于这些问题的计算机视觉方面。其余部分则由工程师进行大量调整。 同样，上面的列表仅仅触及了机器学习对实际应用的影响之处的皮毛。例如，机器人学、物流、计算生物学、 粒子物理学和天文学最近取得的一些突破性进展至少部分归功于机器学习。因此，机器学习正在成为工程师 和科学家必备的工具。 关于人工智能的非技术性文章中，经常提到人工智能奇点的问题：机器学习系统会变得有知觉，并独立于主

2的数组统称为张量。张量的每个维度也叫作轴 (Axis)，通常某个维度代表了特定的物理含义，比如 Shape 为[2,3,32,32]的张量共有 4 维，如果表示图片数据的话，每个维度/轴代表的含义通常定义为图片数量、图片通道 数、图片高度、图片宽度，其中 2 代表了 2 张图片，3 代表了 RGB 共 3 个通道，32 代表了高、宽均为 32。张量的维度数以及每个维度所代表的具体物理含义需要由用户 自行定义。 在 PyTorch 在介绍完张量的相关属性和创建方式后，下面将介绍每种维度数下张量的典型应用， 预览版202112 4.5 张量的典型应用 11 让读者在看到每种张量时，能够直观地联想到它主要的物理意义和用途，对后续张量的维 度变换等一系列抽象操作的学习打下基础。 本节在介绍典型应用时不可避免地会提及后续将要学习的网络模型或算法，学习时不 需要完全理解，有初步印象即可。 4.5.1 标量 1943 年，美国神经科学家 Warren Sturgis McCulloch 和数理逻辑学家 Walter Pitts 从生 物神经元的结构上得到启发，提出了人工神经元的数学模型，这进一步被美国神经物理学 家 Frank Rosenblatt 发展并提出了感知机(Perceptron)模型。1957 年，Frank Rosenblatt 在一 台 IBM-704 计算机上面模拟实现了他发明的感知机模型，这个网络模型可以完成一些简单

计算机视觉概述 02 卷积神经网络概述 03 卷积神经网络计算 04 卷积神经网络案例 本章目录 4 计算机视觉 图像获取 提取二维图像 、三维图组、 图像序列或相 关的物理数据 ，如声波、电 磁波或核磁 共振的深度、 吸收度或反射 度 预处理 对图像做一 种或一些预 处理，使图 像满足后继 处理的要 求 ，如：二次 取样保证图 像坐标的正 确，平滑、 去噪等

??→0 ?(?0+??)−?(?0) ?? （1） 或者：?′(?0) = lim ?→?0 ?(?)−?(?0) ?−?0 （2） 3 高等数学 2.左右导数导数的几何意义和物理意义 函数?(?)在?0处的左、右导数分别定义为： 左导数：?′−(?0) = lim ??→0− ?(?0+??)−?(?0) ?? = lim ?→?0− ?(?)−?(?0)

要避开的面孔 • 获得人口学以及情感的数 据推荐最佳照片 • 提高在线约会匹配的推荐 • 动态的个性化广告 人脸比对 测量两张图片中同一个人的可能性 • 为应用和设备添加人脸 验证 • 扩展了物理安全控制的 应用领域 • 客人对VIP 设施的使用 • 在线考试以及民意调查 时的用户验证 人脸识别 通过针对存储的面部向量的集合找到输入面部图像的最接近 的匹配来识别图像中的人 • 社交应用、消息类应用

成功的机器学习应 用不是拥有最好的 算法，而是拥有最 多的数据！ 数据决定一切 数据大小 准 确 率 11 深度学习-CV（计算机视觉方向） 图像获取 提取二维图像 、三维图组、 图像序列或相 关的物理数据 ，如声波、电 磁波或核磁 共振的深度、 吸收度或反射 度 预处理 对图像做一 种或一些预 处理，使图 像满足后继 处理的要 求 ，如：二次 取样保证图 像坐标的正 确，平滑、 去噪等

(?0) ?? （1） 或者：?′(?0) = lim ?→?0 ?(?)−?(?0) ?−?0 （2） 2.左右导数导数的几何意义和物理意义 函数?(?)在?0处的左、右导数分别定义为： 左导数：?′−(?0) = lim ??→0− ?(?0+??)−?(?0) ?? = lim ?→?0− ?(?)−?(?0)