也取得了巨大 的成绩。2014 年，Ian Goodfellow 提出了生成对抗网络，通过对抗训练的方式学习样本的 真实分布，从而生成逼近度较高的样本。此后，大量的生成对抗网络模型相继被提出，最 新的图片生成效果已经达到了肉眼难辨真伪的逼真度。2016 年，DeepMind 公司应用深度 神经网络到强化学习领域，提出了 DQN 算法，在 Atari 游戏平台中的 49 个游戏上取得了 与人类相当 第 1 章 人工智能绪论 10 征，以帮助算法更好地收敛到最优解。这类特征提取方法通常是与某些具体任务场景强相 关的，一旦场景发生了变动，这些依靠人工设计的特征和先验设定无法自适应新场景，因 此需要重新设计算法模型，模型的通用性不强。 设计一种像人脑一样可以自动学习、自我调整的通用智能机制一直是人类的共同愿 景。从目前来看，深度学习是最接近通用智能的算法之一。在计算机视觉领域，过去需要 中学习到数据的真实模型，从而预测未见过的样本的输出 值。在假定模型的类型后，学习过程就变成了搜索模型参数的问题。比如假设神经元为线 性模型，那么训练过程即为搜索线性模型的?和?参数的过程。训练完成后，利用学到的模 型，对于任意的新输入?，可以使用学习模型输出值作为真实值的近似。从这个角度来 看，它是一个连续值的预测问题。 在现实生活中，连续值预测问题是非常常见的，比如股价的走势预测、天气预报中温 度和湿度等的预测、年龄的

一种结合了代码、数学和HTML的媒介 任何一种计算技术要想发挥其全部影响力，都必须得到充分的理解、充分的文档记录，并得到成熟的、维护 良好的工具的支持。关键思想应该被清楚地提炼出来，尽可能减少需要让新的从业者跟上时代的入门时间。 成熟的库应该自动化常见的任务，示例代码应该使从业者可以轻松地修改、应用和扩展常见的应用程序，以 满足他们的需求。以动态网页应用为例。尽管许多公司，如亚马逊，在20世纪90年代开发了成功的数据库驱 is Bishop的优秀教科书 (Bishop, 2006) ，对每 个主题都教得很透彻，以至于要读到线性回归这一章需要大量的工作。虽然专家们喜欢这本书正是因为它的 透彻性，但对初学者来说，这一特性限制了它作为介绍性文本的实用性。 在这本书中，我们将适时教授大部分概念。换句话说，你将在实现某些实际目的所需的非常时刻学习概念。 虽然我们在开始时花了一些时间来教授基础的背景知识，如线性代数和概率，但我们希望你在思考更深奥的 中，我们引入了循环神经网络(recurrent neural network，RNN)，这是一种利用数据中的时间或序列 结构的模型，通常用于自然语言处理和时间序列预测。在 10节 中，我们介绍了一类新的模型，它采用 了一种称为注意力机制的技术，最近它们已经开始在自然语言处理中取代循环神经网络。这一部分将 帮助读者快速了解大多数现代深度学习应用背后的基本工具。 • 第三部分讨论可伸缩性、效率和应用程序。首先，在

基模型对第i个训练样本的预测值将作为新的训 练集中第i个样本的第j个特征值，最后基于新的训练集进行训练。同理，预测的过程也要先经过 所有基模型的预测形成新的测试集，最后再对测试集进行预测。 测试 数据 7 Random Forest（随机森林） 用随机的方式建立一个森林。随机森林算法由很多决策树组成，每一棵决 策树之间没有关联。建立完森林后，当有新样本进入时，每棵决策树都会 分别进行判断，然后基于投票法给出分类结果。 自助采样法；随机选择特征是 指在每个节点在分裂过程中都是随机选择特 征的（区别与每棵树随机选择一批特征）。 这种随机性导致随机森林的偏差会有稍微的 增加（相比于单棵不随机树），但是由于随 机森林的“平均”特性，会使得它的方差减 小，而且方差的减小补偿了偏差的增大，因 此总体而言是更好的模型。 随机森林 数据集 自助采样 自助采样 自助采样 Bootstraping 10 2.AdaBoost和GBDT算法 AdaBoost（Adaptive Boosting，自适应增强），其自适应在于：前 一个基本分类器分错的样本会得到加强，加权后的全体样本再次被用来 训练下一个基本分类器。同时，在每一轮中加入一个新的弱分类器，直 到达到某个预定的足够小的错误率或达到预先指定的最大迭代次数。 后一个模型的训练永远是在前一个模型的基础上完成！ 12 Adaboost算法 算法思想 • 初始化训练样本的权值分布，每个样本具有相同权重；

数千名员工致力于人工智能领域 发现& 搜索 执行 &物流 现有产品的增强 定义新的产品分类 将机器学习拓 展更广领域 Amazon 的人工智能应用 在Amazon 最初的人 工智能应用 (1995) AWS 可以帮助客户把人工智能应用于每个应 用程序的核心&业务之中吗? Amazon AI 构建于深度学习之上的智能服务 Amazon AI: 新的深度学习服务 生活化的语音服务 Polly Lex 对话引擎 图像分析 深度学习框架 MXNet, TensorFlow, Theano, Caffe, Torch 为客户模型定制的 深度学习框架 人工智能 的托管的 API服务 Amazon AI: 新的深度学习服务 Polly Lex Rekognition 深度学习框架 MXNet, TensorFlow, Theano, Caffe, Torch 控制力 可用性& 简易性 一键获得的GPU Torch 预配置的 CUDA 驱动 Anaconda, Python3 + CloudFormation 模版 + 容器镜像文件 全新的 EC2 P2 实例 | 高达16 块 GPUs ▪ 这款新实例类型包含了高达 8个 NVIDIA Tesla K80 Accelerators, 每个运行一对 NVIDIA GK210 GPUs. ▪ 每块GPU 提供 12 GiB 内存 (内存存取带宽达到240

换句话说，正交矩阵的逆是其转置。 注意，如果 不是方阵 :即， ， ，但其列仍然是 正交的，则 ，但是 。我们通常只使用术语"正交"来描述先前的情况 ，其中 是方 阵。 正交矩阵的另一个好的特性是在具有正交矩阵的向量上操作不会改变其欧几里德范数，即: 对于任何 , 是正交的。 3.9 矩阵的值域和零空间 一组向量 是可以表示为 的线性组合的所有向量的集合。 即： 可以证明，如果 1. 恒等式的行列式为1, （几何上，单位超立方体的体积为1）。 2. 给定一个矩阵 , 如果我们将 中的一行乘上一个标量 ，那么新矩阵的行列式是 几何上，将集合 的一个边乘以系数 ，体积也会增加一个系数 。 3. 如果我们交换任意两行在 和 ，那么新矩阵的行列式是 ，例如： 你一定很奇怪，满足上述三个属性的函数的存在并不多。事实上，这样的函数确实存在，而且是唯一的 （我们在这里不再证明了）。 （同时为了方便起见，我们假设 是满秩），则 是正定的。 3.12 特征值和特征向量 给定一个方阵 ，我们认为在以下条件下， 是 的特征值， 是相应的特征向量： 直观地说，这个定义意味着将 乘以向量 会得到一个新的向量，该向量指向与 相同的方向，但按系数 缩放。值得注意的是，对于任何特征向量 和标量 ， ， 也是一个特征向量。因此，当我们讨论与 相关的特征向量时，我们通常假设特征向量被标准化为长度 为1（这仍然会造成一些歧义，因为

使用更加精巧的模型和Operator设计 - 使用模型压缩算法，在基本保障准确率的情况下大幅提升速度 - 利用最新的硬件特性，如GPU TensorCore/int8 *示意图来自互联网 Kubernetes在异构系统调度中的挑战 • Kubernetes版本发布快，新特性更新频繁，对异构调度的支持不断加强；但配套设施落后（e.g. Spark on K8s, GitlabCI) • 容器

. . . . . 159 13.2.3 从 VGG19 的任意中间层中抽取特征 . . . . . . . . . . . . . . . . . . . . . . 159 13.2.4 在新类上微调 InceptionV3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160 13.2.5 通过自定义输入 tensor 构建 详细配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171 14.4 使用抽象 Keras 后端编写新代码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172 14.5 后端函数 . . . . . . . . . . . . 可用的惩罚 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232 16.4 开发新的正则化器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232 目录 X 17 约束 Constraints

2项目进阶实战》视频课程 • 行业背景：AI新零售是什么? • 用户需求：线下门店业绩如何提升？ • 长期⽬目标：货架数字化与业务智能化 • 短期目标：自动化陈列审核和促销管理 • 方案设计：基于深度学习的检测/分类的AI流水线 • 方案交付：支持在线识别和API调用的 AI SaaS 目录 行业背景：AI新零售是什么? 人类零售演进史 ——《C时代 新零售——阿里研究院新零售研究报告》 中国零售发展处于初级阶段 ——《C时代 新零售——阿里研究院新零售研究报告》 新零售是什么 ——《C时代 新零售——阿里研究院新零售研究报告》 新零售知识框架 ——《C时代 新零售——阿里研究院新零售研究报告》 数字经济基础设施 ——《C时代 新零售——阿里研究院新零售研究报告》 AI：贯穿新零售全流程 ——《C时代 新零售——阿里研究院新零售研究报告》 AR/VR：虚实结合的消费体验 ——《C时代 新零售——阿里研究院新零售研究报告》 新零售——阿里研究院新零售研究报告》 传感器和IoT：提升门店消费体验 ——《C时代 新零售——阿里研究院新零售研究报告》 用户需求：线下门店业绩如何提升？ 全球实体零售发展遭遇天花板 品牌间存量竞争 ——《C时代 新零售——阿里研究院新零售研究报告》 线上销售的广告位：直通车/钻展 线下门店的广告位：黄金位置 用好你的广告位：线上设计 用好你的广告位：线下陈列 缺货 凌乱 销量下降 用好你的广告位：线下陈列

KE.COM ALL COPYRIGHTS RESERVED 19 v1.0 - 小结 存在的问题 新上房源与库存房源在行为特征上 差异巨大 引入新上房源，会严重干扰模型  很难兼容新上房源  时序数据特征爆炸 时序特征进行特征提取，得到的特征 数量庞大 随着迭代的进行，新加入特征边际效 应递减，但是成本高 解决的问题  人工 -> 机器  解决了人工选房的问题  ????????? )  分数映射公式 2019 KE.COM ALL COPYRIGHTS RESERVED 38 库存&新上房源 数量分布  新上房源分数略高 2019 KE.COM ALL COPYRIGHTS RESERVED 39 库存&新上房源 去化率  分数越高，质量越好 2019 KE.COM ALL COPYRIGHTS RESERVED 40 了解分

特征构建：是指从原始数 据中人工的找出一些具有 物理意义的特征。 方法：经验、属性分割和 结合 操作：使用混合属性或者 组合属性来创建新的特征 ，或是分解或切分原有的 特征来创建新的特征 2. 特征构建 在原始数据集中的特征 的形式不适合直接进行 建模时，使用一个或多 个原特征构造新的特征 可能会比直接使用原有 特征更为有效。 9 归一化（最大 - 最小规范化） ?∗ = ? − ?min ?max 标准差、方差和频数等。 聚合特征构造 14 2. 特征构建 相对于聚合特征构造依赖于多个特征的分组统计，通常依赖于对于特征本 身的变换。转换特征构造使用单一特征或多个特征进行变换后的结果作为 新的特征。 常见的转换方法有单调转换（幂变换、log变换、绝对值等）、线性组合、 多项式组合、比例、排名编码和异或值等。 转换特征构造 15 2. 特征构建 • 基于单价和销售量计算销售额. 特征选择 17 许永洪,吴林颖.中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) 提取对象：原始数据（特征提取一般是在特征选择之前） 提取目的：自动地构建新的特征，将原始数据转换为一组具有明显物理 意义（比如几何特征、纹理特征）或者统计意义的特征。 常用方法 降维方面的PCA、ICA、LDA等 图像方面的SIFT、Gabor、HOG等 文本方面的词袋模型、词嵌入模型等