人脸识别大幅提高精度，商汤科 技首次突破人类肉眼识别准确率 ，领先于Facebook Google5000万美元招入 Hinton，发布基于深度学习的 搜索引擎 Microsoft 深度学习驱动的语音 识别大幅提升精度 软银孙正义设立1000亿美元人 工智能基金，320亿美元收购芯 片架构公司ARM 2016.7 公司简介 历史业绩 领先技术 20年 科研经验 800余位 技术研发人员 150余位 - 处理特殊输入，如模糊、黑白照片 - 适配具有不同特征的数据源 - 在严肃应用中，客户追求100%准确率，算法性能提升永无止境 • 深度学习模型需要在准确率和速度上做均衡 - 使用更加精巧的模型和Operator设计 - 使用模型压缩算法，在基本保障准确率的情况下大幅提升速度 - 利用最新的硬件特性，如GPU TensorCore/int8 *示意图来自互联网 Kubernetes在异构系统调度中的挑战 Kubernetes版本发布快，新特性更新频繁，对异构调度的支持不断加强；但配套设施落后（e.g. Spark on K8s, GitlabCI) • 容器系统调用栈深，需要仔细验证操作系统，内核及异构设备驱动的兼容性 • Kubernetes对NUMA、异构计算、存储设备的调度能力待加强 1.6 nvidia/gpu custom scheduler 1.8 local-volume 1.10 CPU

2018年10月 时间间隔 由起始时间戳和 结束时间戳表示 8 创建时间序列 Pandas中，时间戳使用Timestamp（Series派生的子 类）对象表示。 该对象与datetime具有高度的兼容性，可以直接通过 to_datetime()函数将datetime转换为TimeStamp对象。 pd.to_datetime('20180828') 9 创建时间序列 如果传入的是多个 某分店按天统计了2017年全年的销售数据，现在总经理 想抽查分店8月28日（七夕）的销售情况，如果只是单 独拎出来当天的数据，则这个数据比较绝对，无法很好 地反映出这个日期前后销售的整体情况。 53 数据统计—滑动窗口 为了提升数据的准确性，可以将某个点的取 值扩大到包含这个点的一段区间，用区间内 的数据进行判断。 例如，我们可以将8月24日到9月2日的数据拿出来，求 此区间的平均值作为抽查结果。 54 数据统计—滑动窗口

性能优化 • 通信优化：数据请求(PULL&PUSH)聚合，同模型多矩阵并发，锁粒度优化，性能提升5-10倍 • 缓存优化：使用堆外内存与LRU过期机制，解决GC引起的性能损耗，性能提升3-5倍 • 分区优化：支持多种分区策略（RANGE/HASH/MOD），解决数据倾斜导致的流量热点瓶颈问题，性能提升2-5倍 • 存储优化：自定义存储方式(ByRow&ByKey)，基于row进行矩阵压缩存储，参数内存占用减少90% 小） • 数据规模越大，效果越好 • 月级数据规模相比周级数据模型，效果相差5+% • 在线和离线模型效果对比 • 在线FM相比于离线FM，相关指标提升5+% • 完全在线初始化模型参数 • 增量在线FM相比于离线FM，相关指标提升8+% • 增量在线FM：即依托于离线模型初始化在线FM模型参数 3 在线机器学习-效果 • 深度化 • 特征深度化：特征embedding • 模型深度化：深度学习模型， 批量调度请求到GPU，增大并发和吞吐量 4 深度学习-分布式模型推理 • 深度特征效果对比 • 文本Embedding特征，相比于文本标签，相关指标提升约3+% • 基于word2vec、bert等生成embedding向量，提高了语义编码的准确性，降低了训练成本 • 指标提升主要来源于Embedding特征保留了更多原始信息，避免了标签带来的信息损失 • User/Item Embedding 协同召回

=1 ? ? ??, ??−1 ?? + ?(??: ??) ?0 ? = 0 前向分步算法： ?? ? = ෍ ?=1 ? ?(?: ??) 初始化提升树 第?棵决策树 迭代?次，包 含?棵决策树 的提升树 真实值 损失函数 备注：损失函数选择：如分类用指数损失函数,回归使用平方误差损失。 GBDT算法 18 GBDT算法 ?0 ? ?1 ? ?2 ? ，为残差，所以第?棵决策树? ?: ?? 是对该残差的拟合 回归使用平方误差损失 注意：提升树算法中的基学习器CART树是回归树 ?? ? = ??−1 ? + ? ?: ?? GBDT算法 20 回归树问题的提升算法： 输入：训练数据集? = ?1, ?1 , ?2, ?2 , … , ??, ?? 输出：提升树??(?) 1 初始化?0 ? = 0 2 对? = 1,2, … ? ( = ?? − ??−1 ?? , ? = 1,2, … , ? ? 拟合残差???学习一个回归树，得到?(?: ??) ? 更新??(?) = ??−1 ? + ? ?: ?? 3 得到回归提升树 ?? ? = ෍ ?=1 ? ?(?: ??) GBDT算法 21 min ? min ?1 ෍(?? − ?1)2 + min ?2 ෍(?? − ?2)2 ?1 = ?|

层数较浅，一般在 1~4 层左右，网络表达 能力有限。随着计算能力的提升和大数据时代的到来，高度并行化的 GPU 和海量数据让大 规模神经网络的训练成为可能。 2006 年，Geoffrey Hinton 首次提出深度学习的概念。2012 年，8 层的深层神经网络 AlexNet 发布，并在图片识别竞赛中取得了巨大的性能提升，此后几十层、数百层、甚至 上千层的神经网络模型相继提出，展现出深层神经网络强大的学习能力。业界一般将利用 自 AlexNet 模型提出后，各种各样的算法模型相继被发表，其中有 VGG 系列、 GoogLeNet 系列、ResNet 系列、DenseNet 系列等。ResNet 系列模型将网络的层数提升至数 百层、甚至上千层，同时保持性能不变甚至更优。它算法思想简单，具有普适性，并且效 果显著，是深度学习最具代表性的模型。 除了有监督学习领域取得了惊人的成果，在无监督学习和强化学习领域也取得了巨大 的算法模型是非常有用的一个方向。 预览版202112 第 1 章 人工智能绪论 8 图 1.10 数据集样本数趋势 图 1.11 数据集大小趋势 1.3.2 计算力 计算能力的提升是第三次人工智能复兴的一个重要因素。实际上，现代深度学习的基 础理论在 1980 年代就已经被提出，但直到 2012 年，基于两块 GTX580 GPU 训练的 AlexNet 发布后，深度学习的

Feature 1: 动态空间 Feature 2.1:短时间内只有部分item和user 被命中，只有部分参数被⽤到 参数按需 获取/更新 Storage 异步训练流⽔线和多级存储：提升性能，降低内存成本 � 问题： � Learner线程中参数拉取和参数更新对性能影响⼤ � 内存成为主要资源瓶颈。由于需要等待全部参数 就绪，Parameter Server难以利⽤速度慢的存储 Feature 2.1: 短时间内只有部分item和user被命中， 只有部分参数被⽤到 � GPU训练的优势 � 更少的机器节点，更少的分布式系统相关问题 � 更⾼的性价⽐ 1. 减少节点数 2. 提升节点同 构性 推理服务—分布式Serving架构 � 读写架构 � 多线程⽆锁：基于模型版本的读写分离 � 多机：多副本并⾏读取 � CPU：固定64位key，基于L1缓存的查 询优化 算法 1. ⾼性能 2. 效果⽆ 损的优化 � Feature 1（基本特点） � Feature 2（数据的时空 特点） � Feature3（机器学习 的特点） 通讯量可以变⼩来提升训练速度么？---参数，梯度压缩 � 问题： � 参数w和梯度g占据主要的通讯量，拉⻓了请求时间 � 常规的数值⽆损的压缩⽅法效果不明显 � 业界主流做法： � 量化 � 稀疏化。累计发

业、CMMI3资质认 证、ISO9001质量管理体系认证、双软认证等最全面的企业服务资质。 权威认证的人工智能服务，可充分保障客户业务实践与业务安全 l 覆盖金融、制造、法律、电商、传媒等行业，提升企业文档自动化处理能力 为数百家中国知名客户提供完善的文本智能处理服务 01 文本智能处理背景简介 7 文本 语音 图像 人工智能 Voice Image Text 达观专注于人工智能中的文本处理细分领域 常需要分类算法融合提升效果 深度学习（CNN，RNN等） • 端到端，无需大量特征工程 • 框架通用性好，满足多领域需求 • 可以使用非监督语料训练字词向量提升效果 文本分类 CNN RNN CLSTM 序列标注 传统机器学习（CRF） • 需要大量特征工程 • 不同领域需要反复调整 深度学习（Bi-LSTM+CRF） • 多领域通用 • 输入层采用词向量，提升泛化能力 • 总 统 特 朗 普 将 考 察 苹 果 公 司 , 该 公 司 由 乔 布 斯 创 立。 05 总结&QA 总结：深度学习用于文本挖掘的优缺点 优点： 1，可以使用非监督数据训练字词向量，提升泛化能力 2，端到端，提供新思路 3，一些模型结构能够克服传统模型缺点 缺点： 1，小数据量效果不一定好 2，调参工作量有时不亚于特征工程 3，客户部署硬件环境限制 总结：一些实践经验 1，

表示你购买了A商品后，你还会有 多大的概率购买B商品。 支持度： 指某个商品组合出现的次数与总次 数之间的比例，支持度越高表示该组合出现 的几率越大。 提升度： 提升度代表商品A的出现，对商品 B的出现概率提升了多少，即“商品 A 的出 现，对商品 B 的出现概率提升的”程度。 ?????????? = ????(?, ?) ???? ? ???? = ??????? ??????? ? × ?? ????? ? ??????? = ????(?, ?) ? 8 1.关联规则概述 置信度：?????????? = ????(?,?) ???? ? 提升度：???? = ??????? ??????? ? ×??????? ? 支持度：??????? = ????(?,?) ? =3/4 9 2.Apriori算法 01 关联规则概述 02 Apriori 算法

• 尽管AlexNet的代码只比LeNet多出几行，但学术界花了很多年才接受深度学习这一概念，并应用其出 色的实验结果。这也是由于缺乏有效的计算工具。 • Dropout、ReLU和预处理是提升计算机视觉任务性能的其他关键步骤。 练习 1. 试着增加迭代轮数。对比LeNet的结果有什么不同？为什么？ 2. AlexNet对Fashion‐MNIST数据集来说可能太复杂了。 1. 尝 1. 在AlexNet中主要是哪部分占用显存？ 2. 在AlexNet中主要是哪部分需要更多的计算？ 3. 计算结果时显存带宽如何？ 5. 将dropout和ReLU应用于LeNet‐5，效果有提升吗？再试试预处理会怎么样？ Discussions90 7.2 使用块的网络（VGG） 虽然AlexNet证明深层神经网络卓有成效，但它没有提供一个通用的模板来指导后续的研究人员设计新的网 研究思路：可以应用的其他“规范化”转换？可以应用概率积分变换吗？全秩协方差估计可以么？ Discussions95 7.6 残差网络（ResNet） 随着我们设计越来越深的网络，深刻理解“新添加的层如何提升神经网络的性能”变得至关重要。更重要的 是设计网络的能力，在这种网络中，添加层会使网络更具表现力，为了取得质的突破，我们需要一些数学基 础知识。 95 https://discuss.d2l.ai/t/1874

贝壳全部房源 2019 KE.COM ALL COPYRIGHTS RESERVED 7 目标&价值 平台  提升去化率 经纪人  提升效率和业绩 客户  降低看房成本 业主  缩减销售时长  市场需求恒定，优先成交好房 核心思想  选出好房 核心问题  提升带看效率  加速成交 核心价值 2019 KE.COM ALL COPYRIGHTS RESERVED 8 39 库存&新上房源 去化率  分数越高，质量越好 2019 KE.COM ALL COPYRIGHTS RESERVED 40 了解分 • 分数解释：打分是怎么计算的 • 如何操作可以提升打分？ 优质房（A） 次优房（B） 一般房（C） 经纪人的疑问 质量分数 • 具有排序意义 • 很难引导经纪人 2019 KE.COM ALL COPYRIGHTS RESERVED 41