方案设计篇：如何设计可落地的AI解决方案 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程 • 行业背景：AI新零售是什么? • 用户需求：线下门店业绩如何提升？ • 长期⽬目标：货架数字化与业务智能化 • 短期目标：自动化陈列审核和促销管理 • 方案设计：基于深度学习的检测/分类的AI流水线 • 方案交付：支持在线识别和API调用的 AI SaaS 目录 行业背景：AI新零售是什么 新零售——阿里研究院新零售研究报告》 中国零售发展处于初级阶段 ——《C时代 新零售——阿里研究院新零售研究报告》 新零售是什么 ——《C时代 新零售——阿里研究院新零售研究报告》 新零售知识框架 ——《C时代 新零售——阿里研究院新零售研究报告》 数字经济基础设施 ——《C时代 新零售——阿里研究院新零售研究报告》 AI：贯穿新零售全流程 ——《C时代 新零售——阿里研究院新零售研究报告》 用户需求：线下门店业绩如何提升？ 全球实体零售发展遭遇天花板 品牌间存量竞争 ——《C时代 新零售——阿里研究院新零售研究报告》 线上销售的广告位：直通车/钻展 线下门店的广告位：黄金位置 用好你的广告位：线上设计 用好你的广告位：线下陈列 缺货 凌乱 销量下降 用好你的广告位：线下陈列 有气势！ 整齐！ 销量上涨！ 品牌线下PK 如何脱颖而出？ 品牌商线下渠道销售的普遍需求 长期⽬目标：货架数字化与业务智能化

基础理论篇：TensorFlow 2 设计思想 • TensorFlow 2 设计原则 • TensorFlow 2 核心模块 • TensorFlow 2 vs TensorFlow 1.x • TensorFlow 2 落地应用 目录 TensorFlow 2 设计原则 TensorFlow - Infra of AI TensorFlow 2 设计原则 TensorFlow 2

研究⽅向：机器学习系统，云计算，⼤数据系统 � 负责腾讯平台与内容事业群（PCG）技术中台核 ⼼引擎：⽆量系统。⽀持⼤规模稀疏模型训练， 上线与推理 提纲 �推荐场景深度学习系统的基本问题与特点 �推荐类模型的深度学习系统设计 � 系统维度 � 算法维度 �总结 基于深度学习模型的推荐流程，场景与⽬标 Serving系统 HDFS 数据 通道 训练系统 召回 业务服务 排序 混排 模型 管理 上线 算法 1. ⾼性能 2. 效果⽆ 损的优化 � Feature 1（基本特点） � Feature 2（数据的时空 特点） � Feature3（机器学习 的特点） 训练框架—基于参数服务器架构的分布式训练框架 TB级模型 分⽚ 存储/更新 百TB数据 分⽚训练 Feature 1: 动态空间 Feature 2.1:短时间内只有部分item和user 被命中，只有部分参数被⽤到 百度 阿⾥ ⽆量 问题： CV/NLP低频上线，常⽤的模型 压缩算法不适应推荐场景 思考： 线上服务 成本 训练任务 成本 内存是主要瓶颈 > Embedding table可以设计得更⼩么？Double Hashing Embedding Table与第⼀层fc可以看作低秩矩阵分解 亿 亿 512 512 9 9 原始矩阵 矩阵分解 压缩⼿段除了量化和稀疏化，还有什么？因式分解

更多的读者朋友了 解、喜欢并进入到人工智能行业中来，因此作者试图从分析人工智能中的简单问题入手，一 步步地提出设想、分析方案以及实现方案，重温当年科研工作者的发现之路，让读者身临其 境式的感受算法设计思想，从而掌握分析问题、解决问题的能力。这种方式也是对读者的基 础要求较少的，读者在学习本书的过程中会自然而然地了解算法的相关背景知识，体会到知 识是为了解决问题而生的，避免陷入为了学习而学习的窘境。 预览版202112 声 明 得益于简洁优雅的设计理念，基于动态图的 PyTorch 框架在学术圈广受好评，绝大多数 最新算法是基于 PyTorch 实现的，众多的第三方 AI 框架应用，例如 mmdetection、mmaction2、 transformer、speechbrain 等均以 PyTorch 为基础开发，可见掌握 PyTorch 框架在人工智能行 业中的重要地位。 本书基于清 ： https://github.com/dragen1860/Deep-Learning-with-PyTorch-book ❑ 姊妹书《TensorFlow 深度学习—深入理解人工智能算法设计》： https://item.jd.com/12954866.html ❑ 联系邮箱(一般问题建议 Github issues 交流)：liangqu.long AT gmail.com ❑

模型计算引擎（Engine）  计算图框架（Graph） • 模型计算引擎Engine  模型结构处理  与PS通信交换模型参数  计算图的计算 • 计算图框架Graph  计算逻辑抽象op，通过op组合形成模型结构  提供正向（forward）、反向（backward）、Loss的操作扩展 模型训练框架 • 模型可变计算路径  运行阶段  计算图裁剪 模型训练框架 • 应用场景——离线预计算 Counting Bloom Filter  概率方式 • 模型数据通路  Base + Delta方式  增量提供ACK机制，确保模型正确性 Parameter Server • 模型数据的统一管理  模型结构  模型参数 PS的参数放置策略 • Ps分布式分片的均衡，避免分片大小不一致  NN网络矩阵按行切分，解决请求包不均衡问题  特征按照Hash方式分布式存储 • 缺失 会使模型丢失重要信息  数据有序性：数据乱序会导致样本穿越的现象 • Log Join框架  双流拼接框架，通过组合方式支持多流拼接  基于Event Time的Window机制拼接方式  基于Low Watermark解决流乱序、流延迟等流式常 见问题 流式拼接框架 • Low Watermark机制  定义了流式数据的时钟，不可逆性  Smooth low

深度学习：多层神经网络对输入进行非线性变换的学习技术 鸟类 正常 SACC2017 深度学习 – 多层深度网络在学习什么 SACC2017 深度学习 – 解决问题的统一框架 1 SACC2017 深度学习 - 如何设计网络结构 AlexNet,8层,,I型 VGGNet,19层,I型 GoogleNet,22层,W型 ResNet,152层,V型 3x3, 64 3x3, 64 relu 扩增数据 – 各种图像增强，加噪声 • 非监督学习 - 聚类 • 迁移学习 – 利用相似任务训练好的网络 • 生成样本数据 – 深度生成对抗网络 SACC2017 深度学习 训练框架 和 硬件选择 不同场景，不同框架 特性 GTX - 1080TI G7-P40 PCIe-V100 GPU核心 GPU微架构 Pascal Pascal Volta 核心代号 GP104 GP102 • 运维工具化，快速屏蔽/启动异常机器 • 灵活的资源分配 • 支持以 GPU 或节点为粒度进行资源分配 • 用户配置任务所需最小资源 • 自动扩缩容，最大化资源使用率 • 支持不同计算框架 • 调度与任务松耦合，用户可以灵活定义任务 • 支持配置 docker 镜像，完全自定义运行环 境 • 良好的用户体验 • 完善的客户端工具 • 任务进度微信提醒 SACC2017

Keras： • 允许简单而快速的原型设计（由于用户友好，高度模块化，可扩展性）。 • 同时支持卷积神经网络和循环神经网络，以及两者的组合。 • 在 CPU 和 GPU 上无缝运行。 查看文档，请访问 Keras.io。 Keras 兼容的 Python 版本: Python 2.7-3.6。 1.2 指导原则 • 用户友好。Keras 是为人类而不是为机器设计的 API。它把用户体验放在首要和中心位置。 translation). 为什么选择 KERAS？ 5 2 为什么选择 Keras？ 在如今无数深度学习框架中，为什么要使用 Keras 而非其他？以下是 Keras 与现有替代品的 一些比较。 2.1 Keras 优先考虑开发人员的经验 • Keras 是为人类而非机器设计的 API。Keras 遵循减少认知困难的最佳实践: 它提供一致且 简单的 API，它将常见用例所需的用户操作 TensorFlow 工作流无缝集成。 2.2 Keras 被工业界和学术界广泛采用 Deep learning 框架排名，由 Jeff Hale 基于 7 个分类的 11 个数据源计算得出 截至 2018 年中期，Keras 拥有超过 250,000 名个人用户。与其他任何深度学习框架相比，Keras 在行业和研究领域的应用率更高（除 TensorFlow 之外，且 Keras API 是 TensorFlow

多公司，如亚马逊，在20世纪90年代开发了成功的数据库驱 动网页应用程序。但在过去的10年里，这项技术在帮助创造性企业家方面的潜力已经得到了更大程度的发挥， 部分原因是开发了功能强大、文档完整的框架。 测试深度学习的潜力带来了独特的挑战，因为任何一个应用都会将不同的学科结合在一起。应用深度学习需 要同时了解（1）以特定方式提出问题的动机；（2）给定建模方法的数学； （3）将模型拟合数据的优化算法； ；（2）涵盖了现代机器学习的 所有领域，技术深度丰富；（3）在一本引人入胜的教科书中，人们可以在实践教程中找到干净的可运行代码， 并从中穿插高质量的阐述。我们发现了大量关于如何使用给定的深度学习框架（例如，如何对TensorFlow中 的矩阵进行基本的数值计算)或实现特定技术的代码示例（例如，LeNet、AlexNet、ResNet的代码片段），这 些代码示例分散在各种博客帖子和GitHu 这本书将从头开始教授深度学习的概念。有时，我们想深入研究模型的细节，这些的细节通常会被深度学习 框架的高级抽象隐藏起来。特别是在基础教程中，我们希望读者了解在给定层或优化器中发生的一切。在这 些情况下，我们通常会提供两个版本的示例：一个是我们从零开始实现一切，仅依赖张量操作和自动微分； 另一个是更实际的示例，我们使用深度学习框架的高级API编写简洁的代码。一旦我们教了您一些组件是如 何工作的，我们就可以在随后的教程中使用高级API了。

y API，统一分布式语义，解耦分布式架构与模型训练框架 • 使用FP16通信，使用FP32做计算，带宽压力降低一倍 • IO优化 • 多线程样本并发读取，样本读取与计算PIPELINE，实现计算与IO的overlap 4 深度学习-深度学习模型训练 • 分布式模型推理框架：WeiServing 异构CPU集群 kubernetes/ol-submit RPC服务框架 LR/GBDT LR/GBDT DNN/DeepFM/W&D 负载均衡/统一版本管理/动态加载/批量化机制 特征映射 Embedding 数据处理 异构GPU集群 CNN 业务应用 模型服务 框架 排序模型服务 多媒体分析服务 自然语言分析服务 集群调度层 核心架构层 算法模型层 4 深度学习-分布式模型推理 • 推理性能优化 • 减少计算量： operator fusion/XLA/TVM/p

目标检测概述 10 1.目标检测概述 学术和工业界主要将目标检测算法分成三类： 1.传统的目标检测框架 2.基于深度学习的Two Stages目标检测框架 （准确度有优势） 3.基于深度学习的One Stage目标检测框架 （速度有优势） 11 1.目标检测概述 1.传统的目标检测框架 （1）候选区域选择（采用不同尺寸、比例的滑动窗口对图像进行遍历）； （2）对不同的候选区域进行特征提取（SIFT、HOG等）； （2）对不同的候选区域进行特征提取（SIFT、HOG等）； （3）使用分类器进行分类（SVM、Adaboost等）。 12 1.目标检测概述 2.基于深度学习的Two Stages目标检测框架 （准确度有优势） 此类算法将检测问题分为两个阶段， 第一阶段生成大量可能含有目标的候选区域（Region Proposal），并附 加大概的位置信息； 第二个阶段对其进行分类，选出包含目标的候选区域并对其位置进行 修正（常使用R-CNN、Fast 修正（常使用R-CNN、Fast R-CNN、Faster R-CNN等算法）。 13 1.目标检测概述 3.基于深度学习的One Stage目标检测框架 （速度有优势） 此类检测算法属于端到端（End-to-End），不需要生成大量候选区域 的阶段，而是将问题转化为回归（Regression）问题处理，使用完整 图像作为输入，直接在图像的多个位置上回归出该位置的目标边框 及所属类别（