3.1 手写数字图片数据集 3.2 模型构建 3.3 误差计算 3.4 真的解决了吗 3.5 非线性模型 3.6 表达能力 3.7 优化方法 3.8 手写数字图片识别体验 3.9 小结 3.10 参考文献 第 4 章 PyTorch 基础 4.1 数据类型 4.2 数值精度 4.3 待优化张量 4.4 创建张量 预览版202112 目前常用的深度学习框架，如 PyTorch (Paszke, 以及其他人, 2019)、TensorFlow 等， 都可以非常方便地通过数行代码自动下载、管理和加载 MNIST 数据集，不需要开发者额 外编写代码，使用起来非常方便。这里利用 PyTorch 附带的 torchvision 库自动在线下载 MNIST 数据集，并转换为 PyTorch 的数据对象 DataLoader 格式。代码如下： 即可。可见，有了深度学习框架，开发 神经网络变得无比轻松和高效。 3.8 手写数字图片识别体验 本节将在未详细介绍 PyTorch 网络层、优化器等使用方法的情况下，先带大家体验一 下神经网络的乐趣。本节的主要目的并不是教会每个细节，而是让读者对神经网络算法先 有一个全面、直观的感受，为接下来介绍 PyTorch 基础和深度学习理论打下基础。 现在开始体验神奇的手写数字图片识别算法吧！ 3.8.1 网络搭建 对于第一层模型来说，它接受的输入

Pytorch 是开放源代码的机器学习框架，目的是加速从研究 原型到产品开发的过程。其 SDK 主要基于 Python 语言，而 Python 语言作为流行的人工智能开发语言一直很受研究者与 开发者的欢迎。其模型训练支持CPU与GPU、支持分布式训练、 云部署、针对深度学习特定领域有不同的丰富的扩展库。 1.1.1 Pytorch 历史 Pytorch 在 2016 年由 facebook 2018 年 facebook 又把 caffe2 项目整合到 pytorch 框架中，这样 pytorch 就进一步 整合原来 caffe 开发者生态社区，因为其开发效率高、特别容 易构建各种复杂的深度学习模型网络，因此很快得到大量人工 智能开发者的认可与追捧，也成为工业界最受欢迎的深度学习 框架之一。 Pytorch 发展至今，其版本跟功能几经迭代，针对不同的场景 任务分裂出不同的 任务分裂出不同的分支扩展库，比如针对自然语言处理（NLP） 的 torchtext、针对计算机视觉的 torchvision、针对语音处理 的 torchaudio，这些库支持快速模型训练与演示应用，可以 帮助开发者快速搭建原型演示。此外在移动端支持、模型部署 的压缩、量化、服务器端云化部署、推理端 SDK 支持等方面 Pytorch 也在不断的演化改进。 在操作系统与 SDK 支持方面，Pytorch 从最初的单纯支持

Ø 应用场景：身份证、驾驶证、行驶证、营业执照、银行 卡、车牌、名片等等多个垂直场景 l 证件类OCR识别 l 落地应用 Ø 手Q名片识别，广点通营业执照识别： 在手Q的扫一 扫入口中，可以体验。 Ø Webank身份证识别，主播实名认证： 方便用户快速 的输入证件信息。 SACC2017 OCR识别 – 通用场景和手写 Ø 手写体手机/电话识别准确率可达99%以上。突破业界复杂手写体 用户配置任务所需最小资源 • 自动扩缩容，最大化资源使用率 • 支持不同计算框架 • 调度与任务松耦合，用户可以灵活定义任务 • 支持配置 docker 镜像，完全自定义运行环 境 • 良好的用户体验 • 完善的客户端工具 • 任务进度微信提醒 SACC2017 proto model graph. pb 深度网络计算图 caffe Tensor Flow 公共计算库 X86 在部署了DeepEye视频直播鉴黄解决方案后，系 统对直播房间的视频流按指定的时间间隔（用户 可配置）进行截图，通过鉴黄引擎给该图片进行 鉴别，并将可疑图片和对应的房间信息回调给开 发者，开发者可以根据返回的结果信息优先给审 核人员进行审核，进行封停等进一步处理。经过 审核没有问题的内容再呈现倒观看者的屏幕。 SACC2017 从静到动：结合视频识别能力 多物体检测 监控场景人体属性

全托管+半托管 • 分布式训练优化 • 超大资源池 智能标注 可视化建模(Designer) 分布式训练(DLC) 在线服务(EAS) 生态市场 开发者工具 • CLI • PAIFlow • OpenAPI AI能力 体验中心 开源 PAI平台（Platform of Artificial Intelligence） Deep Learning Container 数据量大而全

示了深度学习在计算机视觉中的主要应用。在 14节 和 15节 中，我们展示了如何预训练语言表示模型并 将其应用于自然语言处理任务。 4 目录 代码 本书的大部分章节都以可执行代码为特色，因为我们相信交互式学习体验在深度学习中的重要性。目前，某 些直觉只能通过试错、小幅调整代码并观察结果来发展。理想情况下，一个优雅的数学理论可能会精确地告 诉我们如何调整代码以达到期望的结果。不幸的是，这种优雅的理论目前还没有出现。尽管我们尽了最大努 y⟩：向量x和y的点积 • �: 连加 • �: 连乘 • def =：定义 微积分 • dy dx：y关于x的导数 • ∂y ∂x：y关于x的偏导数 • ∇xy：y关于x的梯度 • � b a f(x) dx: f在a到b区间上关于x的定积分 • � f(x) dx: f关于x的不定积分 14 目录 概率与信息论 • P(·)：概率分布 • z ∼ P: 随机变量z具有概率分布P 让我们熟悉一下导数的几个等价符号。给定y = f(x)，其中x和y分别是函数f的自变量和因变量。以下表达 式是等价的： f ′(x) = y′ = dy dx = df dx = d dxf(x) = Df(x) = Dxf(x), (2.4.2) 其中符号 d dx和D是微分运算符，表示微分操作。我们可以使用以下规则来对常见函数求微分： • DC = 0（C是一个常数） • Dxn = nxn−1（幂律（power

function (PDF) of X is a function fX(x) such that for ∀a, b ∈ A with (a ≤ b) P(a ≤ X ≤ b) = � b a fX(x)dx Feng Li (SDU) GDA, NB and EM September 27, 2023 10 / 122 Joint Probability Distribution Joint probability fY (x) = � ∞ −∞ f (x, y)dx for − ∞ < y < ∞ Extension to more than two random variables P(a1 ≤ X1 ≤ b1, · · · , an ≤ Xn ≤ bn) = � b1 a1 · · · � bn an f (x1, · · · , xn)dx1 · · · dxn Feng Li (SDU) (x, y) fX(x) , ∀y Probability of a ≤ X ≤ b given Y = y P(a1 ≤ X ≤ b1 | Y = y) = � b a fX|Y =y(x)dx Feng Li (SDU) GDA, NB and EM September 27, 2023 15 / 122 Conditional Probability Distribution (Contd

vs 10k NO deep learning, just function mapping ▪ X = [v1, v2, …, v784] ▪ X: [1, dx] ▪ H1 = XW1 + b1 ▪ W1: [d1, dx] ▪ b1: [d1] ▪ H2 =H1W2 + b2 ▪ W2: [d2, d1] ▪ b2: [d2] ▪ H3 = H2W3 + b3 ▪ W3:

线性问题，无法处理 非线性问题！！ 13 2.感知器算法 01 发展历史 02 感知机算法 03 BP算法 14 3.BP算法 输入层 输出层 隐层 1x ix dx 1b 2b hb qb . . . . . . . . . . . . 1y jy ly ih v dh v 1 j w 2 j w hj w qj w . . 计算输出层误差 4.将误差反向传播至隐藏层神经元 5.根据隐层神经元对连接权重和阈值进 行调整 6.上述过程循环进行，直至达到某些停 止条件为止 1h v 输入层 输出层 隐层 1x ix dx 1b 2b hb qb . . . . . . . . . . . . 1y jy ly ih v dh v 1 j w 2 j w hj w qj w . .

系统综合考虑各因素进行 订单分组，然后再指派给 合适的骑士 订单云端分组 整体最优分配 调度 系统 4.0 深度学习智能模式 • 出餐时间估算更准，缩短 骑士到店等待时间，节省 运力，提升用户等餐体验 出餐时间预估 深度学习智能 调度 系统 2.0 系统派单模式 • 系统综合考虑配送距离、 骑士运力、期望送达时间 等因素来自动派单 配送距离 期望送达时间 骑士运力 订单相似度 外卖订单智能调度要解决的核心问题 7 调度系统算法 1 2 3 4 5 路线规划 • 动态规划最优配送路线，且合理 并单，以最低的配送成本最大化 满足用户配送体验。 • 考虑用户期望时间的TSP问题 • 构建模型综合评估用户体验与配 送成本打分 • 采用动态规划和模拟退火算法等 算法，求得最优路线 1 8 时间预估 用户下单 开始配送 骑士到店 骑士取餐 到达用户 完成交付 商户接单 过滤数据 抽取基础特征 组合基础特征，构造组合特征 组合基础特征，构造组合特征 统计基础信息，构造统计特征 独热编码，构造稀疏特征 降维 决策模型 11 • 骑士体验 取餐距离、订单数量、订单组数 • 用户体验 订单剩余时间、骑士完成时间、 订单准时性 • 配送效率 等餐时间、空驶距离、空闲骑士、 商圈压力 距离的节省： 订单组与骑士打分： 根据商圈压力调整： 3 分配方案

——《C时代 新零售——阿里研究院新零售研究报告》 AI：贯穿新零售全流程 ——《C时代 新零售——阿里研究院新零售研究报告》 AR/VR：虚实结合的消费体验 ——《C时代 新零售——阿里研究院新零售研究报告》 传感器和IoT：提升门店消费体验 ——《C时代 新零售——阿里研究院新零售研究报告》 用户需求：线下门店业绩如何提升？ 全球实体零售发展遭遇天花板 品牌间存量竞争 ——《C时代 新零售——阿里研究院新零售研究报告》