进行二次撰写，代码部分完全基于 PyTorch 进行实现。考虑到本人能力有限、行文仓促，可 以预见地，本书会存在部分语句表达不准确、部分素材尚未创作完成、部分参考引用未能及 时补充、甚至一些错误出现，因此本书以开源、免费地方式发布，希望一方面能够帮助初学 者快速上手深度学习算法，另一方面也能汇聚众多行业专家们的力量，修正测试版中的谬误 之处，让本书变得更为完善。 本书虽然免费开放电子版，供个人学习使用，但是未经许可，不能用于任何个人或者企 手写数字图片数据集共包含 0~9 共 10 类数字，每个类别多达 7000 张图片。随着神经网络的兴起，尤其是深度学习，网络层数一 般较深，模型的参数量可达百万、千万甚至十亿个，为了防止过拟合，需要的数据集的规 模通常也是巨大的。现代社交媒体的流行也让收集海量数据成为可能，如 2010 年发布的 ImageNet 数据集收录了共 14197122 张图片，整个数据集的压缩文件大小就有 154GB。图 1.10、图 50~90%的效果提升。常用的机器翻译模型有 Seq2Seq、BERT、GPT、GPT-2 等，其中 OpenAI 提出的 GPT-2 模型参数量高达 15 亿个，甚至发布之初一度以技术安全考 虑为由拒绝开源 GPT-2 模型。 聊天机器人(Chatbot) 聊天机器人也是自然语言处理的一项主流任务，机器自动学习与 人类对话，对于人类的简单诉求提供满意的自动回复，提高客户的服务效率和服务质量 等。

同时对模型架构的更改最小。 图：GPT-1模型的核心手段是预训练（Pre-training） 无监督预训练 （Unsupervised pre-training） 不需要标注数据集，即大规 模自学阶段，在保证AI算力 充足的条件下，根据 attention机制进行自学 有监督微调 （Supervised fine-tunning) 微调，用来修正模型理解力。 即小规模指导过程，让AI在 如解 译单词、在句子中使用一个新单词或执行三位数算术）。 GPT-3可以生成新闻文章样本（已很难将其与人类撰写的文章区分开来）。 图：GPT-3相关研究显示，few-shot(少量样本）的综 合表现是在无监督模式下最优的 图：GPT-3的模型参数在GPT-2的基础上增加110多倍 资料来源：《 Language Models are Few-Shot Learners》 GPT的发展

• 可扩展的机器学习架构  基于Parameter Server架构  数据并行 —— 支持超大规模训练集  模型并行 —— 支持超大规模模型 • 业界千亿级以上的机器学习平台  开源： PaddlePaddle、XDL，etc.  内部： Abacus、XPS， etc. • Online Learning的价值  用户的近期行为，更能表现意图和偏好  增强新item的模型感知能力

词语矢量考虑了上下文及词语之间的语义关系  复杂词语可以通过矢量计算来实现（如 Vec（北京）＝ vec(东京) – vec(日本) + vec(中国) ）  矢量化模型的现况  词语的矢量化模型已经有开源实现方案  句子和文档的矢量化还在摸索阶段，尚不成熟  已经有一些在词语相似度，舆情分析等方面的应用 矢量化搜索模型 9 词语矢量化模型 CBOW: 通过上下文词语 来预测词语本身出现的概 of 256 random samples from test set q : [你 工 号 多少]; a : [我 这边 帮 您 联系 一下 快递 那边] q : [不合 适 就 退 不然 真 不 合 理]; a : [亲 ] q : [你 现在 到 unk 镇 哪里 提 就 不能 帮 我 查 下 吗]; a : [这个 是 苏宁 发货 的] q : [我的 增 票 认证 已经 成功 为什么 还

开发者的欢迎。其模型训练支持CPU与GPU、支持分布式训练、 云部署、针对深度学习特定领域有不同的丰富的扩展库。 1.1.1 Pytorch 历史 Pytorch 在 2016 年由 facebook 发布的开源机器学习（深度 学习）框架，Pytorch 最初的来源历史可以追溯到另外两个 机器学习框架，第一个是 torch 框架，第二个是 Chainer，实 现了 Eager 模式与自动微分，Pytoch Pytorch 中一 些基本的数据定义与类型转换、算子操作、通过它们帮助读者 进一步了解 Pytorch 开发基础知识，为后续章节学习打下良好 基础。在正式开始这些基础操作之前，我们首先需要有一个合 适的集成开发环境 (IDE)，本书的源代码是基于 Python 实现， 演示的集成开发环境（IDE）是 PyCharm。 1.4.1 PyCharm 的安装与配置 首先是从 Pycharm 官方网站上下载

matplotlib_inline import backend_inline d2l = sys.modules[__name__] 本书中的大部分代码都是基于PyTorch的。PyTorch是一个开源的深度学习框架，在研究界非常受欢迎。本书 中的所有代码都在最新版本的PyTorch下通过了测试。但是，由于深度学习的快速发展，一些在印刷版中代 码可能在PyTorch的未来版本无法正常工作。但是 个 用户的动态；其中，这个应用程序的核心——“业务逻辑”，详细说明了应用程序在各种情况下进行的操作。 为了完善业务逻辑，开发人员必须细致地考虑应用程序所有可能遇到的边界情况，并为这些边界情况设计合 适的规则。当买家单击将商品添加到购物车时，应用程序会向购物车数据库表中添加一个条目，将该用户ID与 商品ID关联起来。虽然一次编写出完美应用程序的可能性微乎其微，但在大多数情况下，开发人员可以从上 的快速进步。尽管在许多情况下， 这是以修改和重新发明存在了数十年的工具为代价的。 最后，深度学习社区引以为豪的是，他们跨越学术界和企业界共享工具，发布了许多优秀的算法库、统计模 型和经过训练的开源神经网络。正是本着这种精神，本书免费分发和使用。我们努力降低每个人了解深度学 习的门槛，希望读者能从中受益。 1.7. 特点 37 小结 • 机器学习研究计算机系统如何利用经验（通常是数据）

Dropout(rate, noise_shape=None, seed=None) 将 Dropout 应用于输入。 Dropout 包括在训练中每次更新时，将输入单元的按比率随机设置为 0，这有助于防止过拟 合。 参数 • rate: 在 0 和 1 之间浮动。需要丢弃的输入比例。 • noise_shape: 1D 整数张量，表示将与输入相乘的二进制 dropout 掩层的形状。例如，如果 你的输入尺寸为 TensorFlow 后端，Theano 后端，CNTK 后端。 • TensorFlow 是由 Google 开发的一个开源符号级张量操作框架。 • Theano 是由蒙特利尔大学的 LISA Lab 开发的一个开源符号级张量操作框架。 • CNTK 是由微软开发的一个深度学习开源工具包。 将来，我们可能会添加更多后端选项。 14.2 从一个后端切换到另一个后端 如果您至少运行过一次 Keras，您将在以下位置找到

模型压缩 棚格图识别 货架巡检 商品推荐 陈列审核 入库审计 货物盘点 构件识别 CAD解析 规则审查 户型图识别 视频盘点 自动分拣 细粒度识别 目标检测 多目标跟踪 多标签分类 规 则 引 擎 数 据 沉 淀 服 务 监 控 快速消费品 建筑图纸 五金零配件 医疗器件 库码标签 零售百货 通用OCR 空间分割 商品识别 AI + 业务 流水线 扫码试看/订阅 《 TensorFlow

末端分级配送用户交 付成本和直接配送成 本，选取适合耳机配 送POI 精细指导骑士人数配置 根据仿真系统及历史 大数据精细模拟在不 同单量不同骑士数量 下配送体验，预估在 天气变化、运营活动 订单激增等情况下合 理骑士人数 商圈健康度诊断 综合分析商圈内用户、 商户及骑士，提供线 下运营方案指导 寻宝系统 4 总结—物流系统生态是保证用户良好物流服务体验的基石 22 时光机 | 回顾过去 实时监控