进行了合并，弥补了 PyTorch 在工业部署方面的不足。 目前来看，PyTorch 和 TensorFlow 框架是业界使用最为广泛的两个深度学习框架， TensorFlow 在工业界拥有完备的解决方案和用户基础，但是 TensorFlow 2 和 TensorFlow 1.x 版本并不兼容，导致几乎所有基于 TensorFlow 1.x 开发的算法、框架等都需要修改甚至重 写，因此可以将 TensorFlow Python 语言 的核心软件。用户可以从 https://www.python.org/网站下载最新版本(Python 3.7)的解释器， 像普通的应用软件一样安装完成后，就可以调用 python.exe 程序执行 Python 语言编写的源 代码文件(.py 格式)。 这里选择安装集成了 Python 解释器和虚拟环境等一系列辅助功能的 Anaconda 软件， 用户通过安装 Anaconda 即可。整个安装流程约持续 5 分钟，具体时间 预览版202112 第 1 章 人工智能绪论 18 需依据计算机性能而定。 图 1.22 Anaconda 安装界面-1 图 1.23Anaconda 安装界面-2 安装完成后，怎么验证 Anaconda 是否安装成功呢？通过键盘上的 Windows 键+R 键， 即可调出运行程序对话框，输入“cmd”并回车即打开 Windows

torchaudio，这些库支持快速模型训练与演示应用，可以 帮助开发者快速搭建原型演示。此外在移动端支持、模型部署 的压缩、量化、服务器端云化部署、推理端 SDK 支持等方面 Pytorch 也在不断的演化改进。 在操作系统与 SDK 支持方面，Pytorch 从最初的单纯支持 Python 语言到如今支持 Python/C++/Java 主流编程语言， 目前已经支持 Linux、Windows、MacOS 分为三种不同的版本分别是稳 定版本 (Stable Release)、Beta 版本、原型版本（Prototype）。 其中稳定版本长期支持维护没有明显的性能问题与缺陷，理论 上支持向后兼容的版本；Beta 版本是基于用户反馈的改动版 本，可能有 API/SDK 函数改动，性能有进一步需要提升的空间； 原型版本是新功能还不可以，需要开发不能通过 pip 方式直接 安装。 1.1.2 Pytorch 的模块与功能 https://www.python.org/ftp/python/3.6.5/python-3.6.5- amd64.exe 2. 下载之后，双击 exe 文件安装，显示的界面如下： 图 1-1（Python3.6.5 安装界面） 注意：图 1-1 中的矩形框，必须手动选择上“add Python3.6 to PATH”之后再点击【Install Now】默认安装完成即可。 3. 安装好 Python

允许简单而快速的原型设计（由于用户友好，高度模块化，可扩展性）。 • 同时支持卷积神经网络和循环神经网络，以及两者的组合。 • 在 CPU 和 GPU 上无缝运行。 查看文档，请访问 Keras.io。 Keras 兼容的 Python 版本: Python 2.7-3.6。 1.2 指导原则 • 用户友好。Keras 是为人类而不是为机器设计的 API。它把用户体验放在首要和中心位置。 Keras 遵循减少认知困难的最佳实践：它提供一致且简单的 API，将常见用例所需的用户 操作数量降至最低，并且在用户错误时提供清晰和可操作的反馈。 • 模块化。模型被理解为由独立的、完全可配置的模块构成的序列或图。这些模块可以以尽 可能少的限制组装在一起。特别是神经网络层、损失函数、优化器、初始化方法、激活函 数、正则化方法，它们都是可以结合起来构建新模型的模块。 • 易扩展性。新的 ropy', optimizer='sgd', metrics=['accuracy']) 如果需要，你还可以进一步地配置你的优化器。Keras 的核心原则是使事情变得相当简单， 同时又允许用户在需要的时候能够进行完全的控制（终极的控制是源代码的易扩展性）。 model.compile(loss=keras.losses.categorical_crossentropy, optimizer=keras

12.2.2 障碍器与阻塞器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 511 12.2.3 改进计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 511 12.3 自动并行 论坛 与本书相关，我们已经启动了一个论坛，在discuss.d2l.ai4。当对本书的任何一节有疑问时，请在每一节的末 尾找到相关的讨论页链接。 致谢 感谢中英文草稿的数百位撰稿人。他们帮助改进了内容并提供了宝贵的反馈。感谢Anirudh Dagar和唐源将 部分较早版本的MXNet实现分别改编为PyTorch和TensorFlow实现。感谢百度团队将较新的PyTorch实现改 编为P 时至今日，人们常用的计算机程序几乎都是软件开发人员从零编写的。比如，现在开发人员要编写一个程序 来管理网上商城。经过思考，开发人员可能提出如下一个解决方案：首先，用户通过Web浏览器（或移动应 用程序）与应用程序进行交互；紧接着，应用程序与数据库引擎进行交互，以保存交易历史记录并跟踪每个 用户的动态；其中，这个应用程序的核心——“业务逻辑”，详细说明了应用程序在各种情况下进行的操作。 为了完善业务逻辑，开发人员必须细致地

好一点的嵌入（`not` ，`thou`，`aaron`和`taco`）。我们现在进行下一步（下一个正样本及 其相关的负样本）,并再次执行相同的过程。 当我们循环遍历整个数据集多次时，嵌入继续得到改进。然后我们可以停 止训练过程，丢弃`Context`矩阵，并使用`Embeddings`矩阵作为下一个任务 的预训练嵌入。 27 4.GloVe 03 Word2Vec 04 GloVe 面表现出色，然而这些系统较为脆弱，对 数据分布和任务规范的轻微变化非常敏感， 因而使得AI表现更像狭义专家，并非通才。 GPT-2要 解决和优 化的问题 ◼ GPT-2（2019.2）在GPT-1的基础上进行诸多改进，实现执行任务多样性，开始学习在不需要明确监督的情 况下执行数量惊人的任务 ✓ 在GPT-2阶段，OpenAI去掉了GPT-1阶段的有监督微调（fine-tuning），成为无监督模型。 ✓ 大模型GPT-2是一个1 图：GPT-2尚未解决诸多瓶颈问题 存在的问题02： GPT的发展 38 GPT-3（2020.5）取得突破性进展，任务结果难以与人类作品区分开来 ◼ GPT-3对GPT-2追求无监督与零次学习的特征进行了改进 ◼ GPT-3利用了过滤前45TB的压缩文本，在诸多NLP数据集中实现了强大性能 ✓ GPT-3是一个具有1750亿个参数的自回归语言模型，比之前的任何非稀疏语言模型多10倍。对于所有任务（在few-shot设置下测试其

经典算法与深度学习 在外卖物流调度中的应用 SPEAKER / 徐明泉 百度外卖首席架构师 引言：外卖配送的背后 2 引言：外卖订单调度系统要考虑的因素 3 订单相关 骑士相关 • 商户、用户位置 • 用户期望时间 • 预计出餐时间.. • 现有订单的配送路线 • 新增订单后配送路线的改变情况 • 历史取送餐速度 • 完成每个订单的预计时间 • 熟悉的区域 • 配送工具 • 装载情况 系统综合考虑各因素进行 订单分组，然后再指派给 合适的骑士 订单云端分组 整体最优分配 调度 系统 4.0 深度学习智能模式 • 出餐时间估算更准，缩短 骑士到店等待时间，节省 运力，提升用户等餐体验 出餐时间预估 深度学习智能 调度 系统 2.0 系统派单模式 • 系统综合考虑配送距离、 骑士运力、期望送达时间 等因素来自动派单 配送距离 期望送达时间 骑士运力 订单相似度 5 路线规划 • 动态规划最优配送路线，且合理 并单，以最低的配送成本最大化 满足用户配送体验。 • 考虑用户期望时间的TSP问题 • 构建模型综合评估用户体验与配 送成本打分 • 采用动态规划和模拟退火算法等 算法，求得最优路线 1 8 时间预估 用户下单 开始配送 骑士到店 骑士取餐 到达用户 完成交付 商户接单 商户出餐 到店时间 出餐时间 送餐时间 交付时间 等餐时间

搜狗深度学习技术在广告推荐领域的应用 舒鹏 目录 CONTENTS 01 搜索广告背景知识 02 深度学习在搜狗搜索广告的一些应用 03 基于多模型融合的CTR预估 04 若干思考 搜索广告背景知识 信息需求 用户查询 查询理解 广告召回 点击率预估 排序计价 结果展示 点击及后续行为 广告库 日志收集 展示日志 点击日志 深度学习在搜狗搜索广告的一些应用 无需分词：基于字符粒度表达的问答系统设计  DNN、GBDT 模型融合 • 将多个模型的输出CTR加权平均 • 实现方法简单，模型之间不产生耦合 • 可调参数有限，改进空间相对较小 CTR bagging • 任一模型的输出作为另一模型的特征输入 • 实现方法复杂，模型之间有依赖关系 • 实验方案较多，改进空间较大 模型融合 模型融合的工程实现 • 可支持多个不同模型的加载和计算 • 可支持模型之间的交叉和CTR的bagging 点  一次训练给出两个模型，流程简洁稳定，效果更佳 若干思考 若干思考 DL的强项 输入不规整 结果确定 容易获取的海量训练数据 1 CTR预估 特征有明确含义 场景相关，以用户为导向 很难界定“Ground Truth” 训练样本“有限” 2 方向 特定业务场景 模型融合 提升效率，降低成本 3

超大规模深度学习在美团的应用 余建平 美团点评用户平台研究员 自我介绍 自我介绍 2011年硕士毕业于南京大学计算机科学与技术系。毕业后曾在百度凤巢从事机器学习 工程相关的工作，加入美团后，负责超大规模机器学习系统，从无到有搭建起支持千亿 级别规模的深度学习系统，与推荐、搜索、广告业务深度合作，在算法上提供从召回到 排序的全系统优化方案，在工程上提供离线、近线、在线的全流程解决方案。  MLX平台架构 • 模型场景应用  召回模型  排序模型 美团超大规模模型应用场景 美团推荐 美团搜索 美团广告 美团应用场景简介 • 场景特点 亿级的用户，千万级的O2O商品 海量的用户行为，完整的交易闭环 LBS相关的推荐 • 模型特点 百亿级别的训练数据 千亿级别的模型特征 秒级实时的模型反馈 目录 • 美团超大规模模型场景简介 • 超大规模机器学习MLX 排序模型 超大规模模型的有效性 • VC维理论  描述模型的学习能力：VC维越大模型越复杂，学习能力越强  机器学习能力 = 数据 + 特征 + 模型 • 数据  海量数据： 美团的亿级用户、千万级POI • 特征  大规模离散特征 > 小规模泛化特征 • 模型  DNN > 树模型 > LR 美团超大规模模型应用场景 • 可扩展的机器学习架构  基于Parameter

Apart，简称CAPTCHA），俗称验证码，是一种区分用户是 计算机或人的公共全自动程序。在CAPTCHA测试中，作为服务器的计算机会自动生成一 个问题由用户来解答。这个问题可以由计算机生成并评判，但是必须只有人类才能解答。 由于计算机无法解答CAPTCHA的问题，所以回答出问题的用户就可以被认为是人类。 一种常用的CAPTCHA测试是让用户输入一个扭曲变形的图片上所显示的文字或数字，扭 曲变形是为了避免被光学字符识别（OCR 一种更现代的CAPTCHA，其不使用扭曲的背景及 字母，而是增加一条曲线来使得图像分割 （segmentation）更困难。 另一种增加图像分割难度的方法为将符号彼此拥挤 在一起，但其也使得真人用户比较难以识别 要求用户识别图片的验证方式，本图为模拟12306 网站的验证界面 验证码（CAPTCHA）生成 https://zh.wikipedia.org/wiki/captcha 使用 Pillow（PIL Fork） 和 captcha

Generation Web UI Text Generation Web UI（简称 TGW，通常被称为“oobabooga”）是一款流行的文本生成 Web 界面工具，类似 于 AUTOMATIC1111/stable-diffusion-webui 。它拥有多个交互界面，并支持多种模型后端，包括 Transformers 、 llama.cpp（通过 llama-cpp-python 实现）、ExLlamaV2 Qwen-Agent 41 Qwen 1.15 LlamaIndex 为了实现 Qwen1.5 与外部数据（例如文档、网页等）的连接，我们提供了 LlamaIndex 的详细教程。本指南旨 在帮助用户利用 LlamaIndex 与 Qwen1.5 快速部署检索增强生成（RAG）技术。 1.15.1 环境准备 为实现检索增强生成（RAG），我们建议您首先安装与 LlamaIndex 相关的软件包。 于 32768 个 token 的情况下，Qwen1.5-14B 模型的内存占用情况也不符合我们的预期，故在此未进行报告。此 外，由于我们的 HF 代码实现，MoE 模型运行速度远低于预期。我们建议用户使用 vLLM 来运行 MoE 模型。） 52 Chapter 1. 文档