. . . . 8 3.1.2 指定输入数据的尺寸 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 3.1.3 编译 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 3.1.4 训练 . . . add(Dense(32, input_shape=(784,))) model = Sequential() model.add(Dense(32, input_dim=784)) 快速开始 9 3.1.3 编译 在训练模型之前，您需要配置学习过程，这是通过 compile 方法完成的。它接收三个参数： • 优化器 optimizer。它可以是现有优化器的字符串标识符，如 rmsprop 或 adagrad，也可以 ： model = Model(inputs=[main_input, auxiliary_input], outputs=[main_output, auxiliary_output]) 现在编译模型，并给辅助损失分配一个 0.2 的权重。如果要为不同的输出指定不同的 loss_weights 或 loss，可以使用列表或字典。在这里，我们给 loss 参数传递单个损失函数，这 个损失将用于所有的输出。

识别率超过99% 和95% 1970 受限于 计算能 力，进 入第一 个寒冬 XCON专 家系统出 现，每年 节约4000 万美元 第1阶段：人工智能起步 期 （1956-1980s） 第2阶段：专家系统推 广 (1980s-1990s) 第3阶段：深度学习 (2000s-至今 ) 1997 IBM的 Deep Blue战 胜国际 象棋冠 军 2011 苹果的 Siri问世， 技术上不 xx-randroid-sdk.java xx-ios-arm-sdk.m xx-x86-sdk.cpp Rapidnet : 深度网络应用的解决方案 • 将深度网络SDK生成，分为解析，编译，运行三个阶段 • 一键生成深度学习SDK，一个模型到处应用 加快应用速度 - RapidNet Ncnn ： 移动端前向网络开源框 https://github.com/tencent/ncnn •

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 497 12 计算性能 503 12.1 编译器和解释器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 503 12.1 部分较早版本的MXNet实现分别改编为PyTorch和TensorFlow实现。感谢百度团队将较新的PyTorch实现改 编为PaddlePaddle实现。感谢张帅将更新的LaTeX样式集成进PDF文件的编译。 特别地，我们要感谢这份中文稿的每一位撰稿人，是他们的无私奉献让这本书变得更好。他们的GitHub ID或姓名是(没有特定顺序)：alxnorden, avinashingit, bowen0701 解决方案。不需要记住整个文本序列（例如用于固定维度表示中的机器翻译），所有需要存储的都是指 向翻译过程的中间状态的指针。这大大提高了长序列的准确性，因为模型在开始生成新序列之前不再 需要记住整个序列。 • 多阶段设计。例如，存储器网络 (Sukhbaatar et al., 2015) 和神经编程器‐解释器 (Reed and De Freitas, 2015)。它们允许统计建模者描述用于推理的迭代方法。

的。 怎么实现人工智能是一个非常广袤的问题。人工智能的发展主要经历了三个阶段，每 个阶段都代表了人们从不同的角度尝试实现人工智能的探索足迹。早期，人们试图通过总 结、归纳出一些逻辑规则，并将逻辑规则以计算机程序的方式实现，来开发出智能系统。 但是这种显式的规则往往过于简单，并且很难表达复杂、抽象的概念和规则。这一阶段被 称为推理期。 1970 年代，科学家们尝试通过知识库加推理的方式解决人工智能，通过构建庞大复杂 输出子网络 基于规则的系统 传统机器学习 浅层神经网络 深度学习 图 1.3 深度学习与其它算法比较 1.2 神经网络发展简史 本书将神经网络的发展历程大致分为浅层神经网络阶段和深度学习两个阶段，以 2006 年为大致分割点。2006 年以前，深度学习以神经网络和连接主义的名义发展，经历了两次 预览版202112 第 1 章 人工智能绪论 4 兴盛和两次寒冬；2006 预览版202112 1.5 深度学习框架 13 是一个基于 Python 语言、定位底层运算的计算库，Theano 同时支持 GPU 和 CPU 运 算。由于 Theano 开发效率较低，模型编译时间较长，同时开发人员转投 TensorFlow 等原因，Theano 目前已经停止维护。 ❑ Scikit-learn 是一个完整的面向机器学习算法的计算库，内建了常见的传统机器学习算 法支持，文档和案例也较为丰富，但是

商品检测篇：使用 RetinaNet 瞄准你的货架商品 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程 • 基础：目标检测问题定义与说明 • 基础：R-CNN系列二阶段模型综述 • 基础：YOLO系列一阶段模型概述 • 基础：RetinaNet 与 Facol Loss 带来了什么 • 应用：检测数据准备与标注 • 应用：划分检测训练集与测试集 • 应用：生成CSV 格式数据集与标注 arXiv:1905.05055. 深度目标检测网络 两阶段检测器（Two-stage Detectors） •R-CNN •Fast R-CNN •Faster R-CNN •R-FCN 一阶段检测器（One-stage Detectors） •YOLO v1 •YOLO v2 •YOLO v3 理论：R-CNN系列二阶段模型综述 R-CNN 开启CNN+目标检测的大门 R-CNN R-CNN Fast R-CNN Faster R-CNN 理论：YOLO系列一阶段模型概述 YOLO 与 RCNN 系列对比 YOLOv1：首个深度学习的一阶段检测器 YOLOv1：首个深度学习的一阶段检测器 YOLO输出向量：S x S x (B * 5 + C) YOLOv1：首个深度学习的一阶段检测器 YOLO检测网络包括24个卷积层和2个全连接层，如下图所示。 7 x 7

Word2Vec 训练流程 在训练过程开始之前，我们预先处理我们正在训练模型的文本。在这一步中， 我们确定词汇量的大小（我们称之为vocab_size，比如说，将其视为10,000）以及 哪些词属于它。在训练阶段的开始，我们创建两个矩阵 - Embedding矩阵和Context 矩阵。这两个矩阵在我们的词汇表中嵌入了每个单词（这vocab_size是他们的维度 之一）。第二个维度是我们希望每次嵌入的时间长度（embedding_size- 同时对模型架构的更改最小。 图：GPT-1模型的核心手段是预训练（Pre-training） 无监督预训练 （Unsupervised pre-training） 不需要标注数据集，即大规 模自学阶段，在保证AI算力 充足的条件下，根据 attention机制进行自学 有监督微调 （Supervised fine-tunning) 微调，用来修正模型理解力。 即小规模指导过程，让AI在 解决和优 化的问题 ◼ GPT-2（2019.2）在GPT-1的基础上进行诸多改进，实现执行任务多样性，开始学习在不需要明确监督的情 况下执行数量惊人的任务 ✓ 在GPT-2阶段，OpenAI去掉了GPT-1阶段的有监督微调（fine-tuning），成为无监督模型。 ✓ 大模型GPT-2是一个1.5B参数的Transformer，在其相关论文中它在8个测试语言建模数据集中的7个数据集上实现了当时最先进的结果。

Entropy、etc • 评估指标  AUC、Loss、MAE、RMSE  支持外部eval工具，计算MAP、NDCG MLX的模型能力 • 提供离线、近线、在线全流程解决方案，各阶段提供扩展方案，降低算法迭代成本； • 支持Online Learning，提供从近线到在线的模型数据通路； • 提供从召回到排序全流程的模型解决方案，为业务提供最佳实践； • 提供系统的平台化工具，为用户提供易用的界面操作； 计算图框架Graph  计算逻辑抽象op，通过op组合形成模型结构  提供正向（forward）、反向（backward）、Loss的操作扩展 模型训练框架 • 模型可变计算路径  运行阶段  计算图裁剪 模型训练框架 • 应用场景——离线预计算  模型召回，ANN检索  粗排模型，降低线上计算量 • 分布式Sharding  模型分片存储，支持超大规模模型  key，特征数据在外存 • 分业务场景支持  轻量级predictor：仅支持模型的计算，特征由业务传入，无状态设计  自定义predictor： 提供业务抽象，支持业务自定义逻辑，插件化实现 • 逻辑阶段抽象，业务根据自身需求选择性实现  数据获取： 根据业务的自身逻辑获取特征原始数据  特征抽取： 将特征数据进行转换，转换成模型所需的格式，比如离散化  模型计算： 传入转换后的特征数据，调用模型计算引擎

会变转化为一个包含向量K（键 向量）和V（值向量）的注意力 向量集 。这些向量将被每个解 码器用于自身的“编码-解码注 意力层”，而这些层可以帮助 解码器关注输入序列哪些位置 合适： 在完成编码阶段后，则开始解码阶段。解码 阶段的每个步骤都会输出一个输出序列（在 这个例子里，是英语翻译的句子）的元素 39 2.Transformer的工作流程 最终的线性变换和Softmax层 解码组件最后会输出一个实数向量。我们如何把 BERT 48 4.BERT NLP 预训练模型的发展 语言模型 word2vec glove fasttext elmo openAI-GPT BERT 词嵌入阶段 预训练模型阶段 2003年 Bengio 2013年 Mikolov 2014年 Jeffrey 2018年2月 Allen 2016年 facebook 2018年6月 openAI

t等）。 12 1.目标检测概述 2.基于深度学习的Two Stages目标检测框架 （准确度有优势） 此类算法将检测问题分为两个阶段， 第一阶段生成大量可能含有目标的候选区域（Region Proposal），并附 加大概的位置信息； 第二个阶段对其进行分类，选出包含目标的候选区域并对其位置进行 修正（常使用R-CNN、Fast R-CNN、Faster R-CNN等算法）。 13 13 1.目标检测概述 3.基于深度学习的One Stage目标检测框架 （速度有优势） 此类检测算法属于端到端（End-to-End），不需要生成大量候选区域 的阶段，而是将问题转化为回归（Regression）问题处理，使用完整 图像作为输入，直接在图像的多个位置上回归出该位置的目标边框 及所属类别（常使用YOLO、SSD、CornerNet等算法）。 14 1.目标检测概述

2正则化不同的是，被应用的方 式不同，dropout也会有所不同，甚至更适用于不同的输入范围 keep-prob=1(没有dropout) keep-prob=0.5(常用取值，保留一半神经元) 在训练阶段使用，在测试阶段不使用！ Dropout正则化 13 正则化 Early stopping代表提早停止训练神经网络 Early stopping的优点是，只运行 一次梯度下降，你可以找出?的较小