年 10 月 19 日 预览版202112 声 明 得益于简洁优雅的设计理念，基于动态图的 PyTorch 框架在学术圈广受好评，绝大多数 最新算法是基于 PyTorch 实现的，众多的第三方 AI 框架应用，例如 mmdetection、mmaction2、 transformer、speechbrain 等均以 PyTorch 为基础开发，可见掌握 PyTorch 框架在人工智能行 7 参考文献 预览版202112 人工智能绪论 我们需要的是一台可以从经验中学习的机器。 −阿兰·图灵 1.1 人工智能 信息技术是人类历史上的第三次工业革命，计算机、互联网、智能家居等技术的普及 极大地方便了人们的日常生活。通过编程的方式，人类可以将提前设计好的交互逻辑交给 机器重复且快速地执行，从而将人类从简单枯燥的重复劳动工作中解脱出来。但是对于需 络。神经网络方向的研究经历了两起两落。从 2012 年开始，由于算法效果极为显著，深层 神经网络技术在计算机视觉、自然语言处理、机器人等领域取得了重大突破，部分任务上 甚至超越了人类智能水平，开启了以深层神经网络为代表的人工智能的第三次复兴。深层 神经网络也有了一个新名字，叫作深度学习。一般来讲，神经网络和深度学习的区别并不 大，深度学习特指基于深层神经网络实现的模型或算法。人工智能、机器学习、神经网络 和深度学习四者之间的关系如图

+ OpenVINO 开发实战系列教程 第一篇 4 5. 在执行第三步的基础上，在命令行中输入下面两行代码，执 行结果如下： >>> import torch >>> torch._ _version_ _ '1.9.0+cu102' 其中第一行表示导入 pytorch 的包支持，第二行表示版本查询， 第三行是执行结果（GPU 版本）。 现在很多开发者喜欢使用 Ubuntu 开发系统，在 Ubuntu 系统 下如下正确安装与配置 Pytorch，第一步同样是安装 python 语言依赖包 Python3.6，主要是执行一系列的安装命令行，具 体步骤如下： 1. 导入第三方软件仓库 sudo add-apt-repository ppa:jonathonf/python-3.6 2. 更新与安装 python3.6 sudo apt-get update sudo 是一个自定义的类，继承了 torch. nn.Module，其中 torch.nn.Linear 就表示构建了公式 1-1 的 线性模型，重载方法 forward，表示根据模型计算返回预测 结果。 第三步：创建损失功能与优化器 input_dim = 1 output_dim = 1 model = LinearRegressionModel(input_dim, output_dim) criterion

10节 中，我们介绍了一类新的模型，它采用 了一种称为注意力机制的技术，最近它们已经开始在自然语言处理中取代循环神经网络。这一部分将 帮助读者快速了解大多数现代深度学习应用背后的基本工具。 • 第三部分讨论可伸缩性、效率和应用程序。首先，在 11节 中，我们讨论了用于训练深度学习模型的几 种常用优化算法。下一章 12节 将探讨影响深度学习代码计算性能的几个关键因素。在 13节 中，我们展 Torch24和Theano25。许多开创性的论文都是用这些工具写的。到目前为止，它们已经被TensorFlow26 （通常通过其高级API Keras27使用）、CNTK28、Caffe 229和Apache MXNet30所取代。第三代工具，即用 于深度学习的命令式工具，可以说是由Chainer31率先推出的，它使用类似于Python NumPy的语法来 描述模型。这个想法被PyTorch32、MXNet的Gluon API33和Jax34都采纳了。 ython数组一样：第一个元素 的索引是0，最后一个元素索引是‐1；可以指定范围以包含第一个元素和最后一个之前的元素。 如下所示，我们可以用[-1]选择最后一个元素，可以用[1:3]选择第二个和第三个元素： X[-1], X[1:3] (tensor([ 8., 9., 10., 11.]), tensor([[ 4., 5., 6., 7.], [ 8., 9., 10., 11.]]))

R-CNN一个单独的检测网络，这时候两个网络还没有共享卷 积层； • 第三步，调优RPN，用第二步的Faster RCNN model初始化RPN再次进行训练，但固定共享的卷 积层，并且只微调RPN独有的层，现在两个网络共享卷积层了； • 第四步，调优Faster RCNN,由第三步的RPN model初始化Faster RCNN网络，输入数据为第三步生 成的proposals。保持共享的卷积层固定，微调Faster

2D示例中，它是虚线。如果它是一个更高维的数 据集，PCA还会找到与前两个轴正交的第三个轴 ，以及第四个，第五个等等 - 与数据集中的维数 一样多的轴。 定义第 ? 轴的单位向量称为第 ? 个主成分 (PC) 。 • 在图1中，第一个 PC为 ?1，第二个 PC 为 ?2 。 • 在图2中，前两个 PC由平面中的正交箭头表 示，第三个 PC与平面正交（向上或向下）。 3.PCA(主成分分析) 图1 为均值）。如 果特征是在不同的数量级上，我们还需要将其除以标准差 ?2。 第二步是计算协方差矩阵（covariance matrix）?： σ = 1 ? σ?=1 ? ?(?) ?(?) T 第三步是计算协方差矩阵?的特征向量（eigenvectors）,可以利用奇异值分解(SVD)来求解。 40 奇异值分解（SVD）的标准矩阵分解技术可以将训练集矩阵 ? 分解为三个 矩阵 ? · ?

现梯度消失，不利于深层神经 的反馈传输 2.幂函数的梯度计算复杂 3.收敛速度比较慢 17 3.BP算法 主要步骤 第一步，对样本明确预测输出值与损失函数 第二步，明确参数调整策略 第三步，计算输出层阈值的梯度 第四步，计算隐层到输出层连接权值的梯度 第五步，计算隐层阈值的梯度 第六步，计算输入层到隐层连接权值的梯度 第七步，引出归纳结论 18 3.BP算法 第一步，明确损失函数 1 ˆky , ˆk j y , ˆk l y ih v dh v 1 j w 2 j w hj w qj w . . . . . . kx ˆky 20 3.BP算法 第三步，计算输出层阈值??的梯度 ??? ??? 利用链式法则，可得 其中， 所以， 更新公式 1h v 输入层 输出层 隐层 ,1 nx , k i x , k d x 1b

任 务中，比如说用这个300维的词嵌入来表示你的单词。这样做的一个好处就是你 可以用更低维度的特征向量代替原来的10000维的one-hot向量，现在你可以用 一个300维更加紧凑的向量。 第三步，当你在你新的任务上训练模型时，在你的命名实体识别任务上，只有少 量的标记数据集上，你可以自己选择要不要继续微调，用新的数据调整词嵌入。 11 2.词嵌入 ?king − ?queen = model）去训练学习模型（即： 用AI训练AI的思路） ✓ InstructGPT的训练步骤为：对GPT-3监督微调——训练奖励模型（reward model）——增强学习优化SFT (第二、第三步可以迭代循 环多次) 图：InstructGPT训练三步骤各自对应的数据集规模如下图所示（labeler指的是OpenAI的标注人员，customer指GPT-3 API的用户） GPT的发展

键技术之一。他们试图找出不同物品和产品之间的 关联，这些物品和产品可以一起销售，这有助于正 确的产品放置。 买面包的人通常也买黄油。零售店的营销团队应该瞄准那些购买面包和黄油的 顾客，向他们提供报价，以便他们购买第三种商品，比如鸡蛋。 因此，如果顾客买了面包和黄油，看到鸡蛋有折扣或优惠，他们就会倾向于 多花些钱买鸡蛋。这就是购物车分析的意义所在。 7 1.关联规则概述 置信度： 表示你购买了A商品后，你还会有 订单编号 项目 T1 1 3 4 T2 2 3 5 T3 1 2 3 5 T4 2 5 T5 1 3 5 17 2.Apriori算法 算法案例 第三次迭代：我们将丢弃{1,2,3}和{1,2,5}，因为它们都包含{1,2}。 F3 项集 支持度 {1,3,5} 2 {2,3,5} 2 订单编号 项目 T1 1 3 4 T2

准备模型开发环境 • 生成验证码数据集 • 输入与输出数据处理 • 模型结构设计 • 模型损失函数设计 • 模型训练过程分析 • 模型部署与效果演示 第六部分 目录 准备模型开发环境 第三方依赖包 数据集生成 • Pillow • captcha 模型可视化 • pydot 模型服务部署 • flask $ pip install Pillow captcha pydot

自动化、精准的文本处理 2. 智能化的且易于理解 3. 将语义加入文本当中 4. 定制化的发音 文章、博客 训练材料 Chatbots (Lex) 公告 第一代: 面向机器的交互 第二代: 面向控制& 翻译 第三代: 意图导向 人-机交互会话的发展 语音 & 文本 “Chatbots” Alexa 应用 在手机、Web以及 设备上的语音交互 在Slack & Messenger 上的文本交互 企业应用