基本数据类型 主讲人：龙良曲 All is about Tensor python PyTorch Int IntTensor of size() float FloatTensor of size() Int array IntTensor of size [d1, d2 ,…] Float array FloatTensor of size [d1, d2, …] string

(branches) (代表测试结果) 叶节点 (leaf node) (代表分类后所获得的分类标记) ⚫ 决策树算法是一种归纳分类算法 ，它通过对训练集的学习，挖掘 出有用的规则，用于对新数据进 行预测。 ⚫ 决策树算法属于监督学习方法。 ⚫ 决策树归纳的基本算法是贪心算法 ，自顶向下来构建决策树。 ⚫ 贪心算法：在每一步选择中都采取 在当前状态下最好/优的选择。 ⚫ 在决策树的生成过程中，分割方法 不支持 不支持 不支持 C4.5 分类 多叉树 信息增益率 支持 支持 支持 不支持 CART 分类 回归 二叉树 基尼指数 均方差 支持 支持 支持 支持 1.决策树原理 决策树的三种基本类型 建立决策树的关键，即在当前状态下选择哪个属性作为分类依据。根据不同 的 目 标 函 数 ， 建 立 决 策 树 主 要 有 一 下 三 种 算 法 ： ID3(Iterative Dichotomiser)、C4 Quinlan）于1975年提出的一种决策树 构建算法，算法的核心是“信息熵”，期望信息越小，信息熵越大，样 本纯度越低。。 ⚫ ID3 算法是以信息论为基础，以信息增益为衡量标准，从而实现对数据 的归纳分类。 ⚫ ID3 算法计算每个属性的信息增益，并选取具有最高增益的属性作为给 定的测试属性。 ID3 算法 10 2.ID3算法 ID3 算法 其大致步骤为： 1. 初始化特征集合和数据集合；

01 背景知识 02 模型介绍 04 模型的缺点与改进 05 模型的代码实现 28 ViT缺点 Vision Transformer比CNN具有更少的图像特异性归纳偏差。 在CNN中，局部性、二维邻域结构和平移等方差被融入到整个模型的每一层中。 在ViT中，只有MLP层是局部的、平移等变的，而自注意层是全局的。 二维邻域结构的使用非常少：在模型的开始通过 image_size：int 类型参数，图片大小。 如果您有矩 形图像，请确保图像尺寸为宽度和高度的最大值 patch_size：int 类型参数，patches数目。 image_size 必须能够被 patch_size整除。 num_classes：int 类型参数，分类数目。 dim：int 类型参数，线性变换nn.Linear(..., dim)后输 出张量的尺寸 。 depth：int 类型参数，Transformer模块的个数。 类型参数，Transformer模块的个数。 heads：int 类型参数，多头注意力中“头”的个数。 mlp_dim：int 类型参数，多层感知机中隐藏层的神经 元个数。 channels：int 类型参数，输入图像的通道数，默认为 3。 dropout：float类型参数，Dropout几率，取值范围为 [0, 1]，默认为 0.。 emb_dropout：float类型参数，进行Embedding操作 时Dropout几率，取值范围为[0

RocketMQ 中，所有消息队列都是持丽化，长度无限的数据结构，所谓长度无限是挃队列中的每个存储 单元都是定长，访问其中的存储单元使用 Offset 来访问，offset 为 java long 类型，64 位，理论上在 100 年内丌会溢出，所以讣为是长度无限，另外队列中只保存最近几天的数据，乀前的数据会挄照过期时间来 删除。 也可以讣为 Message Queue 是一个长度无限的数组，offset RocketMQ 没有特 意支持消息优兇级，但是可以通过发通的方式实现类似功能，即单独配置一个优兇级高的队列，和一个普通优兇级 的队列， 将丌同优兇级収送到丌同队列即可。 对亍优兇级问题，可以归纳为 2 类 1) 只要达到优兇级目的即可，丌是严格意丿上的优兇级，通常将优兇级划分为高、中、低，戒者再多几个级 别。每个优兇级可以用丌同的 topic 表示，収消息时，挃定丌同的 topic Consumer 的要求做过滤，优点是减少了对亍 Consumer 无用消息的网络传输。 缺点是增加了 Broker 的负担，实现相对复杂。 (1). 淘宝 Notify 支持多种过滤方式，包含直接挄照消息类型过滤，灵活的诧法表达式过滤，几乎可以满足 最苛刻的过滤需求。 (2). 淘宝 RocketMQ 支持挄照简单的 Message Tag 过滤，也支持挄照 Message Header、body

部分），这一部分能力主要体现在检测和响应阶段，并会同时覆盖 DevSecOps 中运营阶段的能力。 云原生安全威胁分析与能力建设白皮书 13 图 3 云原生安全框架 由此可见，云原生安全可以简要归纳为两个方面，一是面向云原生环境的安 全，其目标是防护云原生环境中的基础设施、编排系统、微服务、无服务和服务 网格等安全。二是具有云原生特征的安全，指具有云原生的弹性敏捷、轻量级、 可编排等特性 拆分的服务就是微服务，彼此之间都是松耦合的，甚至可以使用各研发人员擅长 的不同开发语言进行编写。图 9 展示了微服务场景下可能存在的攻击类型。 图 9 针对微服务进行攻击的路径分析 2.5.1API 攻击 API 是一种计算接口，定义了软件之间的数据交互方式、功能类型。随着互 联网的普及和发展，API 从早期的软件内部调用的接口，扩展到互联网上对外提 供服务的接口。调用者通过调用 API，可以获取接口提供的各项服务，而无须访 的缺失导致相关 API 可被任 意访问，若相关 API 涉及敏感数据则会埋下严重的数据泄漏的隐患。 输入参数未校验导致的攻击：API 的参数组合及各参数值类型相对固定，这 些参数也决定着 API 返回的数据。若 API 未对参数值的类型进行校验则可能会 被攻击者利用来进行注入类攻击；若攻击者未将参数与用户身份进行关联则可能 会导致越权类攻击。 明文传输导致的攻击：API 未对传输数据进行加密设计而直接进行明文传输，

rocketmq 监控指标的存储数据结构，如下图 所示： 正如上图所示：RocketMQ 使用 HashMap 来存储监 控收集的数据，其中 Key 为监控指标的类型，例如 topic 发送消息数量、topic 发送消息 大小、消费组获取消息个数等信息，每一项使用 StatsItemSet 存储，该存储结构内部又 维护一个 HashMap：ConcurrentMap，key 服务器中的最小偏移量(@4)。如果小于等于 0(返回 0 则表示 该队列的文件还未曾删除过)并且其最小偏移量对应的消息存储在内存中而不是存在磁盘 中，则返回偏移量 0，这就意味着 ConsumeFromWhere 中定义的三种枚举类型都不会 生效，直接从 0 开始消费，到这里就能解开其谜团了(@5)。 代码@6：如果偏移量小于等于 0，但其消息已经存储在磁盘中，此时返回未找到，最 终 RebalancePushImpl#computePullFromWhere CODE，服务端会将客户端请求进行分类，每个命令或每类请求命令定义 一个处理器(NettyRequestProcessor)，然后每一个 NettyRequestProcessor 绑定到 一个单独的线程池，进行命令处理，不同类型的请求将使用不同的线程池进行处理，实现线 程隔离。 为了方便下文的描述，我们先简单的认识一下 NettyRequestProcessor、Pair、 RequestCode。其核心关键点如下：

3.5 非线性模型 3.6 表达能力 3.7 优化方法 3.8 手写数字图片识别体验 3.9 小结 3.10 参考文献 第 4 章 PyTorch 基础 4.1 数据类型 4.2 数值精度 4.3 待优化张量 4.4 创建张量 预览版202112 4.5 张量的典型应用 4.6 索引与切片 4.7 维度变换 4.8 Broadcasting 9 参考文献 第 6 章 神经网络 6.1 感知机 6.2 全连接层 6.3 神经网络 6.4 激活函数 6.5 输出层设计 6.6 误差计算 6.7 神经网络类型 6.8 油耗预测实战 6.9 参考文献 第 7 章 反向传播算法 7.1 导数与梯度 7.2 导数常见性质 7.3 激活函数导数 7.4 损失函数梯度 7.5 能水平的机器被证明是可行 的。 怎么实现人工智能是一个非常广袤的问题。人工智能的发展主要经历了三个阶段，每 个阶段都代表了人们从不同的角度尝试实现人工智能的探索足迹。早期，人们试图通过总 结、归纳出一些逻辑规则，并将逻辑规则以计算机程序的方式实现，来开发出智能系统。 但是这种显式的规则往往过于简单，并且很难表达复杂、抽象的概念和规则。这一阶段被 称为推理期。 1970 年代，科学家们尝试

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170 4.9.1 分布偏移的类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171 4.9.2 分布偏移示例 . . . 的数⋯⋯这个 例子仅仅是机器学习常见应用的冰山一角，而深度学习是机器学习的一个主要分支，本节稍后的内容将对其 进行更详细的解析。 1.2 机器学习中的关键组件 首先介绍一些核心组件。无论什么类型的机器学习问题，都会遇到这些组件： 1. 可以用来学习的数据（data）； 2. 如何转换数据的模型（model）； 3. 一个目标函数（objective function），用来量化模型的有效性； 整个监督学习过程如 图1.3.1 所示。 图1.3.1: 监督学习 综上所述，即使使用简单的描述给定输入特征的预测标签，监督学习也可以采取多种形式的模型，并且需要 大量不同的建模决策，这取决于输入和输出的类型、大小和数量。例如，我们使用不同的模型来处理“任意 22 1. 引言 长度的序列”或“固定长度的序列”。 回归 回归（regression）是最简单的监督学习任务之一。假设有一组房屋销售数据表格，其中每行对应一个房子，

ሾ2] = ?ሾ2]?ሾ1] + ?ሾ2]，?ሾ2] = ?ሾ2](?ሾ2]) 以此类推， 第四层为 ?ሾ4] = ?ሾ4]?ሾ3] + ?ሾ4]，?ሾ4] = ?ሾ4](?ሾ4]) 前向传播可以归纳为多次迭代 ?ሾ?] = ?ሾ?]?ሾ?−1] + ?ሾ?]，?ሾ?] = ?ሾ?](?ሾ?])。 x[2] x[3] x[1] 23 反向传播 反向传播 重复L-1次 前向传播和反向传播：

第一步，对样本明确预测输出值与损失函数 第二步，明确参数调整策略 第三步，计算输出层阈值的梯度 第四步，计算隐层到输出层连接权值的梯度 第五步，计算隐层阈值的梯度 第六步，计算输入层到隐层连接权值的梯度 第七步，引出归纳结论 18 3.BP算法 第一步，明确损失函数 对样本 ??, ?? ，神经网络的预 测输出值为ො??。 全网络在样本 ??, ?? 上的均方 误差 1h v 输入层 输出层 隐层