Nocalhost - 重新定义云原⽣开发环境.md 2021/1/20 1 / 7 Nocalhost - 重新定义云原⽣开发环境 前⾔ 随着业务的快速发展，技术部⻔的组织架构在横向及纵向不断扩⼤和调整，与此同时，企业的⽣产资料：应 ⽤系统，也变得越来越庞⼤。为了让应⽤系统适配企业组织架构的调整，梳理组织架构对于应⽤权责的边 界，⼤部分组织会选择使⽤“微服务”架构来对应⽤系统进⾏横向拆分，使得应⽤系统的维护边界适配组织架 ，不得不将所 有依赖的服务都启动起来。随着微服务数量的增加，开发应⽤所需要的本地资源越来越多，最终导致本地⽆ 法满⾜开发的配置需求。 云原⽣解放了部署和运维，开发呢？ Nocalhost - 重新定义云原⽣开发环境.md 2021/1/20 2 / 7 云原⽣和 Kubernetes 的普及，进⼀步屏蔽了“微服务”应⽤的复杂度，这主要体现在部署和运维阶段。 为了解决微服务应⽤在开发、测试和⽣产阶 Nocalhost - 重新定义云原⽣开发环境 Nocalhost 是⼀个云原⽣开发环境，希望让开发云原⽣应⽤像开发单体应⽤原始⼜简单。 Nocalhost 重新梳理了开发过程所涉及到的⻆⾊和资源： 团队管理⼈员 Nocalhost - 重新定义云原⽣开发环境.md 2021/1/20 3 / 7 开发者 应⽤ 集群 开发空间 通过对这些⻆⾊和资源的重新整合，Nocalhost 重新定义了云原⽣开发环境，并带来了全新的云原⽣开发体

带给你“一份应用需求定义，到处交付” 的 云原生应用交付体验 Photo 王国东(骁奕) 技术专家 阿里云 张健川(聪言) 技术专家 阿里云 王国东(骁奕) One Definition, Deliver Anywhere 交付同学的烦恼 !"#$A 我们还是个创业公司运维 经验少，产品所有依赖的中 间件服务资源都想⽤阿⾥公 共云上的 %&#$B 我们⾃⼰的商业经营数据 (hcl / cuelang) AutoOps Service Upgradle Service Monitoring … CNBaaS：我们致力于站在面向业务应用友好的角 度，在云厂商之上，统一定义和管理Backend Service。 云产品 规格自 动匹配 服务自 适配云 厂商 服务支 持多种 生产方 式 CNBaaS使命 One definition can be delivered 读写IOPS能力达到1W+ 面向用户友好的声明服务 Service Spec Component-oriented extension On-Premise OnCloud 云原生IaC方式定义服务 传统云上白屏化运维方式: 繁杂的手动操作，且无法快速复制 CNBaaS 可基于Cue语法，声明服务基础信息 以及组件扩展信息，支持最优规格匹配 自适配云组件配置&规格 声明式 服务规格需求

自定义数据集实战 主讲：龙良曲 Pokemon Go! Pokemon Dataset https://www.pyimagesearch.com/2018/04/16/keras-and-convolutional-neural-networks-cnns/ Download ▪ 链接: https://pan.baidu.com/s/1V_ZJ7ufjUUFZwD2NHSNMFw

7.9 反向传播算法实战 7.10 参考文献 第 8 章 PyTorch 高级用法 8.1 常见功能模块 8.2 模型装配、训练与测试 8.3 模型保存与加载 8.4 自定义类 8.5 模型乐园 8.6 测量工具 8.7 可视化 8.8 参考文献 第 9 章 过拟合 9.1 模型的容量 9.2 过拟合与欠拟合 9.3 数据集划分 14.3 策略梯度方法 14.4 值函数方法 14.5 Actor-Critic 方法 14.6 小结 14.7 参考文献 第 15 章 自定义数据集 15.1 精灵宝可梦数据集 15.2 自定义数据集加载流程 15.3 宝可梦数据集实战 15.4 迁移学习 15.5 Saved_model 15.6 模型部署 15.7 参考文献 预览版202112 的升级版本 Cafffe2，Caffe2 目前已经融入到 PyTorch 库中。 ❑ Torch 是一个非常优秀的科学计算库，基于较冷门的编程语言 Lua 开发。Torch 灵活性 较高，容易实现自定义网络层，这也是 PyTorch 继承获得的优良基因。但是由于 Lua 语言使用人群较少，Torch 一直未能获得主流应用。 ❑ MXNet 由华人陈天奇和李沐等人开发，是亚马逊公司的官方深度学习框架。采用了

2.4 定义模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 3.2.5 定义损失函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 3.2.6 定义优化算法 3.3 定义模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102 3.3.4 初始化模型参数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 3.3.5 定义损失函数 定义损失函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 ii 3.3.6 定义优化算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 3.3.7 训练 . . . . . .

��������������������������������������������������������������������������������������� 5 1.4.2 张量定义与声明 ����������������������������������������������������������������������������������������������� (functional)、损 失功能、支持自定义的模型类（Module）等。通过它们就可 以实现大多数的模型结构搭建与生成。 2）torch.utils 包，里面主要包括训练模型的输入数据处理类、 pytorch 自带的模型库、模型训练时候可视化支持组件、检查 点与性能相关的组件功能。重要的类有数据集类（Dataset）, 数据加载类 (DataLoader)、自定义编程的可视化支持组件 tensorboard 深度学习主要是针对张量的数据操作、这些数据操作从简单到 复杂、多数都是以矩阵计算的形式存在，最常见的矩阵操作就 是加减乘除、此外卷积、池化、激活、也是模型构建中非常有 用的算子 / 操作数。Pytorch 支持自定义算子操作，可以通过 自定义算子实现复杂的网络结构，构建一些特殊的网络模型。 张量跟算子 / 操作数一起构成了计算图，它们是也是计算图的 基本组成要素。 ● 计算图 深度学习是基于计算图完成模型构建，实现数据在各个计算图

高等数学 1.导数定义： 导数和微分的概念 ?′(?0) = lim ??→0 ?(?0+??)−?(?0) ?? （1） 或者：?′(?0) = lim ?→?0 ?(?)−?(?0) ?−?0 （2） 2.左右导数导数的几何意义和物理意义 函数?(?)在?0处的左、右导数分别定义为： 左导数：?′−( (0) = ?，?(0) = ? 机器学习的数学基础 4 9.微分中值定理，泰勒公式 Th1:(费马定理) 若函数?(?)满足条件： (1)函数?(?)在?0的某邻域内有定义，并且在此邻域内恒有 ?(?) ≤ ?(?0)或?(?) ≥ ?(?0), (2) ?(?)在?0处可导,则有 ?′(?0) = 0 Th2:(罗尔定理) 设函数?(?)满足条件： 2, ⋯ , ??的过渡矩阵。 6.坐标变换公式 若向量?在基?1, ?2,⋯ , ??与基?1, ?2, ⋯ , ??的坐标分别是 ? = (?1,?2, ⋯ , ??)?， ? = (?1, ?2, ⋯ , ??)? 即： ? = ?1?1 + ?2?2 + ⋯ + ???? = ?1?1 + ?2?2 + ⋯ + ????，则向 量坐标变换公式为? = ?? 或 ? = ?−1

或者 表示矩阵 的第 列： 我们用 或者 表示矩阵 的第 行： 在许多情况下，将矩阵视为列向量或行向量的集合非常重要且方便。 通常，在向量而不是标量上 操作在数学上（和概念上）更清晰。只要明确定义了符号，用于矩阵的列或行的表示方式并没有通 用约定。 2.矩阵乘法 两个矩阵相乘，其中 and ，则： 其中： 请注意，为了使矩阵乘积存在， 中的列数必须等于 中的行数。有很多方法可以查看矩阵乘法，我们 的行的线性组合，其中线性组合的系数由 的元素给出。 2.3 矩阵-矩阵乘法 有了这些知识，我们现在可以看看四种不同的（形式不同，但结果是相同的）矩阵-矩阵乘法：也就是 本节开头所定义的 的乘法。 首先，我们可以将矩阵 - 矩阵乘法视为一组向量-向量乘积。 从定义中可以得出：最明显的观点是 的 ， 元素等于 的第 行和 的的 列的内积。如下面的公式所示： 这里的 ， ， ， ， 这里的 ， ， ， ，所以它们可以计算内积。 的行作为 和 行之间的矩阵 向量积。公式如下： 这里第 行的 由左边的向量的矩阵向量乘积给出： 将矩阵乘法剖析到如此大的程度似乎有点过分，特别是当所有这些观点都紧跟在我们在本节开头给出的 初始定义（在一行数学中）之后。 这些不同方法的直接优势在于它们允许您在向量的级别/单位而不是标量上进行操作。 为了完全理解线 性代数而不会迷失在复杂的索引操作中，关键是要用尽可能多的概念进行操作。 实

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 4.1 自定义 Variable 数据与网络训练 19 4.2 准确率的可视化 22 4.3 分类结果的可视化 23 4.4 自定义 Dataset 数据集 25 3 4.5 总结 27 Literature . . . . . . . . . . . . . Dataset 以及 torch.utils.data.DataLoader。 Dataset 存储样本以及它们的标签等信息，Dataset 可以使用预加载的数据集（例如 mnist）， 也可以使用自定义的数据集；而 DataLoader 是把样本进行访问和索引的工具，它实现了迭代器 功能，也就是说它可以依次将 batch_size 数量的样本导出。 注意，前面已经导入过的 python 包我们就不再重复导入了。 data import DataLoader 前面说过，Dataset 可以存储自定义数据，我们可以继承 Dataset 类，在子类中实现一些固定 功能的函数，这样就相当于封装了自己的数据为 Dataset 类型。为了方便起见，我们先描述如何 使用预加载数据，然后第二章就开始构建神经网络模型。等第四章我们再描述如何自定义数据集。 我们一次写一个完整的程序来把数据可视化一下： from torchvision

SVD(奇异值分解) 假设矩阵 ? 是一个 ? × ? 的矩阵，通过SVD是对矩阵进行分解， 那么我们定义矩阵 ? 的 SVD 为： ? = ???T ? ?T ? ? ? × ? ? × ? ? × ? ? × ? ? ? 奇异值 · · 16 2.SVD(奇异值分解) 符号定义 ? = ???T = ?1?1?1 T + ⋯ + ??????T 其中?是一个? × ?的矩阵，每个特征向量 ，则：?? = ?? 得到：??? = ????，?? = ???/?? 这样我们可以求出我们的每个奇异值，进而求出奇异值矩阵 ?。 23 2.SVD(奇异值分解) SVD计算案例 设矩阵 ?定义为：? = 3 0 4 5 则?的秩? = 2。 ?T? = 3 4 0 5 3 0 4 5 = 25 20 20 25 ??T = 3 0 4 5 3 4 0 5 = 9 12 • • • • • • • • • • • • 主 成 分 分 析 的 几 何 解 释 平移、旋转坐标轴 34 PCA的思想很简单——减少数据集的特征数量，同时尽可能地保留信息。 3.PCA(主成分分析) 35 3.PCA(主成分分析) 通过平移、旋转坐标轴，找到主成分pc1和pc2 36 PCA识别在训练集中占最大方差量的轴。 在图1中，它是实线。 它还找到与第一个轴正交的