激活函数及其梯度 主讲人：龙良曲 Activation Functions Derivative Sigmoid / Logistic Derivative torch.sigmoid Tanh = 2??????? 2? − 1 Derivative torch.tanh Rectified Linear Unit Derivative F.relu 下一课时 Loss及其梯度

阿里云函数计算技术专家 函数计算在双11小程序场景中的应用 关注“阿里巴巴云原生”公众号 回复 1124 获取 PPT自我介绍 •吴天龙（花名: 木吴） •阿里云函数计算技术专家 •2013 年加入阿里云，参与分布式数据库， 对象存储等产品的开发。现任阿里云函数 计算架构师，聚焦于 Serverless 产品功 能和大规模资源伸缩调度、性能优化等系 统核心能力的研发。❖ 函数计算介绍 函数计算介绍 ❖ 双11小程序场景介绍 ❖ 技术挑战 ❖ Demo 目录函数计算-介绍 • 通用Serverless计算平 台 • 与云端事件源无缝集成 • 弹性伸缩，按量付费函数计算-介绍双11小程序场景介绍小程序场景的挑战 n 安全隔离 n 开发效率 n 大量的小程序是不活跃的 n 活动高峰期流量激增函数计算-冷启动优化 Download & Extract Code User 10ms~60000ms 预留实例 0ms 0ms函数计算-弹性伸缩 C1 C1 C2 C1 C2 时间 t1 t2函数计算-预留实例 • 预留实例：性能好 • 按量实例：按需使用函数计算-预留实例 预留实例 按量实例 效果 0 0 禁止调用 10 0 只使用预留实例，固定费用 0 10 只使用按量实例，按需付费 10 5 混合模式，兼顾性能和成本函数计算 DemoThank you !

常见函数梯度 主讲人：龙良曲 Common Functions ?? + ? ??? + ?? ??? + ?? [? − (?? + ?)]? ?log(?? + ?) 下一课时 什么是激活函数 Thank You.

激活函数与GPU加速 主讲人：龙良曲 Leaky ReLU simply SELU softplus GPU accelerated 下一课时 测试 Thank You.

Platform 4.4 中的 中的 FIPS 模式属性和限制 模式属性和限制 属性 属性 限制： 限制： RHEL 7 操作系统支持 FIPS 。 FIPS 实现还没有提供一个单一的计算哈希函数和验证 基于该哈希的键的函数。在以后的 OpenShift Container Platform 版本中，将继续评估并改进这个 限制。 CRI-O 运行时支持 FIPS。 OpenShift Container 不同平台的安装方法 您可以在不同的平台上执行不同类型的安装。 注意 注意 不是所有安装选项都可用于所有平台，如下表所示。 表 表 3.1. 安装程序置 安装程序置备 备的基 的基础 础架 架构选项 构选项 AWS Azure GCP OpenSt ack RHV 裸机 裸机 vSphere IBM Z Default X X X X Custom X X X X X X 私有集群 X X X 现有的虚 拟私有网 络 X X X 表 表 3.2. 用 用户 户置 置备 备的基 的基础 础架 架构 构 AWS Azure GCP OpenSt ack RHV 裸机 裸机 vSphere IBM Z Custom X X X X X X Cluster Network Operato

Context矩 阵（即使两个矩阵都在我们的词汇表中嵌入了每个单词）。 23 3.Word2Vec 训练流程 现在我们需要一种方法将这些分数转化为看起来像概率的东西 ： 使用sigmoid函数把概率转换为0和1。 然后，我们计算输入嵌入与每个上下文嵌入的点积。在每种情况 下，会产生一个数字，该数字表示输入和上下文嵌入的相似性。 24 3.Word2Vec 训练流程 现在我们可以将 2017 ◼ Transformer摆脱了人工标注数据集的缺陷，模型在质量上更优、 更易于并行化，所需训练时间明显更少 ◼ Transformer通过成功地将其应用于具有大量和有限训练数据的分 析，可以很好地推广到其他任务 ✓ 2017年，在Ashish Vaswani et.al 的论文《Attention Is All You Need》 中，考虑到主导序列转导模型基于编码器-解码器配置中的复杂递归或卷积 始GPT是基于上文的预测，这更贴近人类的话语模式，因为人类言语无法基于将来的话来做分析。 图：GPT-1模型相比于Transformer模型有了显著简化 Transformer架构 GPT-1架构 GPT用于对不同任务进行微调的输入转换的示意图 GPT的发展 36 GPT-2的核心抓 手—采用多任务 模型（Multi- task） GPT-2要 实现的目 标 • GPT-2

但可以修改一些集群属性。 第 第 1 章 章 OPENSHIFT CONTAINER PLATFORM 安装概述 安装概述 51 采用安装程序置 采用安装程序置备 备的基 的基础 础架 架构 构的安装 的安装过 过程 程 默认安装类型为使用安装程序置备的基础架构。默认情况下，安装程序充当安装向导，提示您输入它无法 自行确定的值，并为其余参数提供合理的默认值。您还可以自定义安装过程来支持高级基础架构场景。安 可以管理集群的所有方面，包括操 作系统本身。每台机器在启动时使用的配置引用其加入的集群中托管的资源。此配置允许集群在应用更新 时自行管理。 采用用 采用用户 户置 置备 备的基 的基础 础架 架构 构的安装 的安装过 过程 程 您还可以在自己提供的基础架构上安装 OpenShift Container Platform。您可以使用安装程序来生成置备 集群基础架构所需的资产，再创建集群基础架构，然后将集群部署到您提供的基础架构中。 过程中运行证书更新时避免安装失败。 bootstrapp 集群涉及以下步骤： 1. bootstrap 机器启动并开始托管 control plane 机器引导所需的远程资源。（如果自己配置基础架 构，则需要人工干预） 2. bootstrap 机器启动单节点 etcd 集群和一个临时 Kubernetes control plane。 3. control plane 机器从 bootstrap

CI/CD 概述 概述 1.1. OPENSHIFT 构建 1.2. OPENSHIFT PIPELINES 1.3. OPENSHIFT GITOPS 1.4. JENKINS 第 第 2 章 章 构 构建（ 建（BUILD） ） 2.1. 理解镜像构建 2.2. 了解构建配置 2.3. 创建构建输入 2.4. 管理构建输出 2.5. 使用构建策略 2.6. 使用 BUILDAH 自定义镜像构建 Platform 使用 Kubernetes，从构建镜像创建容器并将它们推送到容器镜像 registry。 构建对象具有共同的特征，包括构建的输入，完成构建过程要满足的要求、构建过程日志记录、从成功构 建中发布资源，以及发布构建的最终状态。构建会使用资源限制，具体是指定资源限值，如 CPU 使用 量、内存使用量，以及构建或 Pod 执行时间。 OpenShift Container Platform 构建，生成的对象为可运行 的镜像。对于自定义构建，生成的对象是构建器镜像作者指定的任何事物。 此外，也可利用管道构建策略来实现复杂的工作流： 持续集成 持续部署 2.1.1.1. Docker 构 构建 建 OpenShift Container Platform 使用 Buildah 从 Dockerfile 构建容器镜像。有关使用 Dockerfile 构建容器 镜像的更多信息，请参阅 Dockerfile

1 感知机 6.2 全连接层 6.3 神经网络 6.4 激活函数 6.5 输出层设计 6.6 误差计算 6.7 神经网络类型 6.8 油耗预测实战 6.9 参考文献 第 7 章 反向传播算法 7.1 导数与梯度 7.2 导数常见性质 7.3 激活函数导数 7.4 损失函数梯度 7.5 全连接层梯度 预览版202112 7 7.6 链式法则 7.7 反向传播算法 7.8 Himmelblau 函数优化实战 7.9 反向传播算法实战 7.10 参考文献 第 8 章 PyTorch 高级用法 8.1 常见功能模块 8.2 模型装配、训练与测试 8.3 模型保存与加载 8.4 自定义类 8.5 模型乐园 8.6 测量工具 8.7 可视化 8.8 参考文献 第 WGAN 原理 13.8 WGAN-GP 实战 13.9 参考文献 第 14 章 强化学习 14.1 先睹为快 14.2 强化学习问题 14.3 策略梯度方法 14.4 值函数方法 14.5 Actor-Critic 方法 14.6 小结 14.7 参考文献 第 15 章 自定义数据集 15.1 精灵宝可梦数据集 15.2 自定义数据集加载流程