 杨赛赛-基于深度学习的多维时间序列预测在数据机房中的应用PYCON CHINA 基于深度学习的多维时间序列 预测在数据机房中的应用 目 录 1 背景介绍 2 研究目标 3 研究内容 4 后续工作 1. 背景介绍 数据机房面临的能耗问题 数据机房面临电量消耗巨大的问题 空调是数据机房中电量消耗最大的设备 空调为什么那么耗电?怎么优化节能? 低效的 冷却装 置 服务主 机工作 发热 影响空 调耗电 量原因 建筑材料 隔热和散 代表算法有AR, ARIMA 基于深度学习的 时间序列预测 ⚫ 利用多维时间序列之间的 信息 ⚫ 对变周期序列,多维空间 依赖序列预测较弱 ⚫ 代表算法有RNN,LSTM 混合多维时间序列预测 ⚫ 提取多维序列之间更加复杂 的关系 ⚫ 提取维度之间空间依赖关系, 长短期依赖关系 ⚫ 算法有LSTNet,TPA-LSTM 多维时间序列预测方法解决机房温度预测 对数据包含的信息提取能力越来越强0 码力 | 17 页 | 2.49 MB | 1 年前3 杨赛赛-基于深度学习的多维时间序列预测在数据机房中的应用PYCON CHINA 基于深度学习的多维时间序列 预测在数据机房中的应用 目 录 1 背景介绍 2 研究目标 3 研究内容 4 后续工作 1. 背景介绍 数据机房面临的能耗问题 数据机房面临电量消耗巨大的问题 空调是数据机房中电量消耗最大的设备 空调为什么那么耗电?怎么优化节能? 低效的 冷却装 置 服务主 机工作 发热 影响空 调耗电 量原因 建筑材料 隔热和散 代表算法有AR, ARIMA 基于深度学习的 时间序列预测 ⚫ 利用多维时间序列之间的 信息 ⚫ 对变周期序列,多维空间 依赖序列预测较弱 ⚫ 代表算法有RNN,LSTM 混合多维时间序列预测 ⚫ 提取多维序列之间更加复杂 的关系 ⚫ 提取维度之间空间依赖关系, 长短期依赖关系 ⚫ 算法有LSTNet,TPA-LSTM 多维时间序列预测方法解决机房温度预测 对数据包含的信息提取能力越来越强0 码力 | 17 页 | 2.49 MB | 1 年前3
 构建统一的云原生应用 可观测性数据平台complexity. AutoTagging:云原生知识图谱,微服务调用拓扑 看云网更清晰 Simplify the growing complexity. AutoTagging:关联、切分、下钻 √ 看云网更清晰 Simplify the growing complexity. 但 … AutoTagging带来的问题 • 理想很丰满:观测数据无缝跳转 • 现实很骨感:上百个标签,后端资源消耗飙升 • 逐步减少需要直接在观测数据中注入的标签 • 减少重复的、不标准的标准注入 • 让每个标签只在一个地方注入 • 让尽量多的标签自动化注入 100+维度的云原生服务访问全景图:MTL关联、切分、下钻 THE FORCE,原力 看云网更清晰 Simplify the growing complexity. AutoTagging & MultistageCodec 让观测更自动,让开发者更自由!0 码力 | 35 页 | 6.75 MB | 1 年前3 构建统一的云原生应用 可观测性数据平台complexity. AutoTagging:云原生知识图谱,微服务调用拓扑 看云网更清晰 Simplify the growing complexity. AutoTagging:关联、切分、下钻 √ 看云网更清晰 Simplify the growing complexity. 但 … AutoTagging带来的问题 • 理想很丰满:观测数据无缝跳转 • 现实很骨感:上百个标签,后端资源消耗飙升 • 逐步减少需要直接在观测数据中注入的标签 • 减少重复的、不标准的标准注入 • 让每个标签只在一个地方注入 • 让尽量多的标签自动化注入 100+维度的云原生服务访问全景图:MTL关联、切分、下钻 THE FORCE,原力 看云网更清晰 Simplify the growing complexity. AutoTagging & MultistageCodec 让观测更自动,让开发者更自由!0 码力 | 35 页 | 6.75 MB | 1 年前3
 基于Consul的多Beats接入管控与多ES搜索编排Kibana 导航 搜索编 排 异常知 识库 18 日志AIOps探索 日志最佳实践、拨测系统、智能排障、 AIOps探索 19 案例: 基于Kibana的交互式排障 交互式排障,下钻分析,对比分析,快速定位异常 20 案例:如何基于ELK构建内网拨测系统? 基于Healthbeat与Metricbeat构建分布式、全region覆盖、协议支撑丰富的内网拨测平台 21 案例:0 码力 | 23 页 | 6.65 MB | 1 年前3 基于Consul的多Beats接入管控与多ES搜索编排Kibana 导航 搜索编 排 异常知 识库 18 日志AIOps探索 日志最佳实践、拨测系统、智能排障、 AIOps探索 19 案例: 基于Kibana的交互式排障 交互式排障,下钻分析,对比分析,快速定位异常 20 案例:如何基于ELK构建内网拨测系统? 基于Healthbeat与Metricbeat构建分布式、全region覆盖、协议支撑丰富的内网拨测平台 21 案例:0 码力 | 23 页 | 6.65 MB | 1 年前3
 机器学习课程-温州大学-概率论回顾黄海广 副教授 2 目录 01 随机事件和概率 02 随机变量及其概率分布 03 多维随机变量及其分布 05 数理统计的基本概念 04 随机变量的数字特征 3 1.随机事件和概率 01 随机事件和概率 02 随机变量及其概率分布 03 多维随机变量及其分布 05 数理统计的基本概念 04 随机变量的数字特征 4 1.事件的关系与运算 所得的事件,另外,概率为1( 或0)的事件与任何事件相互独立. 1.随机事件和概率 14 2.随机变量及其概率分布 01 随机事件和概率 02 随机变量及其概率分布 03 多维随机变量及其分布 05 数理统计的基本概念 04 随机变量的数字特征 15 1.随机变量及概率分布 取值带有随机性的变量,严格地说是定义在样本空间上,取值于实数的函数称为随机 续型随机变量的分布函数为连续函数,但 不一定为处处可导函数。 (6) 存在既非离散也非连续型随机变量。 2.随机变量及其概率分布 21 3.多维随机变量及其分布 01 随机事件和概率 02 随机变量及其概率分布 03 多维随机变量及其分布 05 数理统计的基本概念 04 随机变量的数字特征 22 1.二维随机变量及其联合分布 由两个随机变量构成的随机向量(0 码力 | 45 页 | 862.61 KB | 1 年前3 机器学习课程-温州大学-概率论回顾黄海广 副教授 2 目录 01 随机事件和概率 02 随机变量及其概率分布 03 多维随机变量及其分布 05 数理统计的基本概念 04 随机变量的数字特征 3 1.随机事件和概率 01 随机事件和概率 02 随机变量及其概率分布 03 多维随机变量及其分布 05 数理统计的基本概念 04 随机变量的数字特征 4 1.事件的关系与运算 所得的事件,另外,概率为1( 或0)的事件与任何事件相互独立. 1.随机事件和概率 14 2.随机变量及其概率分布 01 随机事件和概率 02 随机变量及其概率分布 03 多维随机变量及其分布 05 数理统计的基本概念 04 随机变量的数字特征 15 1.随机变量及概率分布 取值带有随机性的变量,严格地说是定义在样本空间上,取值于实数的函数称为随机 续型随机变量的分布函数为连续函数,但 不一定为处处可导函数。 (6) 存在既非离散也非连续型随机变量。 2.随机变量及其概率分布 21 3.多维随机变量及其分布 01 随机事件和概率 02 随机变量及其概率分布 03 多维随机变量及其分布 05 数理统计的基本概念 04 随机变量的数字特征 22 1.二维随机变量及其联合分布 由两个随机变量构成的随机向量(0 码力 | 45 页 | 862.61 KB | 1 年前3
 机器学习课程-温州大学-numpy使用总结中的元素可以是任何对象,所以浪费了CPU运算时间和内存。 NumPy诞生为了弥补这些缺陷。它提供了两种基本的对象: ndarray:全称(n-dimensional array object)是储存单一数据类型的 多维数组。 ufunc:全称(universal function object)它是一种能够对数组进行处 理的函数。 NumPy的官方文档: https://docs.scipy.org/doc/numpy/reference/ ]从内到外分别为第0轴,第1轴,第2轴,第3轴。 NumPy 最重要的一个特点是其 N 维数组对象 ndarray,它是一系列同类型数据 的集合,以 0 下标为开始进行集合中元素的索引。 ndarray 对象是用于存放同类型元素的多维数组。 10 1.1 认识 NumPy 数组对象 shape(4,) shape(4,3,2) shape(3,2) NumPy 数组图示 11 1.1 认识 NumPy 数组对象 2 -------- [3, 3, 100, 8] [ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9] 20 多维数组 NumPy的多维数组和一维数组类似。多维数组有多个轴。 我们前面已经提到从内到外分别是第0轴,第1轴… > a = np.arange(0, 60, 10).reshape(-1, 1) + np.arange(00 码力 | 49 页 | 1.52 MB | 1 年前3 机器学习课程-温州大学-numpy使用总结中的元素可以是任何对象,所以浪费了CPU运算时间和内存。 NumPy诞生为了弥补这些缺陷。它提供了两种基本的对象: ndarray:全称(n-dimensional array object)是储存单一数据类型的 多维数组。 ufunc:全称(universal function object)它是一种能够对数组进行处 理的函数。 NumPy的官方文档: https://docs.scipy.org/doc/numpy/reference/ ]从内到外分别为第0轴,第1轴,第2轴,第3轴。 NumPy 最重要的一个特点是其 N 维数组对象 ndarray,它是一系列同类型数据 的集合,以 0 下标为开始进行集合中元素的索引。 ndarray 对象是用于存放同类型元素的多维数组。 10 1.1 认识 NumPy 数组对象 shape(4,) shape(4,3,2) shape(3,2) NumPy 数组图示 11 1.1 认识 NumPy 数组对象 2 -------- [3, 3, 100, 8] [ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9] 20 多维数组 NumPy的多维数组和一维数组类似。多维数组有多个轴。 我们前面已经提到从内到外分别是第0轴,第1轴… > a = np.arange(0, 60, 10).reshape(-1, 1) + np.arange(00 码力 | 49 页 | 1.52 MB | 1 年前3
 机器学习课程-温州大学-03深度学习-PyTorch入门Tensors张量 01 Tensors张量 02 Autograd自动求导 03 神经网络 04 训练一个分类器 4 1.Tensors张量的概念 Tensor实际上就是一个多维数组(multidimensional array) 标量(0阶张量) 向量(1阶张量) 矩阵(2阶张量) 张量(大于等于3阶张量) 1.2 5  创建张量的几种方法  用现有数据创建张量,使用 函数(只能是标量)将值取出来:loss_output.item() 1.Tensors张量的概念 8  Tensor与NumPy的异同 对比项 NumPy Tensor 相同点 可以定义多维数组,进行切片、改变维度、 数学运算等 可以定义多维数组,进行切片、改变维度、数学运 算等 不同点 1、产生的数组类型为 numpy.ndarray; 2、会将ndarray放入 CPU中进行运算; 3、导入方式为import 该函数的两个输入必须是三维矩阵并且第一维相同(表 示Batch维度), 不支持broadcast操作 13 1.Tensor张量乘法 3. 多维矩阵乘法 torch.matmul() torch.matmul(input, other, out=None) 支持broadcast操作,使用起来比较复杂。针对多维数据matmul() 乘法,可以认为该乘 法使用使用两个参数的后两个维度来计算,其他的维度都可以认为是batch维度。0 码力 | 40 页 | 1.64 MB | 1 年前3 机器学习课程-温州大学-03深度学习-PyTorch入门Tensors张量 01 Tensors张量 02 Autograd自动求导 03 神经网络 04 训练一个分类器 4 1.Tensors张量的概念 Tensor实际上就是一个多维数组(multidimensional array) 标量(0阶张量) 向量(1阶张量) 矩阵(2阶张量) 张量(大于等于3阶张量) 1.2 5  创建张量的几种方法  用现有数据创建张量,使用 函数(只能是标量)将值取出来:loss_output.item() 1.Tensors张量的概念 8  Tensor与NumPy的异同 对比项 NumPy Tensor 相同点 可以定义多维数组,进行切片、改变维度、 数学运算等 可以定义多维数组,进行切片、改变维度、数学运 算等 不同点 1、产生的数组类型为 numpy.ndarray; 2、会将ndarray放入 CPU中进行运算; 3、导入方式为import 该函数的两个输入必须是三维矩阵并且第一维相同(表 示Batch维度), 不支持broadcast操作 13 1.Tensor张量乘法 3. 多维矩阵乘法 torch.matmul() torch.matmul(input, other, out=None) 支持broadcast操作,使用起来比较复杂。针对多维数据matmul() 乘法,可以认为该乘 法使用使用两个参数的后两个维度来计算,其他的维度都可以认为是batch维度。0 码力 | 40 页 | 1.64 MB | 1 年前3
 云计算白皮书for cloud 并持续更新云原生安全组件,为云原生安全提供 一体化保护平台;阿里云上线云安全中心、Web 应用防火墙等多个 云计算白皮书(2023 年) 8 云原生安全服务。安全厂商方面,多维度聚焦云原生安全产品建设。 随着云原生安全市场的扩张,传统安全厂商开始大规模转向云原生 安全产品建设,云原生安全初创厂商不断涌现。Palo Alto 目前已部 署基于 Prisma Cloud 术体系中发挥越来越重要的作用,并进一步提升落地成效。通过对 云计算白皮书(2023 年) 21 数据进行智能分析,可以实现故障预测、自动诊断、场景演练和自 动修复;结合人工智能大模型,指导知识库和专家系统进行更多维 度分析预测,从而提高系统的稳定性和可靠性。 安全层面,云原生革新云上软件架构与应用模式,加速云安全向 云原生安全演进。云原生经过多年发展,已实现全行业高质量规模化 落地。云原生革新了传统用云方式,驱动传统应用充分享受云原生 建的复杂性限制了技术的普惠发展,基于云计算构建开箱即用的大 模型服务也成为刚需。 (二)云计算管理方式不断革新,向下定义算力资源使 用新方式 云计算技术的出现和成熟,如今已经不局限于算力资源的云化, 更是向网络、存储等多维度资源云化进行延伸,同时通过纳管、编 云计算白皮书(2023 年) 28 排、部署等管理方式的不断升级,在算力资源的接入、调度和分发 等方面产生新的促进作用,具体表现为: 接入方面,云计算纳管能力持续加强,使多样性算力资源提供0 码力 | 47 页 | 1.22 MB | 1 年前3 云计算白皮书for cloud 并持续更新云原生安全组件,为云原生安全提供 一体化保护平台;阿里云上线云安全中心、Web 应用防火墙等多个 云计算白皮书(2023 年) 8 云原生安全服务。安全厂商方面,多维度聚焦云原生安全产品建设。 随着云原生安全市场的扩张,传统安全厂商开始大规模转向云原生 安全产品建设,云原生安全初创厂商不断涌现。Palo Alto 目前已部 署基于 Prisma Cloud 术体系中发挥越来越重要的作用,并进一步提升落地成效。通过对 云计算白皮书(2023 年) 21 数据进行智能分析,可以实现故障预测、自动诊断、场景演练和自 动修复;结合人工智能大模型,指导知识库和专家系统进行更多维 度分析预测,从而提高系统的稳定性和可靠性。 安全层面,云原生革新云上软件架构与应用模式,加速云安全向 云原生安全演进。云原生经过多年发展,已实现全行业高质量规模化 落地。云原生革新了传统用云方式,驱动传统应用充分享受云原生 建的复杂性限制了技术的普惠发展,基于云计算构建开箱即用的大 模型服务也成为刚需。 (二)云计算管理方式不断革新,向下定义算力资源使 用新方式 云计算技术的出现和成熟,如今已经不局限于算力资源的云化, 更是向网络、存储等多维度资源云化进行延伸,同时通过纳管、编 云计算白皮书(2023 年) 28 排、部署等管理方式的不断升级,在算力资源的接入、调度和分发 等方面产生新的促进作用,具体表现为: 接入方面,云计算纳管能力持续加强,使多样性算力资源提供0 码力 | 47 页 | 1.22 MB | 1 年前3
 DaoCloud Enterprise 5.0
产品介绍涉及的模块:全局管理、容器管理、微服务治理、服务网格、可观测性、应用工作 台、云原生网络、云原生存储 可观测性 基于日志、链路、指标、eBPF 等技术手段,全面采集服务数据,深入获取请求链路信 息,动态观测、多维度掌控集群、节点、应用和服务的实时变化,通过统一控制面实 现所有集群及负载观测数据的查询,引入拓扑分析技术可视化掌握应用健康状态,实 现秒级故障定位。 涉及的模块:全局管理、容器管理、可观测性、云原生网络、云原生存储 用健康状态,不仅提供告警能力以及全面、清晰、多维度数据可视化能力,兼 容主流开源组件,而且提供快捷故障定位及一键监控诊断的能力。 可观测模块实现了指标、日志、链路的统一采集,支持对指标、日志进行多维 度的告警并提供简洁明了的可视化管理界面。 主要功能如下: 版权 © 2023 DaoCloud 第 11 页 ➢ 提供容器、服务、节点和集群等多维度的监控 ➢ 支持查询 CPU、内存、存储、网络等监控指标0 码力 | 18 页 | 1.32 MB | 1 年前3 DaoCloud Enterprise 5.0
产品介绍涉及的模块:全局管理、容器管理、微服务治理、服务网格、可观测性、应用工作 台、云原生网络、云原生存储 可观测性 基于日志、链路、指标、eBPF 等技术手段,全面采集服务数据,深入获取请求链路信 息,动态观测、多维度掌控集群、节点、应用和服务的实时变化,通过统一控制面实 现所有集群及负载观测数据的查询,引入拓扑分析技术可视化掌握应用健康状态,实 现秒级故障定位。 涉及的模块:全局管理、容器管理、可观测性、云原生网络、云原生存储 用健康状态,不仅提供告警能力以及全面、清晰、多维度数据可视化能力,兼 容主流开源组件,而且提供快捷故障定位及一键监控诊断的能力。 可观测模块实现了指标、日志、链路的统一采集,支持对指标、日志进行多维 度的告警并提供简洁明了的可视化管理界面。 主要功能如下: 版权 © 2023 DaoCloud 第 11 页 ➢ 提供容器、服务、节点和集群等多维度的监控 ➢ 支持查询 CPU、内存、存储、网络等监控指标0 码力 | 18 页 | 1.32 MB | 1 年前3
 【PyTorch深度学习-龙龙老师】-测试版202112普适性之前,需要先将张量 shape 靠右对齐,然后进行普适性判断:对于长度为 1 的维 度,默认这个数据普遍适合于当前维度的其他位置;对于不存在的维度,则在增加新维度 后默认当前数据也是普适于新维度的,从而可以扩展为更多维度数、任意长度的张量形 状。 考虑 shape 为[ , 1]的张量?,需要扩展为 shape:[?, ℎ, , ?],如图 4.7 所示,第一行 为欲扩展的 shape,第二行是现有 shape: 过分别知道每个维度坐标信息来采样数据。方式二中的采样方式与 TensorFlow 框架中的 gather_nd 函数是类似的。 实际上,[]索引方式既可以实现 index_select 函数,又可以实现多维坐标索引方式,更 加推荐。 5.6.2 掩码采样 除了可以通过给定索引号的方式采样,还可以通过给定掩码(Mask)的方式进行采样。 继续以 shape 为[4,35,8]的成绩册张量为例,这次以掩码方式进行数据提取。 torch.Size([4, 35, 4]) 不难发现,这种通过 Mask 方式的用法其实与 index_select 非常类似,只不过一个通过掩码 方式采样,一个直接给出索引号采样。 现在来考虑多维掩码采样方式。为了方便演示,这里将班级数量减少到 2 个,学生的 数量减少到 3 个,即一个班级只有 3 个学生,shape 为[2,3,8]。如果希望采样第 1 个班级的 第 1~2 号学生,第0 码力 | 439 页 | 29.91 MB | 1 年前3 【PyTorch深度学习-龙龙老师】-测试版202112普适性之前,需要先将张量 shape 靠右对齐,然后进行普适性判断:对于长度为 1 的维 度,默认这个数据普遍适合于当前维度的其他位置;对于不存在的维度,则在增加新维度 后默认当前数据也是普适于新维度的,从而可以扩展为更多维度数、任意长度的张量形 状。 考虑 shape 为[ , 1]的张量?,需要扩展为 shape:[?, ℎ, , ?],如图 4.7 所示,第一行 为欲扩展的 shape,第二行是现有 shape: 过分别知道每个维度坐标信息来采样数据。方式二中的采样方式与 TensorFlow 框架中的 gather_nd 函数是类似的。 实际上,[]索引方式既可以实现 index_select 函数,又可以实现多维坐标索引方式,更 加推荐。 5.6.2 掩码采样 除了可以通过给定索引号的方式采样,还可以通过给定掩码(Mask)的方式进行采样。 继续以 shape 为[4,35,8]的成绩册张量为例,这次以掩码方式进行数据提取。 torch.Size([4, 35, 4]) 不难发现,这种通过 Mask 方式的用法其实与 index_select 非常类似,只不过一个通过掩码 方式采样,一个直接给出索引号采样。 现在来考虑多维掩码采样方式。为了方便演示,这里将班级数量减少到 2 个,学生的 数量减少到 3 个,即一个班级只有 3 个学生,shape 为[2,3,8]。如果希望采样第 1 个班级的 第 1~2 号学生,第0 码力 | 439 页 | 29.91 MB | 1 年前3
 中国移动磐舟DevSecOps平台云原生安全实践在自动、增量、批量进行镜像上线前的扫描后,生产节点拉取安全镜像,运行后提供服务,但漏洞问题日新月异,有很多迭代 速度慢的业务应用随着时间的推移,一些新的漏洞也需及时发现整改。镜像扫描工具会自动、周期性对已上线业务应用的镜像进行 多维度深度扫描,及时发现新出现的安全问题,及时修正。 业务 容器 业务 容器 业务 容器 业务 容器 业务 镜像 业务 镜像 业务 镜像 业务 镜像 扫描 容器 控制 台 镜像仓库 恶意命令执行 容器逃逸 其他风险策略 已 知 威 胁 监 控 进程 网络连接 系统调用 文件 配置 安全容器模型 在业务上线后,容器安全工具基于内置检测规则+行为学习+自定义策略,多维度保障容器运行时的安全。 已知威胁方面,通过丰富的内置安全策略,对业务容器行为进行实时监测,及时发现风险。 未知威胁方面,通过对业务容器行为进行学习建模,感知业务行为偏离,发现未知风险。并提供隔离、暂停、重启等处置能力。0 码力 | 22 页 | 5.47 MB | 1 年前3 中国移动磐舟DevSecOps平台云原生安全实践在自动、增量、批量进行镜像上线前的扫描后,生产节点拉取安全镜像,运行后提供服务,但漏洞问题日新月异,有很多迭代 速度慢的业务应用随着时间的推移,一些新的漏洞也需及时发现整改。镜像扫描工具会自动、周期性对已上线业务应用的镜像进行 多维度深度扫描,及时发现新出现的安全问题,及时修正。 业务 容器 业务 容器 业务 容器 业务 容器 业务 镜像 业务 镜像 业务 镜像 业务 镜像 扫描 容器 控制 台 镜像仓库 恶意命令执行 容器逃逸 其他风险策略 已 知 威 胁 监 控 进程 网络连接 系统调用 文件 配置 安全容器模型 在业务上线后,容器安全工具基于内置检测规则+行为学习+自定义策略,多维度保障容器运行时的安全。 已知威胁方面,通过丰富的内置安全策略,对业务容器行为进行实时监测,及时发现风险。 未知威胁方面,通过对业务容器行为进行学习建模,感知业务行为偏离,发现未知风险。并提供隔离、暂停、重启等处置能力。0 码力 | 22 页 | 5.47 MB | 1 年前3
共 26 条
- 1
- 2
- 3














