机器学习课程-温州大学-时间序列总结1 2022年01月 时间序列总结 黄海广 副教授 2 学习目标 了解 什么是时间序 列,ARIMA 1 2 掌握 时间序列的基本 操作 掌握 时期,重采样 3 4 熟悉 滑动窗口的使用 3 目录 01 时间序列的基本操作 02 固定频率的时间序列 03 时间周期及计算 04 重采样 05 数据统计—滑动窗口 06 时序模型—ARIMA 4 1.时间序列的基本操作 01 时间序列的基本操作 02 固定频率的时间序列 03 时间周期及计算 04 重采样 05 数据统计—滑动窗口 06 时序模型—ARIMA 5 问题 思考: 什么是时间序列? 6 时间序列的概念 时间序列是指多个时间点上形成的数值序列,它既可 以是定期出现的,也可以是不定期出现的。 7 时间序列的数据种类 时间序列的数据种类 时间序列的数据主要有以下几种: 时间戳 表示特定的时刻 ,比如现在 时期 比如2018年或者 2018年10月 时间间隔 由起始时间戳和 结束时间戳表示 8 创建时间序列 Pandas中,时间戳使用Timestamp(Series派生的子 类)对象表示。 该对象与datetime具有高度的兼容性,可以直接通过 to_datetime()函数将datetime转换为TimeStamp对象。0 码力 | 67 页 | 1.30 MB | 1 年前3
时间序列预测时间序列预测 主讲人:龙良曲 Predict next Sample data Network Train Predict 下一课时 RNN训练难题 Thank You.0 码力 | 9 页 | 572.18 KB | 1 年前3
时间序列表示时间序列表示 主讲人:龙良曲 Spatial Signals Temporal Signals? Sequence http://slazebni.cs.illinois.edu/spring17/lec02_rnn.pdf Sequence representation ▪ [seq_len, feature_len] [100, 1] [28, 28] [words, word_vec]0 码力 | 14 页 | 1.16 MB | 1 年前3
杨赛赛-基于深度学习的多维时间序列预测在数据机房中的应用PYCON CHINA 基于深度学习的多维时间序列 预测在数据机房中的应用 目 录 1 背景介绍 2 研究目标 3 研究内容 4 后续工作 1. 背景介绍 数据机房面临的能耗问题 数据机房面临电量消耗巨大的问题 空调是数据机房中电量消耗最大的设备 空调为什么那么耗电?怎么优化节能? 低效的 冷却装 置 服务主 机工作 发热 影响空 调耗电 量原因 建筑材料 隔热和散 节能调节 3. 研究内容 ⚫ 时间序列预测方法的比较 传统时间序列预测 ⚫ 对单个维度历史信息进行 预测 ⚫ 捕获简单线性关系,模型 简单 ⚫ 代表算法有AR, ARIMA 基于深度学习的 时间序列预测 ⚫ 利用多维时间序列之间的 信息 ⚫ 对变周期序列,多维空间 依赖序列预测较弱 ⚫ 代表算法有RNN,LSTM 混合多维时间序列预测 ⚫ 提取多维序列之间更加复杂 的关系 ⚫ 提取维度之间空间依赖关系, 提取维度之间空间依赖关系, 长短期依赖关系 ⚫ 算法有LSTNet,TPA-LSTM 多维时间序列预测方法解决机房温度预测 对数据包含的信息提取能力越来越强 选择 LSTNet 作为温度预测建模算法 ⚫ Convolutional Layer 捕捉时间维度上的短期依赖和维度之间的空间依赖关系 ⚫ Recurrent and Recurrent-skip layer 捕捉长期宏观依赖和周期性信息0 码力 | 17 页 | 2.49 MB | 1 年前3
Pod 容忍节点异常时间调整Pod 容忍节点异常时间调整 容忍节点异常时间调整 1. 原理说明 原理说明 Kubernetes 集群节点处于异常状态之后需要有⼀个等待时间,才会对节点上的 Pod 进⾏驱逐。那么针对部分关键业务,是否可以调整这个时间,便于在节点发⽣异常时及时将 Pod 驱逐 并在别的健康节点上重建? 要解决这个问题,我们⾸先要了解 Kubernetes 在节点异常时驱逐 Pod 的机制。 在 Kubernetes 参数,指定当节点出现异常(如 NotReady)时 Pod 还将在这个节点上运⾏多⻓的时间。 那么,节点发⽣异常到 Pod 被驱逐的时间,就取决于两个参数:1. 节点实际异常到被判断为不健康的时间;2. Pod 对节点不健康的容忍时间。 Kubernetes 集群中默认节点实际异常到被判断为不健康的时间为 40s,Pod 对节点 NotReady 的容忍时间为 5min,也就是说,节点实际异常 5min40s(340s)后,节点上的 调整节点被标记为不健康的时间 调整节点被标记为不健康的时间 ControllerManager 参数 --node-monitor-grace-period 控制了在将⼀个节点标记为不健康之前允许其⽆响应的时⻓上限,该参数默认值为 40s,且必须⽐ Kubelet 的 nodeStatusUpdateFrequency 参数(Kubelet 向主控节点汇报节点状态的时间间隔)⼤ N 倍; 这⾥0 码力 | 4 页 | 104.64 KB | 1 年前3
机器学习课程-温州大学-11深度学习-序列模型2023年05月 深度学习-序列模型 黄海广 副教授 2 03 长短期记忆(LSTM) 04 双向循环神经网络 本章目录 01 序列模型概述 02 循环神经网络(RNN) 05 深层循环神经网络 3 03 长短期记忆(LSTM) 04 双向循环神经网络 1.序列模型概述 01 序列模型概述 02 循环神经网络(RNN) 循环神经网络(RNN) 05 深层循环神经网络 4 1.序列模型概述 循环神经网络(RNN)之类的模型在语音识别、自然语言处理和 其他领域中引起变革。 5 数学符号 在这里?<1>表示Harry这个单词,它就是一个第 4075行是1,其余值都是0的向量(上图编号1所示 ),因为那是Harry在这个词典里的位置。 ?<2>是第6830行是1,其余位置都是0的向量(上 图编号2所示)。 基于语言模型(LM),故可以捕捉时序规则信息 它是如何实现的? 7 03 长短期记忆(LSTM) 04 双向循环神经网络 2.循环神经网络(RNN) 01 序列模型概述 02 循环神经网络(RNN) 05 深层循环神经网络 8 2.循环神经网络(RNN) ?<1> = ?1(????<0> + ????<1> + ??) ̰? <1>0 码力 | 29 页 | 1.68 MB | 1 年前3
Borsh 安全高效的二进制序列化第三届中国 Rust 开发者大会 安全高效的二进制序列化 Daniel Wang @ NEAR Borsh • 运行、编码效率 • 确定性 • 跨平台兼容性 二进制序列化的问题 Binary Object Representation Serializer for Hashing • 字节级别确定性 • 执行速度快 Borsh • 轻量级 • 每一个对象与其二进制表示之间都存在一个双射映射 中, borsh 并没有使用 serde • 全部逻辑原生实现 • 序列化、反序列化速度大幅领先其他解决方案 执行速度 执行速度 benchmark 执行速度 benchmark 执行速度 benchmark 执行速度 benchmark • 编译后的体积更小 • borsh 序列化后的二进制更精简 轻量级 序列化结果体积对比 Borsh 基本用法 Case Study NEAR NEAR 智能合约 Case Study Solana 智能合约 Case Study • non self-describing • 保证序列化后的二进制唯一性和确定性 • 主要序列化规则 Borsh 规范 • 整数采用低字节序( little endian) 存储 • 对于动态长度的集合,先用一个 u32 存储集合 size • 对于原本无序的集合(如 hashmap ),存储时使用0 码力 | 21 页 | 3.35 MB | 1 年前3
一次线上java 应用响应时间过长问题的排查链滴 一次线上 java 应用响应时间过长问题的排查 作者:xinzhongtianxia 原文链接:https://ld246.com/article/1569574881351 来源网站:链滴 许可协议:署名-相同方式共享 4.0 国际 (CC BY-SA 4.0)最近接手一个老 java 应用,没多久接到响应时间太长的报警,整个排查过程还是挺有意思的, 录一下。
整个过程中,设计到 cpu,内存,垃圾回收,引用,spring, 单例 等等知识,整个下来,心情愉悦。< p>接到报警
吃完晚饭回来,接到报警短信,服务响应时间太长,达到 2s 以上。
第一反应,怎么可能,这个应用很简单,就提供了几个查询接口,QPS 满的状态。
即使是 CMS,也不能避免传说中的 stop the world,所以响应时间变长了。
但是,现在问题来了,Full GC 回收不掉的对象都是啥啥啥?分析 java 堆内存
先把线上流量从这台机器切走,然后 dump,分析后发现,一共 160 多万个 PoolHttpConnecti nManager 对象占领了绝大多数内存。
0 码力 | 3 页 | 247.74 KB | 1 年前3
Rust API可靠性分析与验证Conf 2021 – 2022, Online, China 姜剑峰 Rust API可靠性分析与验证 Rust China Conf 2021 – 2022, Online, China 主题内容 • Rust第三方库API可靠性现状 • 现用方法的局限性 • 基于程序合成+模糊测试的可靠性分析方法 Rust China Conf 2021 – 2022, Online, China 本(2019)硕(2022)毕业于复旦大学 • 目前在蚂蚁集团安全计算部门开发应用于机密计算的Rust系统软件 • 研究生期间主要从事Rust测试与验证工具的研究,本人所在的是国内最早 开展Rust程序分析相关研究的实验室(https://artisan-lab.github.io) • 我们关于Rust库模糊测试的论文 RULF: Rust Library Fuzzing via API Dependency China Conf 2021 – 2022, Online, China 现有的可靠性分析方法及其局限性 模糊测试(afl.rs, libfuzzer):分支覆盖率;用例程序的构造 符号执行(klee, angr):路径爆炸;求解困难 静态分析(MirChecker, Rudra, SafeDrop):分析特定问题;假阳性 形式化验证(RustBelt):无法方便的验证第三方库 其他工具(Miri等)…0 码力 | 13 页 | 1.68 MB | 1 年前3
DataEase 嵌入式分析 2024年3月2024 年 3 月 DataEase 嵌入式分析 DataEase 可以帮助用户快速分析业务数据并洞察其趋势,从而实现业 务的改进与优化。DataEase 支持丰富的数据源连接,能够通过拖拉 拽的方式快速制作图表,并且可以方便地与他人进行分享。 人 人 可 用 的 开源数据可视化分析工具 什么是 DataEase ? DataEase v2 的不同版本对比 版本类型 社区版 嵌入式版 嵌入式版 企业版 目标群体 任何用户 ISV / 系统集成商 最终客户 产品功能 社区版功能 社区版功能 + X-Pack 部分功能 (含嵌入式分析能力) 注:单数据集限制 10 万行数据。 社区版功能 + X-Pack 所有功能 (含嵌入式分析能力) 注:数据集无行数限制。 销售方式 社区分发 免费使用 线上销售 / 线下推广 标准化合同模板 线下推广 线下商务流程 授权方式 原厂企业级技术支持服务 (基础级,5×8;增强级,7×24) 1 2 嵌入式分析可以给 ISV 带来哪些价值? 3 DataEase 嵌入式分析的方案 4 DataEase 嵌入式分析的优势 在线体验 & 嵌入流程介绍 什么是嵌入式分析 ? 嵌入式分析是可以嵌入在商业应用程序中,为应用软件提供或者增强分析功能的专业 BI 软件。 Embedding analytics and data0 码力 | 29 页 | 7.29 MB | 1 年前3
共 1000 条
- 1
- 2
- 3
- 4
- 5
- 6
- 100













