时间序列预测 主讲人：龙良曲 Predict next Sample data Network Train Predict 下一课时 RNN训练难题 Thank You.

PYCON CHINA 基于深度学习的多维时间序列 预测在数据机房中的应用 目 录 1 背景介绍 2 研究目标 3 研究内容 4 后续工作 1. 背景介绍 数据机房面临的能耗问题 数据机房面临电量消耗巨大的问题 空调是数据机房中电量消耗最大的设备 空调为什么那么耗电？怎么优化节能？ 低效的 冷却装 置 服务主 机工作 发热 影响空 调耗电 量原因 建筑材料 隔热和散 制 2. 研究目标 对数据机房的温度进行预测 ⚫ 根据机房的历史运行数据变化预测未来 XX 分钟机房的温度值，从而实现空调的预测控制。 风机状态 服务负载 天气状况 室外温度 室外湿度 门禁状态 时序数据 温度预测 预测控制 节能调节 3. 研究内容 ⚫ 时间序列预测方法的比较 传统时间序列预测 ⚫ 对单个维度历史信息进行 预测 ⚫ 捕获简单线性关系，模型 简单 ⚫ 代表算法有AR， 代表算法有AR， ARIMA 基于深度学习的 时间序列预测 ⚫ 利用多维时间序列之间的 信息 ⚫ 对变周期序列，多维空间 依赖序列预测较弱 ⚫ 代表算法有RNN，LSTM 混合多维时间序列预测 ⚫ 提取多维序列之间更加复杂 的关系 ⚫ 提取维度之间空间依赖关系， 长短期依赖关系 ⚫ 算法有LSTNet，TPA-LSTM 多维时间序列预测方法解决机房温度预测 对数据包含的信息提取能力越来越强

1 2022年01月 时间序列总结 黄海广 副教授 2 学习目标 了解 什么是时间序 列，ARIMA 1 2 掌握 时间序列的基本 操作 掌握 时期，重采样 3 4 熟悉 滑动窗口的使用 3 目录 01 时间序列的基本操作 02 固定频率的时间序列 03 时间周期及计算 04 重采样 05 数据统计—滑动窗口 06 时序模型—ARIMA 4 1.时间序列的基本操作 01 时间序列的基本操作 02 固定频率的时间序列 03 时间周期及计算 04 重采样 05 数据统计—滑动窗口 06 时序模型—ARIMA 5 问题 思考： 什么是时间序列？ 6 时间序列的概念 时间序列是指多个时间点上形成的数值序列，它既可 以是定期出现的，也可以是不定期出现的。 7 时间序列的数据种类 时间序列的数据种类 时间序列的数据主要有以下几种： 时间戳 表示特定的时刻 ，比如现在 时期 比如2018年或者 2018年10月 时间间隔 由起始时间戳和 结束时间戳表示 8 创建时间序列 Pandas中，时间戳使用Timestamp（Series派生的子 类）对象表示。 该对象与datetime具有高度的兼容性，可以直接通过 to_datetime()函数将datetime转换为TimeStamp对象。

时间序列表示 主讲人：龙良曲 Spatial Signals Temporal Signals? Sequence http://slazebni.cs.illinois.edu/spring17/lec02_rnn.pdf Sequence representation ▪ [seq_len, feature_len] [100, 1] [28, 28] [words, word_vec]

2023年05月 深度学习-序列模型 黄海广 副教授 2 03 长短期记忆(LSTM) 04 双向循环神经网络 本章目录 01 序列模型概述 02 循环神经网络(RNN) 05 深层循环神经网络 3 03 长短期记忆(LSTM) 04 双向循环神经网络 1.序列模型概述 01 序列模型概述 02 循环神经网络(RNN) 循环神经网络(RNN) 05 深层循环神经网络 4 1.序列模型概述 循环神经网络（RNN）之类的模型在语音识别、自然语言处理和 其他领域中引起变革。 5 数学符号 在这里?<1>表示Harry这个单词，它就是一个第 4075行是1，其余值都是0的向量（上图编号1所示 ），因为那是Harry在这个词典里的位置。 ?<2>是第6830行是1，其余位置都是0的向量（上 图编号2所示）。  基于语言模型（LM），故可以捕捉时序规则信息  它是如何实现的？ 7 03 长短期记忆(LSTM) 04 双向循环神经网络 2.循环神经网络(RNN) 01 序列模型概述 02 循环神经网络(RNN) 05 深层循环神经网络 8 2.循环神经网络(RNN) ?<1> = ?1(????<0> + ????<1> + ??) ̰? <1>

第四部分 实战 TensorFlow 房价预测 扫描二维码 试看/购买《TensorFlow 快速入门与实战》视频课程 • 房价预测模型介绍 • 使用 TensorFlow 实现房价预测模型 • 使用 TensorBoard 可视化模型数据流图 • 实战 TensorFlow 房价预测 第四部分 目录 房价预测模型介绍 前置知识：监督学习（Supervised Learning） 前置知识：梯度下降 单变量房价预测问题 假设函数： 面积（平方英尺） 价格（美元） 2104 399900 1600 329900 2400 369000 1416 232000 3000 539900 1985 299900 1534 314900 1427 198999 1380 212000 1494 242500 训练数据： 多变量房价预测问题：数据分析 面积（平方英尺） 1380 3 212000 1494 3 242500 训练数据： 数据分布： 多变量房价预测问题：特征归一化 房屋面积和卧室数量这两个变量（特征）在数值上差了1000倍。在这种情况下，通常先进 行特征缩放（Scaling），再开始训练，可以加速模型收敛。 平均值 标准差 多变量房价预测问题 面积（平方英尺） 卧室数量（个） 价格（美元） 0.13001 -0.22368 0.475747

多算法无法涵盖，读者学习完本书后，可以自行搜索相关方向的研究论文或资料，进一步学 习。 深度学习是一个非常前沿和广袤的研究领域，鲜有人士能够对每一个研究方向都有深刻 的理解。作者自认才疏学浅，略懂皮毛，同时也限于时间和篇幅关系，难免出现理解偏差甚 至错缪之处，若能大方指出，作者将及时修正，不胜感激。 龙良曲 2021 年 10 月 19 日 预览版202112 声 明 得益于简洁优雅的设计理念，基于动态图的 第 6 章 神经网络 6.1 感知机 6.2 全连接层 6.3 神经网络 6.4 激活函数 6.5 输出层设计 6.6 误差计算 6.7 神经网络类型 6.8 油耗预测实战 6.9 参考文献 第 7 章 反向传播算法 7.1 导数与梯度 7.2 导数常见性质 7.3 激活函数导数 7.4 损失函数梯度 7.5 全连接层梯度 预览版202112 10.12 深度残差网络 10.13 DenseNet 10.14 CIFAR10 与 ResNet18 实战 10.15 参考文献 第 11 章 循环神经网络 11.1 序列表示方法 11.2 循环神经网络 11.3 梯度传播 11.4 RNN 层使用方法 11.5 RNN 情感分类问题实战 11.6 梯度弥散和梯度爆炸 11.7 RNN 短时记忆

信息论基础 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109 3.4.8 模型预测和评估 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110 3.5 图像分类数据集 . . 训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119 3.6.7 预测 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122 3.7 softmax回归的简洁实现 177 4.9.5 机器学习中的公平、责任和透明度 . . . . . . . . . . . . . . . . . . . . . . . . . . . 179 4.10 实战Kaggle比赛：预测房价 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180 4.10.1 下载和缓存数据集 . . .

引言：外卖配送的背后 2 引言：外卖订单调度系统要考虑的因素 3 订单相关 骑士相关 • 商户、用户位置 • 用户期望时间 • 预计出餐时间.. • 现有订单的配送路线 • 新增订单后配送路线的改变情况 • 历史取送餐速度 • 完成每个订单的预计时间 • 熟悉的区域 • 配送工具 • 装载情况.. 环境相关 • 当前配送的繁忙程度 • 天气情况.. 1 2 3 订单云端分组 整体最优分配 调度 系统 4.0 深度学习智能模式 • 出餐时间估算更准，缩短 骑士到店等待时间，节省 运力，提升用户等餐体验 出餐时间预估 深度学习智能 调度 系统 2.0 系统派单模式 • 系统综合考虑配送距离、 骑士运力、期望送达时间 等因素来自动派单 配送距离 期望送达时间 骑士运力 订单相似度 调度 系统 1.0 外卖订单智能调度要解决的核心问题 考虑用户期望时间的TSP问题 • 构建模型综合评估用户体验与配 送成本打分 • 采用动态规划和模拟退火算法等 算法，求得最优路线 1 8 时间预估 用户下单 开始配送 骑士到店 骑士取餐 到达用户 完成交付 商户接单 商户出餐 到店时间 出餐时间 送餐时间 交付时间 等餐时间 2 到达识别，交付时间计算 数据积累，异常数据剔除 网格建立，分时段统计 交付时间预估 取餐/送餐分别回归拟合

. . 12 3.1.5.4 基于 LSTM 的序列分类： . . . . . . . . . . . . . . . . . . . . . . . 13 3.1.5.5 基于 1D 卷积的序列分类： . . . . . . . . . . . . . . . . . . . . . . 14 3.1.5.6 基于栈式 LSTM 的序列分类 . . . . . . . . . . . . 编写你自己的 Keras 层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 6 数据预处理 118 6.1 序列预处理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118 6.1.1 TimeseriesGenerator 遵循减少认知困难的最佳实践：它提供一致且简单的 API，将常见用例所需的用户 操作数量降至最低，并且在用户错误时提供清晰和可操作的反馈。 • 模块化。模型被理解为由独立的、完全可配置的模块构成的序列或图。这些模块可以以尽 可能少的限制组装在一起。特别是神经网络层、损失函数、优化器、初始化方法、激活函 数、正则化方法，它们都是可以结合起来构建新模型的模块。 • 易扩展性。新的模块是很容易添