开源AIOps数据中台搭建与 Python的作⽤用 丁来强 关于我 • ⼯工作10+年年，熟悉⼤大数据分析、ITOps、SecOps等领域 • 阿⾥里里云⽇日志服务上海海负责⼈人，之前在Splunk上海海 • ⾃自从2015年年，在4届PyCon上，累计分享7+不不同议题 • 云栖⼤大会或社区累计分享13+个⼤大数据系统或Python相关议题 往届视频与PPT ⽇日志服务钉钉群 架构演变：SaaS、多云、容器器、微服务等 • 数据孤岛越来越多：⼤大数据的3V（容量量、变化、种类） • 成本越来越⾼高： • 业务中断成本 • 缺少持续改进（运维⼈人员⼤大部分时间忙于救⽕火） • ⼈人员学习速度跟不不上业务增⻓长和问题出现的速度 基本概念 • AIOps = Artificial Intelligence for IT Operations • 组合⼤大数据 + 机器器学习 + 分析来帮助IT运维： 分析来帮助IT运维： • 发现、预测、修复问题 ⼤大数据 机器器学习 分析 Garner：AIOps对IT运维的改进 ⼤大数据促进平台融合 • 采集各种数据（以下各种⻆角⾊色都关⼼心）： • IT运维⼈人员、开发⼈人员、数据⼯工程师、 • 安全运维、合规审计⼈人员、商务分析师 • Garner预测未来5年年： • AIOps会从功能演变成平台并落地 • 到2022年年，40%企业会使⽤用AIOps

项目组成 •IoT 项目组成 • 云 即云端，它负责真实世界数 据的存储、展示、分析，是物 联网的最上层，它是中枢和大 脑，也是连接人和物的纽带； • 管 即管道，它是物联网的网络 核心，一切数据和指令均靠管 道来传输，它是物联网的中间 层； • 端 即终端，它负责真实世界的 感知和控制，是物联网的最底 层。 典型 IoT 项目剖析 •典型 IoT 项目剖析 – 常用网络结构 共享单车： 智能家居系统 – 技术栈 • 单片机程序开发 • 使用多种硬件接口 • 驱动各种外设 • 嵌入式Linux软件开发 • 使用多种硬件接口 • 驱动各种外设 • 数据库存储 • 网络通信 • Web程序开发 • 数据存储 • 数据可视化 Python 各个击破 IoT 技术栈 • MicroPython 开发 IoT 终端 • Python 开发 IoT 网关 • Python 开发 IoT 网关 • 构建Python环境：很多IC厂商的BSP已经对 Python有了很好的支持，若没有则自主移植 • 支持多种硬件接口： pyserail等，如果没有 通过C语言开发 • 支持多种数据库：sqlite、mysql…. • 支持多种网络库：requests、hbmqtt…. • 性能敏感的模块采用C/C++编写库，供 Python应用程序调用 •Python 各个击破 IoT

11 1.12 1.13 1.14 1.15 目录 简介 前言 第 1 章：准备工作 第 2 章：Hello, Flask! 第 3 章：模板 第 4 章：静态文件 第 5 章：数据库 第 6 章：模板优化 第 7 章：表单 第 8 章：用户认证 第 9 章：测试 第 10 章：组织你的代码 第 11 章：部署上线 小挑战 后记 2 Flask 入门教程 这是一本 Team 成员。你可以在我 的个人主页了解更多关于我的信息。 目录 前言 第 1 章：准备工作 第 2 章：Hello, Flask! 第 3 章：模板 第 4 章：静态文件 第 5 章：数据库 第 6 章：模板优化 第 7 章：表单 第 8 章：用户认证 第 9 章：测试 第 10 章：组织你的代码 第 11 章：部署上线 小挑战 后记 版权信息 书名：Flask 入门教程 ls、cat、nano、ssh 等，这些命令我们在后面会用到。 使用 Git Git 是一个流行的版本控制工具，我们可以用它来记录程序源码和文件的变动情 况，或是在编程时进行多人协作，你可以把它看做一个优雅的代码变动备份工具。 如果你还不熟悉 Git 也没关系，可以先按照书中的命令去做，有时间再去了解原 理。现在要做的第一件事就是在你的电脑上安装 Git （可以执行 git --help 命 令检查是否已

............................................................................................. 32 数据类型和变量 ............................................................................................. .......................................................................................... 376 访问数据库 ................................................................................................. 但是，对于初学者和完成普通任务，Python 语言是非常简单易用的。连 Google 都在大规模使用 Python，你就不用担心学了会没用。 用 Python 可以做什么？可以做日常任务，比如自动备份你的 MP3；可 以做网站，很多著名的网站包括 YouTube 就是 Python 写的；可以做网 络游戏的后台，很多在线游戏的后台都是 Python 开发的。总之就是能 干很多很多事啦。

文本自动换行与填充 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150 6.5 unicodedata --- Unicode 数据库 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153 6.6 stringprep --- 因特网字符串预处理 用于 GNU readline 的补全函数 . . . . . . . . . . . . . . . . . . . . . . . . . 160 7 二进制数据服务 163 7.1 struct --- 将字节串解读为打包的二进制数据 . . . . . . . . . . . . . . . . . . . . . . . . . . 163 7.1.1 函数和异常 . . . . . . . . . . . 184 7.2.7 encodings.utf_8_sig --- 带 BOM 签名的 UTF-8 编解码器 . . . . . . . . . . . . . 184 8 数据类型 185 8.1 datetime --- 基本日期和时间类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185

文本自动换行与填充 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150 6.5 unicodedata --- Unicode 数据库 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153 6.6 stringprep --- 因特网字符串预处理 用于 GNU readline 的补全函数 . . . . . . . . . . . . . . . . . . . . . . . . . 160 7 二进制数据服务 163 7.1 struct --- 将字节串解读为打包的二进制数据 . . . . . . . . . . . . . . . . . . . . . . . . . . 163 7.1.1 函数和异常 . . . . . . . . . . . 184 7.2.7 encodings.utf_8_sig --- 带 BOM 签名的 UTF-8 编解码器 . . . . . . . . . . . . . 184 8 数据类型 185 8.1 datetime --- 基本日期和时间类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159 ii 6.5 unicodedata --- Unicode 数据库 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162 6.6 stringprep --- 因特网字符串预备 readline 的补全函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170 7 二进制数据服务 171 7.1 struct --- 将字节串解读为打包的二进制数据 . . . . . . . . . . . . . . . . . . . . . . . . . . . 171 7.1.1 函数和异常 . . . . . . . . 195 7.2.7 encodings.utf_8_sig --- 带 BOM 签名的 UTF-8 编解码器 . . . . . . . . . . . . . . 195 8 数据类型 197 8.1 datetime --- 基本日期和时间类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

文本自动换行与填充 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148 6.5 unicodedata --- Unicode 数据库 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151 6.6 stringprep --- 因特网字符串预备 GNU readline 的补全函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . 158 7 二进制数据服务 161 7.1 struct --- 将字节串解读为打包的二进制数据 . . . . . . . . . . . . . . . . . . . . . . . . . 161 7.1.1 函数和异常 . . . . . . . . . . . . 183 7.2.7 encodings.utf_8_sig --- 带 BOM 签名的 UTF-8 编解码器 . . . . . . . . . . . . 183 8 数据类型 185 8.1 datetime --- 基本日期和时间类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185

文本自动换行与填充 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154 6.5 unicodedata --- Unicode 数据库 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158 6.6 stringprep --- 因特网字符串预处理 用于 GNU readline 的补全函数 . . . . . . . . . . . . . . . . . . . . . . . . . 165 7 二进制数据服务 167 7.1 struct --- 将字节串解读为打包的二进制数据 . . . . . . . . . . . . . . . . . . . . . . . . . . 167 7.1.1 函数和异常 . . . . . . . . . . . 188 7.2.7 encodings.utf_8_sig --- 带 BOM 签名的 UTF-8 编解码器 . . . . . . . . . . . . . 189 8 数据类型 191 8.1 datetime --- 基本日期和时间类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191

文本自动换行与填充 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153 6.5 unicodedata --- Unicode 数据库 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157 6.6 stringprep --- 因特网字符串预处理 用于 GNU readline 的补全函数 . . . . . . . . . . . . . . . . . . . . . . . . . 164 7 二进制数据服务 165 7.1 struct --- 将字节串解读为打包的二进制数据 . . . . . . . . . . . . . . . . . . . . . . . . . . 165 7.1.1 函数和异常 . . . . . . . . . . . 186 7.2.7 encodings.utf_8_sig --- 带 BOM 签名的 UTF-8 编解码器 . . . . . . . . . . . . . 187 8 数据类型 189 8.1 datetime --- 基本日期和时间类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189