开源AIOps数据中台搭建与 Python的作⽤用 丁来强 关于我 • ⼯工作10+年年，熟悉⼤大数据分析、ITOps、SecOps等领域 • 阿⾥里里云⽇日志服务上海海负责⼈人，之前在Splunk上海海 • ⾃自从2015年年，在4届PyCon上，累计分享7+不不同议题 • 云栖⼤大会或社区累计分享13+个⼤大数据系统或Python相关议题 往届视频与PPT ⽇日志服务钉钉群 根据Gartner的报告，AIOps将在未来5-10年年落地开花，并集中统⼀一 各种Ops平台 IT运维的⽬目标/KPI 1 2 3 IT运维的挑战 • 复杂度越来越⾼高： • 架构演变：SaaS、多云、容器器、微服务等 • 数据孤岛越来越多：⼤大数据的3V（容量量、变化、种类） • 成本越来越⾼高： • 业务中断成本 • 缺少持续改进（运维⼈人员⼤大部分时间忙于救⽕火） • ⼈人员学习速度跟不不上业务增⻓长和问题出现的速度 Intelligence for IT Operations • 组合⼤大数据 + 机器器学习 + 分析来帮助IT运维： • 发现、预测、修复问题 ⼤大数据 机器器学习 分析 Garner：AIOps对IT运维的改进 ⼤大数据促进平台融合 • 采集各种数据（以下各种⻆角⾊色都关⼼心）： • IT运维⼈人员、开发⼈人员、数据⼯工程师、 • 安全运维、合规审计⼈人员、商务分析师 • Garner预测未来5年年：

安富利电子科技 2019年10月20日，深圳 2 Ø Python 语言：易学易读易用、可扩展性、可移植性等。 Ø Python 开发工具：库丰富、效率高、调试方便 Ø Python 的应用： 人工智能、数据分析等 Ø Python 的生态环境：软件平台、硬件平台、方案合作伙伴 等 Ø 用 Python 如何开发嵌入式产品？如何实现 算法硬件加速？ Ø 之前基于python开发的工程师很少接触嵌入式环境， 目前Xilinx 工具支持python 的主要应用领域 Python 工程师关心的问题 3 Python 工程师开发嵌入式产品的时候哪些地方可能会遇到性能瓶颈？ Ø 传统的计算平台：基于通用处理器的架构，Intel x86 Ø 新的嵌入式计算平台：MCU，DSP，FPGA，GPU、ASSP等 Ø 嵌入式计算： Ø 嵌入式系统是以应用为中心，以计算机技术为基础，软硬件可裁剪，适用于应用系统对功能、可靠 数字电路的语言，常用 的主要有VHDL、Verilog HDL Ø 信号处理：数据可以并行处理 Ø 主要实现功能： Ø 组合逻辑 -》计数器 -》算法实现 -》SOC 设计 Ø 新一代FPGA器件：高速接口、ARM SOC、多个 IP 硬核、大容量存储器等 Ø 新一代PCIE加速卡：人工智能、金融计算、数据库、高性能计算、视频转码等。 Ø 主要应用： Ø 通信设备：路由器、交换机、5G 设备

安富利电子科技 2019年9月21日， 上海 2 Ø Python 语言：易学易读易用、可扩展性、可移植性等。 Ø Python 开发工具：库丰富、效率高、调试方便 Ø Python 的应用： 人工智能、数据分析等 Ø Python 的生态环境：软件平台、硬件平台、方案合作伙伴等 Ø 用 Python 如何开发嵌入式产品？如何实现 算法硬件加速？ Ø 之前基于python开发的工程师很少接触嵌入式环境， 目前Xilinx 工具支持python 的主要应用领域 Python 工程师关心的问题 3 Python 工程师开发嵌入式产品的时候哪些地方可能会遇到性能瓶颈？ Ø 传统的计算平台：基于通用处理器的架构，Intel x86 Ø 新的嵌入式计算平台：MCU，DSP，FPGA，GPU、ASSP等 Ø 嵌入式计算： Ø 嵌入式系统是以应用为中心，以计算机技术为基础，软硬件可裁剪，适用于应用系统对功能、可靠 数字电路的语言，常用 的主要有VHDL、Verilog HDL Ø 信号处理：数据可以并行处理 Ø 主要实现功能： Ø 组合逻辑 -》计数器 -》算法实现 -》SOC 设计 Ø 新一代FPGA器件：高速接口、ARM SOC、多个 IP 硬核、大容量存储器等 Ø 新一代PCIE加速卡：人工智能、金融计算、数据库、高性能计算、视频转码等。 Ø 主要应用： Ø 通信设备：路由器、交换机、5G 设备

安富利电子科技 2019年10月19日，北京 2 ➢ Python 语言：易学易读易用、可扩展性、可移植性等。 ➢ Python 开发工具：库丰富、效率高、调试方便 ➢ Python 的应用： 人工智能、数据分析等 ➢ Python 的生态环境：软件平台、硬件平台、方案合作伙伴等 ➢ 用 Python 如何开发嵌入式产品？如何实现 算法硬件加速？ ➢ 之前基于python开发的工程师很少接触嵌入式环境， 目前Xilinx 工具支持python 的主要应用领域 Python 工程师关心的问题 3 Python 工程师开发嵌入式产品的时候哪些地方可能会遇到性能瓶颈？ ➢ 传统的计算平台：基于通用处理器的架构，Intel x86 ➢ 新的嵌入式计算平台：MCU，DSP，FPGA，GPU、ASSP等 ➢ 嵌入式计算： ➢ 嵌入式系统是以应用为中心，以计算机技术为基础，软硬件可裁剪，适用于应用系统对功能、可靠 数字电路的语言，常用 的主要有VHDL、Verilog HDL ➢ 信号处理：数据可以并行处理 ➢ 主要实现功能： ➢ 组合逻辑 -》计数器 -》算法实现 -》SOC 设计 ➢ 新一代FPGA器件：高速接口、ARM SOC、多个 IP 硬核、大容量存储器等 ➢ 新一代PCIE加速卡：人工智能、金融计算、数据库、高性能计算、视频转码等。 ➢ 主要应用： ➢ 通信设备：路由器、交换机、5G 设备

项目组成 •IoT 项目组成 • 云 即云端，它负责真实世界数 据的存储、展示、分析，是物 联网的最上层，它是中枢和大 脑，也是连接人和物的纽带； • 管 即管道，它是物联网的网络 核心，一切数据和指令均靠管 道来传输，它是物联网的中间 层； • 端 即终端，它负责真实世界的 感知和控制，是物联网的最底 层。 典型 IoT 项目剖析 •典型 IoT 项目剖析 – 常用网络结构 共享单车： 智能家居系统 – 技术栈 • 单片机程序开发 • 使用多种硬件接口 • 驱动各种外设 • 嵌入式Linux软件开发 • 使用多种硬件接口 • 驱动各种外设 • 数据库存储 • 网络通信 • Web程序开发 • 数据存储 • 数据可视化 Python 各个击破 IoT 技术栈 • MicroPython 开发 IoT 终端 • Python 开发 IoT 网关 • Python 开发 IoT 网关 • 构建Python环境：很多IC厂商的BSP已经对 Python有了很好的支持，若没有则自主移植 • 支持多种硬件接口： pyserail等，如果没有 通过C语言开发 • 支持多种数据库：sqlite、mysql…. • 支持多种网络库：requests、hbmqtt…. • 性能敏感的模块采用C/C++编写库，供 Python应用程序调用 •Python 各个击破 IoT

............................................................................................. 32 数据类型和变量 ............................................................................................. .......................................................................................... 376 访问数据库 ................................................................................................. 3D 游戏，最好用 C 或 C++。 如果你是小白用户，满足以下条件：  会使用电脑，但从来没写过程序；  还记得初中数学学的方程式和一点点代数知识；  想从编程小白变成专业的软件架构师；  每天能抽出半个小时学习。 不要再犹豫了，这个教程就是为你准备的！ 准备好了吗？ Python3 基础教程【完整版】 http://www.yeayee.com/ 7/531

Python与云 ——AWS的Python原生应用浅析 张孝峰 亚马逊AWS资深解决方案架构师 Python 30周年 Python发展时间线 2019/10 v3.8 v2.7.17 开始实现 1989/12 v0.9.0 1991/2 v1.0.0 1994/1 v2.0 2000/10 v2.5 2006/9 v2.6 2008/10 v3.0 2008/12 机器学习 • 自动化运维 • 网络爬虫 • 大数据分析 48 82 160 280 516 722 1017 1430 1,957 2009 2011 2012 2013 2014 2015 2016 2017 2018 发布的功能和服务数量 AWS同样功能丰富 AWS向客户提供超过165项功能全面的服务 涵盖计算、存储、数据库、联网、分析、机器人、 机器学习与人工智能、物联网、移动、安全、混 这个样例模板，通过500多行JSON代码完整的描述了一个LAMP网站 包括私有网络架构，数据库，和根据业务量自动伸缩的能力 Infrastructure as Code Infrastructure is Code vs AWS Cloud Development Kit (CDK) 虚拟机 容器 无服务器 Serverless 数据库 缓存服务 Hadoop 容器编排 微服务 Fargate

辑便可改造为Web服务 支持整合到现有的Web服务，目前支持与Flask、Django、Tornado、aiohttp 框架集成 同时支持基于线程的执行模型和基于协程的执行模型 支持结合第三方库实现数据可视化 Install 稳定版安装: pip3 install -U pywebio 开发版安装: pip3 install -U https://code.aliyun.com/wan session — 会话相关 pywebio.platform — Web框架支持 Tornado相关 Flask相关 Django相关 aiohttp相关 其他 第三方库生态 数据可视化 示例Demos 基本demo 数据可视化demo 其他 常用的Codemirror选项 Nginx WebSocket配置示例 常见问题 Release notes What’s new in PyWebIO 输入组 PyWebIO支持输入组, 返回结果为一个字典。pywebio.input.input_group() 接 受单项输入组成的列表作为参数, 返回以单项输入函数中的 name 作为键、以输 入数据为值的字典: code = textarea('Code Edit', code={ 'mode': "python", # 编辑区代码语言 'theme': 'darcula',

辑便可改造为Web服务 支持整合到现有的Web服务，目前支持与Flask、Django、Tornado、aiohttp 框架集成 同时支持基于线程的执行模型和基于协程的执行模型 支持结合第三方库实现数据可视化 Installation 稳定版: pip3 install -U pywebio 开发版: pip3 install -U https://code.aliyun.com/wa pywebio.platform — 应用部署 Directory Deploy Application Deploy 其他 第三方库生态 构建stand-alone App 数据可视化 示例Demos 基本demo 数据可视化demo 其他 常用的Codemirror选项 Nginx WebSocket配置示例 常见问题 Release notes What’s new in PyWebIO to get more themes }, value='import something\n# Write your python code') 入数据为值的字典: 输入组中同样支持使用 validate 参数设置校验函数，其接受整个表单数据作 为参数: 注意 PyWebIO 根据是否在输入函数中传入 name 参数来判断输入函数是在 input_group 中还是被单独调用。所以当单独调用一个输入函数时

辑便可改造为Web服务 支持整合到现有的Web服务，目前支持与Flask、Django、Tornado、aiohttp 框架集成 同时支持基于线程的执行模型和基于协程的执行模型 支持结合第三方库实现数据可视化 Installation 稳定版: pip3 install -U pywebio 开发版: pip3 install -U https://code.aliyun.com/wa pywebio.platform — 应用部署 Directory Deploy Application Deploy 其他 第三方库生态 构建stand-alone App 数据可视化 示例Demos 基本demo 数据可视化demo 其他 常用的Codemirror选项 Nginx WebSocket配置示例 常见问题 Release notes What’s new in PyWebIO themes }, value='import something\n# Write your python code') 输入组中同样支持使用 validate 参数设置校验函数，其接受整个表单数据作 为参数: 注意 PyWebIO 根据是否在输入函数中传入 name 参数来判断输入函数是在 input_group 中还是被单独调用。所以当单独调用一个输入函数时, 不要 设置 name