 1_丁来强_开源AIOps数据中台搭建与Python的作用根据Gartner的报告,AIOps将在未来5-10年年落地开花,并集中统⼀一 各种Ops平台 IT运维的⽬目标/KPI 1 2 3 IT运维的挑战 • 复杂度越来越⾼高: • 架构演变:SaaS、多云、容器器、微服务等 • 数据孤岛越来越多:⼤大数据的3V(容量量、变化、种类) • 成本越来越⾼高: • 业务中断成本 • 缺少持续改进(运维⼈人员⼤大部分时间忙于救⽕火) • ⼈人员 AIOps系统(常规层次) AIOps系统架构 • 场景应⽤用 • 智能监测系统 • ⾃自动化系统 • ⼯工单知识库 • 数据湖 • 监控⽣生态系统 • 数据源 数据的摄取挑战 • 各种来源: • SaaS、多云、容器器、微服务、主机、应⽤用等 • 各种数据样式: • Log、Tracking、Event;Metrics、IoT data;⽹网络数据; • 用 • ⽇日志类数据⽅方案 • 指标类时序数据⽅方案 • 其他OLAP选择 • AI增强⽅方案 数据源与监控 - 容器器化架构为例例 物理理主机/VM层监控 容器器POD指标监控 容器器CaaS层资源监控 应⽤用层性能监控 应⽤用层 ⽇日志 指标监控 prometheus + grafana + thanos elastic stack, TICK stack, Open0 码力 | 48 页 | 17.54 MB | 1 年前3 1_丁来强_开源AIOps数据中台搭建与Python的作用根据Gartner的报告,AIOps将在未来5-10年年落地开花,并集中统⼀一 各种Ops平台 IT运维的⽬目标/KPI 1 2 3 IT运维的挑战 • 复杂度越来越⾼高: • 架构演变:SaaS、多云、容器器、微服务等 • 数据孤岛越来越多:⼤大数据的3V(容量量、变化、种类) • 成本越来越⾼高: • 业务中断成本 • 缺少持续改进(运维⼈人员⼤大部分时间忙于救⽕火) • ⼈人员 AIOps系统(常规层次) AIOps系统架构 • 场景应⽤用 • 智能监测系统 • ⾃自动化系统 • ⼯工单知识库 • 数据湖 • 监控⽣生态系统 • 数据源 数据的摄取挑战 • 各种来源: • SaaS、多云、容器器、微服务、主机、应⽤用等 • 各种数据样式: • Log、Tracking、Event;Metrics、IoT data;⽹网络数据; • 用 • ⽇日志类数据⽅方案 • 指标类时序数据⽅方案 • 其他OLAP选择 • AI增强⽅方案 数据源与监控 - 容器器化架构为例例 物理理主机/VM层监控 容器器POD指标监控 容器器CaaS层资源监控 应⽤用层性能监控 应⽤用层 ⽇日志 指标监控 prometheus + grafana + thanos elastic stack, TICK stack, Open0 码力 | 48 页 | 17.54 MB | 1 年前3
 03 小罗 python与devops 过程包含,代码构建打包、测试、部署、发布、监控、回滚等等一个 项目的闭环、快速构建以上过程。 构建Devops常用软件技术栈 •代码管理(SCM):GitHub、GitLab、SubVersion •构建工具:Ant、maven •自动部署:ansible、saltstack、puppet •持续集成(CI):Jenkins •配置管理:Ansible、Chef、Puppet、SaltStack •容器:Docker、kvm che Mesos、swarm •服务注册与发现:Zookeeper、etcd、Consul •脚本语言:python、ruby、shell •日志管理:ELK、Logentries •系统监控:zabbix、prometheus 前东家关于Devops的一些实践 Devops传统方式下构建示例 Devops发布流程需要考虑几个问题 1、发布什么应用,发布到哪里(CMDB) 2、发布人员是否有权限(RBAC) via ssh: ssh: connect to host 1.1.1.1 port 22: Connection timed out\r\n', 'unreachable': True}}} 监控系统二次开发 Zabbix api 二次开发 https://blog.51cto.com/xiaoluoge/1827151 #coding:utf-8 import time from zabbix_client0 码力 | 22 页 | 1.64 MB | 1 年前3 03 小罗 python与devops 过程包含,代码构建打包、测试、部署、发布、监控、回滚等等一个 项目的闭环、快速构建以上过程。 构建Devops常用软件技术栈 •代码管理(SCM):GitHub、GitLab、SubVersion •构建工具:Ant、maven •自动部署:ansible、saltstack、puppet •持续集成(CI):Jenkins •配置管理:Ansible、Chef、Puppet、SaltStack •容器:Docker、kvm che Mesos、swarm •服务注册与发现:Zookeeper、etcd、Consul •脚本语言:python、ruby、shell •日志管理:ELK、Logentries •系统监控:zabbix、prometheus 前东家关于Devops的一些实践 Devops传统方式下构建示例 Devops发布流程需要考虑几个问题 1、发布什么应用,发布到哪里(CMDB) 2、发布人员是否有权限(RBAC) via ssh: ssh: connect to host 1.1.1.1 port 22: Connection timed out\r\n', 'unreachable': True}}} 监控系统二次开发 Zabbix api 二次开发 https://blog.51cto.com/xiaoluoge/1827151 #coding:utf-8 import time from zabbix_client0 码力 | 22 页 | 1.64 MB | 1 年前3
 Python3 基础教程 - 廖雪峰打开 Mac OS X 的 Activity Monitor,或者 Windows 的 Task Manager,都 可以监控某个进程的 CPU 使用率。 我们可以监控到一个死循环线程会 100%占用一个 CPU。 如果有两个死循环线程,在多核 CPU 中,可以监控到会占用 200%的 CPU,也就是占用两个 CPU 核心。 要想把 N 核 CPU 的核心全部跑满,就必须启动 N 个死循环线程。 cpu_count()): t = threading.Thread(target=loop) t.start() 启动与 CPU 核心数量相同的 N 个线程,在 4 核 CPU 上可以监控到 CPU 占用率仅有 102%,也就是仅使用了一核。 但是用 C、C++或 Java 来改写相同的死循环,直接可以把全部核心跑满, 4 核就跑到 400%,8 核就跑到 800%,为什么 Python com/login.html') as f: pass 小结 urllib 提供的功能就是利用程序去执行各种 HTTP 请求。如果要模拟浏 览器完成特定功能,需要把请求伪装成浏览器。伪装的方法是先监控浏 Python3 基础教程【完整版】 http://www.yeayee.com/ 339/531 览器发出的请求,再根据浏览器的请求头来伪装,User-Agent 头就是用 来标识浏览器的。0 码力 | 531 页 | 5.15 MB | 1 年前3 Python3 基础教程 - 廖雪峰打开 Mac OS X 的 Activity Monitor,或者 Windows 的 Task Manager,都 可以监控某个进程的 CPU 使用率。 我们可以监控到一个死循环线程会 100%占用一个 CPU。 如果有两个死循环线程,在多核 CPU 中,可以监控到会占用 200%的 CPU,也就是占用两个 CPU 核心。 要想把 N 核 CPU 的核心全部跑满,就必须启动 N 个死循环线程。 cpu_count()): t = threading.Thread(target=loop) t.start() 启动与 CPU 核心数量相同的 N 个线程,在 4 核 CPU 上可以监控到 CPU 占用率仅有 102%,也就是仅使用了一核。 但是用 C、C++或 Java 来改写相同的死循环,直接可以把全部核心跑满, 4 核就跑到 400%,8 核就跑到 800%,为什么 Python com/login.html') as f: pass 小结 urllib 提供的功能就是利用程序去执行各种 HTTP 请求。如果要模拟浏 览器完成特定功能,需要把请求伪装成浏览器。伪装的方法是先监控浏 Python3 基础教程【完整版】 http://www.yeayee.com/ 339/531 览器发出的请求,再根据浏览器的请求头来伪装,User-Agent 头就是用 来标识浏览器的。0 码力 | 531 页 | 5.15 MB | 1 年前3
 Python 标准库参考指南 3.13 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236 8.4 collections --- 容器数据类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237 8.4.1 ChainMap 对象 . . . . . . . . . . . . . . . . . 253 8.5 collections.abc --- 容器的抽象基类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 254 8.5.1 容器抽象基类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 对象是一个字典类。参见dict 和映射类型 --- dict 了解这个类。 12 Chapter 2. 内置函数 The Python Library Reference, 发行版本 3.13.0 其他容器类型,请参见内置的list、set 和tuple 类,以及collections 模块。 dir() dir(object) 如果没有实参,则返回当前本地作用域中的名称列表。如果有实参,它会尝试返回该对象的有效属0 码力 | 2246 页 | 11.74 MB | 9 月前3 Python 标准库参考指南 3.13 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236 8.4 collections --- 容器数据类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237 8.4.1 ChainMap 对象 . . . . . . . . . . . . . . . . . 253 8.5 collections.abc --- 容器的抽象基类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 254 8.5.1 容器抽象基类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 对象是一个字典类。参见dict 和映射类型 --- dict 了解这个类。 12 Chapter 2. 内置函数 The Python Library Reference, 发行版本 3.13.0 其他容器类型,请参见内置的list、set 和tuple 类,以及collections 模块。 dir() dir(object) 如果没有实参,则返回当前本地作用域中的名称列表。如果有实参,它会尝试返回该对象的有效属0 码力 | 2246 页 | 11.74 MB | 9 月前3
 Python 标准库参考指南 3.13 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234 8.4 collections --- 容器数据类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235 8.4.1 ChainMap 对象 . . . . . . . . . . . . . . . . . 251 8.5 collections.abc --- 容器的抽象基类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252 8.5.1 容器抽象基类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 对象是一个字典类。参见dict 和映射类型 --- dict 了解这个类。 12 Chapter 2. 内置函数 The Python Library Reference, 发行版本 3.13.0 其他容器类型,请参见内置的list、set 和tuple 类,以及collections 模块。 dir() dir(object) 如果没有实参,则返回当前本地作用域中的名称列表。如果有实参,它会尝试返回该对象的有效属0 码力 | 2242 页 | 11.73 MB | 9 月前3 Python 标准库参考指南 3.13 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234 8.4 collections --- 容器数据类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235 8.4.1 ChainMap 对象 . . . . . . . . . . . . . . . . . 251 8.5 collections.abc --- 容器的抽象基类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252 8.5.1 容器抽象基类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 对象是一个字典类。参见dict 和映射类型 --- dict 了解这个类。 12 Chapter 2. 内置函数 The Python Library Reference, 发行版本 3.13.0 其他容器类型,请参见内置的list、set 和tuple 类,以及collections 模块。 dir() dir(object) 如果没有实参,则返回当前本地作用域中的名称列表。如果有实参,它会尝试返回该对象的有效属0 码力 | 2242 页 | 11.73 MB | 9 月前3
 Python 标准库参考指南 3.12 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230 8.4 collections --- 容器数据类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231 8.4.1 ChainMap 对象 . . . . . . . . . . . . . . . . . 247 8.5 collections.abc --- 容器的抽象基类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247 8.5.1 容器抽象基类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . dict(mapping, **kwarg) class dict(iterable, **kwarg) 创建一个新的字典。dict 对象是一个字典类。参见dict 和映射类型 --- dict 了解这个类。 其他容器类型,请参见内置的list、set 和tuple 类,以及collections 模块。 10 Chapter 2. 内置函数 The Python Library Reference, 发行版本0 码力 | 2253 页 | 11.81 MB | 9 月前3 Python 标准库参考指南 3.12 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230 8.4 collections --- 容器数据类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231 8.4.1 ChainMap 对象 . . . . . . . . . . . . . . . . . 247 8.5 collections.abc --- 容器的抽象基类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247 8.5.1 容器抽象基类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . dict(mapping, **kwarg) class dict(iterable, **kwarg) 创建一个新的字典。dict 对象是一个字典类。参见dict 和映射类型 --- dict 了解这个类。 其他容器类型,请参见内置的list、set 和tuple 类,以及collections 模块。 10 Chapter 2. 内置函数 The Python Library Reference, 发行版本0 码力 | 2253 页 | 11.81 MB | 9 月前3
 Python 标准库参考指南 3.12 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230 8.4 collections --- 容器数据类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231 8.4.1 ChainMap 对象 . . . . . . . . . . . . . . . . . 247 8.5 collections.abc --- 容器的抽象基类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247 8.5.1 容器抽象基类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . dict(mapping, **kwarg) class dict(iterable, **kwarg) 创建一个新的字典。dict 对象是一个字典类。参见dict 和映射类型 --- dict 了解这个类。 其他容器类型,请参见内置的list、set 和tuple 类,以及collections 模块。 10 Chapter 2. 内置函数 The Python Library Reference, 发行版本0 码力 | 2253 页 | 11.81 MB | 9 月前3 Python 标准库参考指南 3.12 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230 8.4 collections --- 容器数据类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231 8.4.1 ChainMap 对象 . . . . . . . . . . . . . . . . . 247 8.5 collections.abc --- 容器的抽象基类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247 8.5.1 容器抽象基类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . dict(mapping, **kwarg) class dict(iterable, **kwarg) 创建一个新的字典。dict 对象是一个字典类。参见dict 和映射类型 --- dict 了解这个类。 其他容器类型,请参见内置的list、set 和tuple 类,以及collections 模块。 10 Chapter 2. 内置函数 The Python Library Reference, 发行版本0 码力 | 2253 页 | 11.81 MB | 9 月前3
 Python 标准库参考指南 3.7.13 . . . . . . . . . . . 185 8.3 collections --- 容器数据类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189 8.4 collections.abc --- 容器的抽象基类 . . . . . . . . . . . . . . . . . . . . . dict(mapping, **kwarg) class dict(iterable, **kwarg) 创建一个新的字典。dict 对象是一个字典类。参见dict 和映射类型 --- dict 了解这个类。 其他容器类型,请参见内置的list、set 和tuple 类,以及collections 模块。 dir([object]) 如果没有实参,则返回当前本地作用域中的名称列表。如果有实参,它会尝试返回该对象的有效属 字典。 filter(function, iterable) 用 iterable 中函数 function 返回真的那些元素,构建一个新的迭代器。iterable 可以是一个序列,一个 支持迭代的容器,或一个迭代器。如果 function 是 None ,则会假设它是一个身份函数,即 iterable 中所有返回假的元素会被移除。 请注意,filter(function, iterable) 相当于一个生成器表达式,当0 码力 | 1846 页 | 9.09 MB | 9 月前3 Python 标准库参考指南 3.7.13 . . . . . . . . . . . 185 8.3 collections --- 容器数据类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189 8.4 collections.abc --- 容器的抽象基类 . . . . . . . . . . . . . . . . . . . . . dict(mapping, **kwarg) class dict(iterable, **kwarg) 创建一个新的字典。dict 对象是一个字典类。参见dict 和映射类型 --- dict 了解这个类。 其他容器类型,请参见内置的list、set 和tuple 类,以及collections 模块。 dir([object]) 如果没有实参,则返回当前本地作用域中的名称列表。如果有实参,它会尝试返回该对象的有效属 字典。 filter(function, iterable) 用 iterable 中函数 function 返回真的那些元素,构建一个新的迭代器。iterable 可以是一个序列,一个 支持迭代的容器,或一个迭代器。如果 function 是 None ,则会假设它是一个身份函数,即 iterable 中所有返回假的元素会被移除。 请注意,filter(function, iterable) 相当于一个生成器表达式,当0 码力 | 1846 页 | 9.09 MB | 9 月前3
 Python 标准库参考指南 3.7.13 . . . . . . . . . . 193 8.3 collections --- 容器数据类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197 8.4 collections.abc --- 容器的抽象基类 . . . . . . . . . . . . . . . . . . . . dict(mapping, **kwarg) class dict(iterable, **kwarg) 创建一个新的字典。dict 对象是一个字典类。参见dict 和映射类型 --- dict 了解这个类。 其他容器类型,请参见内置的list、set 和tuple 类,以及collections 模块。 dir([object]) 如果没有实参,则返回当前本地作用域中的名称列表。如果有实参,它会尝试返回该对象的有效属性 字典。 filter(function, iterable) 用 iterable 中函数 function 返回真的那些元素,构建一个新的迭代器。iterable 可以是一个序列,一个支 持迭代的容器,或一个迭代器。如果 function 是 None ,则会假设它是一个身份函数,即 iterable 中所 有返回假的元素会被移除。 请注意,filter(function, iterable)0 码力 | 1961 页 | 9.14 MB | 9 月前3 Python 标准库参考指南 3.7.13 . . . . . . . . . . 193 8.3 collections --- 容器数据类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197 8.4 collections.abc --- 容器的抽象基类 . . . . . . . . . . . . . . . . . . . . dict(mapping, **kwarg) class dict(iterable, **kwarg) 创建一个新的字典。dict 对象是一个字典类。参见dict 和映射类型 --- dict 了解这个类。 其他容器类型,请参见内置的list、set 和tuple 类,以及collections 模块。 dir([object]) 如果没有实参,则返回当前本地作用域中的名称列表。如果有实参,它会尝试返回该对象的有效属性 字典。 filter(function, iterable) 用 iterable 中函数 function 返回真的那些元素,构建一个新的迭代器。iterable 可以是一个序列,一个支 持迭代的容器,或一个迭代器。如果 function 是 None ,则会假设它是一个身份函数,即 iterable 中所 有返回假的元素会被移除。 请注意,filter(function, iterable)0 码力 | 1961 页 | 9.14 MB | 9 月前3
 Python 标准库参考指南 3.8.20 . . . . . . . . . . . 192 8.3 collections --- 容器数据类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196 8.4 collections.abc --- 容器的抽象基类 . . . . . . . . . . . . . . . . . . . . . dict(mapping, **kwarg) class dict(iterable, **kwarg) 创建一个新的字典。dict 对象是一个字典类。参见dict 和映射类型 --- dict 了解这个类。 其他容器类型,请参见内置的list、set 和tuple 类,以及collections 模块。 dir([object]) 如果没有实参,则返回当前本地作用域中的名称列表。如果有实参,它会尝试返回该对象的有效属 字典。 filter(function, iterable) 用 iterable 中函数 function 返回真的那些元素,构建一个新的迭代器。iterable 可以是一个序列,一个 支持迭代的容器,或一个迭代器。如果 function 是 None ,则会假设它是一个身份函数,即 iterable 中所有返回假的元素会被移除。 请注意,filter(function, iterable) 相当于一个生成器表达式,当0 码力 | 1927 页 | 9.69 MB | 9 月前3 Python 标准库参考指南 3.8.20 . . . . . . . . . . . 192 8.3 collections --- 容器数据类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196 8.4 collections.abc --- 容器的抽象基类 . . . . . . . . . . . . . . . . . . . . . dict(mapping, **kwarg) class dict(iterable, **kwarg) 创建一个新的字典。dict 对象是一个字典类。参见dict 和映射类型 --- dict 了解这个类。 其他容器类型,请参见内置的list、set 和tuple 类,以及collections 模块。 dir([object]) 如果没有实参,则返回当前本地作用域中的名称列表。如果有实参,它会尝试返回该对象的有效属 字典。 filter(function, iterable) 用 iterable 中函数 function 返回真的那些元素,构建一个新的迭代器。iterable 可以是一个序列,一个 支持迭代的容器,或一个迭代器。如果 function 是 None ,则会假设它是一个身份函数,即 iterable 中所有返回假的元素会被移除。 请注意,filter(function, iterable) 相当于一个生成器表达式,当0 码力 | 1927 页 | 9.69 MB | 9 月前3
共 92 条
- 1
- 2
- 3
- 4
- 5
- 6
- 10














 
 