基于APM的智能运维体系在京东物流的落地和实践 付正全 京东物流 架构师 自我介绍 付正全，京东物流架构师，国家认证信息系统项目管 理师，曾任浪潮集团系统架构师，专注监控平台研发 工作 8 年，研究过市场上数十家厂商的监控平台产品， 对 DevOps 和监控平台有比较深入的了解。目前负责 京东物流火眼监控平台的架构设计和开发工作。 目录 ⚫业界智能运维发展现状及趋势 ⚫智能运维体系建设方法论 ◼更全面评估应用健康状况 大规模实时监控平台V2.0 整合各种应用维度的指标分析，提供更全面的应用数据分析和故障诊断 ◼系统指标 ◼调用链指标 ◼日志分析 ◼数据库指标 ◼JVM指标 ◼应用拓扑自动探测 应用健康报告 大规模实时监控平台V2.0 日志处理架构 大规模实时监控平台V3.0 产品规划 大规模实时监控平台V3.0 故障预测、容量预测、性能预测 预测分类： 预测算法： 重点关注： 重点关注： LSTM、多元线性回归、决策树、随机森 林、神经网络、朴素贝叶斯分类、最小二乘 法、支持向量机 … 算法匹配度评分 日历适配、基于节假日的机器学习算法 Kpi自动分类并匹配预测算法 基于业务关联关系的预测算法 预测 大规模实时监控平台V3.0 红绿灯 大屏 可视化 目录 ⚫业界智能运维发展现状及趋势分析 ⚫智能运维体系建设方法论 ⚫大规模实时监控平台的实践方案

从运维视角实现计算存储一体化 计新架构 产品形态 基于MySQL XA实现分布式事务 基于外部组件进行扩容 支持扩容 分布式事务 一体化尝试 Review 2.0 开源 2016 2017 2018 2019 2020 2021 2021年10月20日，云栖大会宣 布开源 2020年5月，PolarDB-X 完成架 构和品牌升级怎么做兼容：以 CDC 为例 02 If it looks like DTS • Canal/CloudCanal • Maxwell • Debezium • Streamsets • mysql-binlog-connector-java • Flink CDC 性能指标 • 25w rps • 8GB 大事务 • 5s 延迟* 下一步 • 验证更多工具 • GTID • 多流业务系统 上游 Single Source of Truth rhymes.Short Answer：No and NO ONE Does进入 Kubernetes 生态 04 When in Rome, do as the Romans do.参数设置 容灾部署 CDC 备库重搭 备库重搭 SQL审计 只读实例

ftpshut 在指定的时间关闭FTP服务器 ftptop proftpd服务器的连接状态 ftpwho 显示当前每个ftp会话信息 fuser 使用文件或文件结构识别进程 G gcc 基于C/C++的编译器 gcov 测试程序的代码覆盖率的工具 gdb 功能强大的程序调试器 get_module 获取Linux内核模块的详细信息 getenforce 显示当前SELinux的应用模式，是强制、执行还是停用 find 好用的文件查找工具 logger 在系统日志中记录相应条目 login 登录系统或切换用户身份 logname 打印当前终端登录用户的名称 logout 退出当前登录的Shell logrotate 系统日志进行轮转、压缩和删除 logsave 将命令的输出信息保存到指定的日志文件 logwatch 可定制和可插入式的日志监视系统 look 显示文件中以指定字符串开头的任意行 报告进程的内存映射关系 popd 从目录堆栈中删除目录 - 11 - 本文档使用 书栈网 · BookStack.CN 构建 poweroff 关闭Linux系统，关闭记录会被写入到/var/log/wtmp日志文件中 ppp-off 关闭ppp连线 pr 将文本文件转换成适合打印的格式 printf 格式化并输出结果 protoize GNU-C代码转换为ANSI-C代码 ps 报告当前系统的进程状态

x 使用灵活 的通知机制，允许用户为几乎任何事件配置基于电子邮件的告警，以实现对服务器问题做出快速反应。Zabbix 基于存储的数据提供出色 的报告和数据可视化功能。这使得 Zabbix 成为容量规划的理想选择。 Zabbix 支持轮询和 trapping。所有 Zabbix 报告和统计数据以及配置参数都可以通过基于 Web 的前端访问。基于 Web 的前端确保可以 从任何位置评估您的网络状态和 网络发现 • 网络设备自动发现 • agent 自动注册 • 发现文件系统、网络接口和 SNMP OID 便捷的 web 界面 • 基于 web 的 PHP 前端 • 可从任何地方访问 • 可以通过你的方式点击（到任何页面） • 审计日志 Zabbix API • Zabbix API 为 Zabbix 提供可编程接口，用于批量操作、第三方软件集成和其他用途。 权限系统 • er 是存储所有配置、统计和操作数据的中央存储库。 数据存储 Zabbix 收集的所有配置信息以及数据都存储在数据库中。 Web 界面 为了从任何地方和任何平台轻松访问，Zabbix 提供了基于 Web 的界面。该界面是 Zabbix server 的一部分，通常（但不一定）与 server 运行在同一台设备上。 Proxy Zabbix proxy 可以代替 Zabbix server

x 使用灵活 的通知机制，允许用户为几乎任何事件配置基于电子邮件的告警，以实现对服务器问题做出快速反应。Zabbix 基于存储的数据提供出色 的报告和数据可视化功能。这使得 Zabbix 成为容量规划的理想选择。 Zabbix 支持轮询和 trapping。所有 Zabbix 报告和统计数据以及配置参数都可以通过基于 Web 的前端访问。基于 Web 的前端确保可以 从任何位置评估您的网络状态和 网络发现 • 网络设备自动发现 • agent 自动注册 • 发现文件系统、网络接口和 SNMP OID 便捷的 web 界面 • 基于 web 的 PHP 前端 • 可从任何地方访问 • 可以通过你的方式点击（到任何页面） • 审计日志 Zabbix API • Zabbix API 为 Zabbix 提供可编程接口，用于大规模操作、第 3 方软件集成和其他用途。 权限系统 er 是存储所有配置、统计和操作数据的中央存储库。 数据存储 Zabbix 收集的所有配置信息以及数据都存储在数据库中。 Web 界面 为了从任何地方和任何平台轻松访问，Zabbix 提供了基于 Web 的界面。该接口是 Zabbix server 的一部分，通常（但不一定）与 server 运行在同一台设备上。 Proxy Zabbix proxy 可以代替 Zabbix server

问题跟踪。 8. Q: 如何更改自定义主题中的图形背景颜色? A: 参照数据库中的 graph_theme 表和主题帮助。 9. Q: 调试等级为 4 时，在 zabbix server/proxy 日志中出现”Trapper got [] len 0” 信息，这是什么原因? A: 很有可能是前端有问题，连接并检查服务是否仍在运行。 10. Q: 系统时间设置为将来的某一时间，导致没有数据出现。这个问题怎么解决 $HISTORY['url'] = 'http://test.elasticsearch.lan:9200'; $HISTORY['types'] = ['str', 'text', 'log']; 此配置文件将文本、字符、日志类型的历史数据存储到 Elasticsearch 中。This configuration forces to store Text, Character and Log history values : "text", "analyzer" : "standard" } }, "index" : false, "type" : "text" } } } } }' 对于创建 “字符” 和 “日志” 类型的历史数据映射，需要执行类似的请求，请求内容需要进行相应的修改。Similar request is required to be executed for Character and Log

问题跟踪。 8. Q: 如何更改自定义主题中的图形背景颜色? A: 参照数据库中的 graph_theme 表和主题帮助。 9. Q: 调试等级为 4 时，在 zabbix server/proxy 日志中出现”Trapper got [] len 0” 信息，这是什么原因? A: 很有可能是前端有问题，连接并检查服务是否仍在运行。 10. Q: 系统时间设置为将来的某一时间，导致没有数据出现。这个问题怎么解决 DBTLSKeyFile=/etc/ssl/pgsql/client.key ... 4 TimescaleDB 配置 概述 Zabbix 支持时序数据库 TimescaleDB，这是一种基于 PostgreSQL 的数据库解决方案，可将数据自动划分为基于时间的块，以支持更快 的大规模性能。 Warning: 目前时序数据库不支持 Zabbix proxy。 本页上的说明可用于创建 TimescaleDB 数据库或从现有 $HISTORY['url'] = 'http://test.elasticsearch.lan:9200'; $HISTORY['types'] = ['str', 'text', 'log']; 使用此配置，文本、字符和日志类型的历史数据将存储到 Elasticsearch 中。 您 还 需 要 将 conf/zabbix.conf.php 文 件 的 中 $HISTORY 配 置 为 全 局 参 数， 以 确 保 一

问题跟踪。 8. Q: 如何更改自定义主题中的图形背景颜色? A: 参照数据库中的 graph_theme 表和主题帮助。 9. Q: 调试等级为 4 时，在 zabbix server/proxy 日志中出现”Trapper got [] len 0” 信息，这是什么原因? A: 很有可能是前端有问题，连接并检查服务是否仍在运行。 10. Q: 系统时间设置为将来的某一时间，导致没有数据出现。这个问题怎么解决 $HISTORY['url'] = 'http://test.elasticsearch.lan:9200'; $HISTORY['types'] = ['str', 'text', 'log']; 此配置文件将文本、字符、日志类型的历史数据存储到 Elasticsearch 中。This configuration forces to store Text, Character and Log history values "text", "analyzer" : "standard" } }, "index" : false, "type" : "text" } } } } }' 12 对于创建 “字符” 和 “日志” 类型的历史数据映射，需要执行类似的请求，请求内容需要进行相应的修改。Similar request is required to be executed for Character and Log

问题跟踪。 8. Q: 如何更改自定义主题中的图形背景颜色? A: 参照数据库中的 graph_theme 表和主题帮助。 9. Q: 调试等级为 4 时，在 zabbix server/proxy 日志中出现”Trapper got [] len 0” 信息，这是什么原因? A: 很有可能是前端有问题，连接并检查服务是否仍在运行。 10. Q: 系统时间设置为将来的某一时间，导致没有数据出现。这个问题怎么解决 $HISTORY['url'] = 'http://test.elasticsearch.lan:9200'; $HISTORY['types'] = ['str', 'text', 'log']; 此配置文件将文本、字符、日志类型的历史数据存储到 Elasticsearch 中。This configuration forces to store Text, Character and Log history values "text", "analyzer" : "standard" } }, "index" : false, "type" : "text" } } } } }' 12 对于创建 “字符” 和 “日志” 类型的历史数据映射，需要执行类似的请求，请求内容需要进行相应的修改。Similar request is required to be executed for Character and Log

问题跟踪。 8. Q: 如何更改自定义主题中的图形背景颜色? A: 参照数据库中的 graph_theme 表和主题帮助。 9. Q: 调试等级为 4 时，在 zabbix server/proxy 日志中出现”Trapper got [] len 0” 信息，这是什么原因? A: 很有可能是前端有问题，连接并检查服务是否仍在运行。 10. Q: 系统时间设置为将来的某一时间，导致没有数据出现。这个问题怎么解决 $HISTORY['url'] = 'http://test.elasticsearch.lan:9200'; $HISTORY['types'] = ['str', 'text', 'log']; 此配置文件将文本、字符、日志类型的历史数据存储到 Elasticsearch 中。This configuration forces to store Text, Character and Log history values "text", "analyzer" : "standard" } }, "index" : false, "type" : "text" } } } } }' 12 对于创建 “字符” 和 “日志” 类型的历史数据映射，需要执行类似的请求，请求内容需要进行相应的修改。Similar request is required to be executed for Character and Log