、 监 控 与 运 维 秦 亦 1/33背景 01 02 03 04 Curve质量控制 Curve监控体系 Curve运维体系Curve 是网易针对块存储、对象存储、云原生数据库、EC等 多种场景自研的分布式存储系统：  高性能、低延迟  当前实现了高性能块存储，对接OpenStack和 K8s  网易内部线上无故障稳定运行近两年  已完整开源 • github主页： 需要利用科学的方法论和专业的工具，在整个 软件生命周期内更好地为用户服务：  质量——向用户交付稳定可靠的软件；  监控——直观地展示Curve运行状态；  运维——保障Curve始终稳定高效运行。 质量 ✓ 质量管理体系（设计、开发、review、CI） ✓ 测试方法论（单元测试、集成测试、系统测试） 监控 ✓ 监控架构 ✓ 指标采集、后端处理、可视化展示 运维 ✓ 运维特性 （易部署、易升级、自治） （易部署、易升级、自治） ✓ 运维工具（部署工具、管理工具） 4/33背景 01 02 03 04 Curve质量控制 Curve监控体系 Curve运维体系软件质量 软件质量的定义是：软件与明确地和隐含地定义的需求相一致的程度。 为了确保最终交付的软件满足需求，必须将质量控制贯穿于设计、开发到测试的整个流程中。 设计  设计流程  文档规范 开发  编码规范与提交流程  版本管理

在 k8s 上部署高可用的 service mesh 监控 pctang@caicloud.io 唐鹏程 才云科技TOC Solving issues in a new way Monitoring your service mesh Old-school monitoringPrometheus + Kubernetes ● A time series based monitoring

云原生监控体系建设 秦晓辉 快猫星云 联合创始人 个人介绍 秦晓辉，常用网名龙渊秦五、UlricQin，山东人，12年 毕业自山东大学，10年经验一直是在运维研发相关方向， 是Open-Falcon、Nightingale、Categraf 等开源软件 的核心研发，快猫星云联合创始人，当前在创业，为客 户提供稳定性保障相关的产品 个人主页：https://ulricqin.github.io/ io/ 大纲 • 云原生之后监控需求的变化 • 从Kubernetes架构来看要监控的组件 • Kubernetes所在宿主的监控 • Kubernetes Node组件监控 • Kubernetes控制面组件监控 • Kubernetes资源对象的监控 • Pod内的业务应用的监控 • 业务应用依赖的中间件的监控 云原生之后监控需求的 变化 云原生之后监控需求的变化 •相比物理机虚拟机时 •原来使用资产视角管理监控对象的系统不再适用 •要么使用注册中心来自动发现，要么就是采集器和被监控对象通过sidecar模式捆绑一体 指标生命周期变短 •微服务的流行，要监控的服务数量大幅增长，是之前的指标数量十倍都不止 •广大研发工程师也更加重视可观测能力的建设，更愿意埋点 •各种采集器层出不穷，都是本着可采尽采的原则，一个中间件实例动辄采集几千个指标 指标数量大幅增长 •老一代监控系统更多的是关注机

探讨和实践基于Istio的微服务治理事件监控 2018.11.25 徐运元关于我 2008年毕业于浙江大学，曾在思科和浙大网新有超过 9年的工作经验和5年的云计算领域工作经验，带领团 队完成公司第一代基于Kubernetes的云平台开发和第 二代基于Kubernetes的DevOps云平台开发。目前致力 于公司基于Istio的微服务平台打造。 来自于浙江大学SEL实验室目录 CONTENTS 微服务平台的监控演进 Mixer组件的功能介绍 Mixer组件的功能介绍 基于Mixer的开发流程和实例微服务平台的监控演进典型的运维场景 传统的监控面临容器化和微服务化的困境 测试运维沟通鸿沟，如何提升沟通效率 监控工具繁杂，如何快速找到合适工具进行问题定位 偶发性问题场景复杂，如何保留发生现场 如何在错综复杂的未服用调用链路中找到错误源头监控场景转换 帮助运维人员快速的定位问题，解决问题 基于容器化和微服务化的监 控场景 • 服务之间依赖呈现为网状 • 除了日志、性能指标，需要 基于请求的依赖追踪监控 基于虚拟化的监控场景 • 应用规模大 • 服务之间依赖呈现为线型 • 日志、性能指标需要集中化 存储 基于主机的监控场景 • 应用规模较小 • 服务之间没有互相依赖 • 日志、性能指标都在单个主 机问题一：什么是用户想要的监控 什么是用户想要的监控？分布式监控的三个维度 Metrics Logging

TKE使用eBPF优化 k8s service Jianmingfan 腾讯云 目录 01 Service的现状及问题 优化的方法 02 和业界方法的比较 性能测试 03 04 解决的BUG 未来的工作 05 06 01 Service的现状及问题 什么是k8s Service • 应用通过固定的VIP访问一组pod，应用对Pod ip变化 无感知 • 本质是一个负载均衡器 控制面和数据面算法复杂度都是O(1) • 经历了二十多年的运行，比较稳定成熟 • 支持多种调度算法 优势 IPVS mode 不足之处 • 没有绕过conntrack，由此带来了性能开销 • 在k8s的实际使用中还有一些Bug 02 优化的方法 指导思路 • 用尽量少的cpu指令处理每一个报文 • 不能独占cpu • 兼顾产品的稳定性，功能足够丰富 弯路 度算法丰富。 • 优势 • 完全绕过了conntrack/iptables • 对内核修改更小 04 性能测试 性能测试踩过的坑 设置测试环境 • 配置一样的cluster，性能可能不同。 • 多个CVM分布在同一台物理主机 • 同一个cluster，在不同的时间段，性能可能不同 • cpu 超卖 • 使用同一个cluster，在相近的时间段，比较两种mode • 使得cpu成为瓶颈点

部署方案 跨机房部署方案 配置集群 参数解释 TiDB 配置项解释 开启 TLS 验证 生成自签名证书 监控集群 整体监控框架概述 重要监控指标详解 组件状态 API & 监控 扩容缩容 集群扩容缩容方案 使用 Ansible 扩容缩容 升级 升级组件版本 TiDB 2.0 升级操作指南 性能调优 备份与迁移 备份与恢复 数据迁移 数据迁移概述 数据迁移 故障诊断 TiDB 周边工具 Syncer 0 RC1 1.1 Beta 1.1 Alpha 1.0 Pre-GA RC4 RC3 RC2 RC1 TiDB 路线图 性能测试 TiDB Sysbench 性能测试报告 - v1.0.0 TiDB TPC-H 50G 性能测试报告 - v2.0 TiDB Sysbench 性能对比测试报告 - v2.0.0 对比 v1.0.0 - 5 - 本文档使用 书栈(BookStack.CN) 构建 致谢 CN) 构建 TiDB 配置项解释 使用 Ansible 变更组件配置 开启 TLS 验证 生成自签名证书 监控集群 整体监控框架概述 重要监控指标详解 组件状态 API & 监控 扩容缩容 集群扩容缩容方案 使用 Ansible 扩容缩容 升级 升级组件版本 TiDB 2.0 升级操作指南 性能调优 备份与迁移 备份与恢复 数据迁移 数据迁移概述 全量导入 增量导入 故障诊断 TiDB 周边工具 Syncer

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 102 3.4.6 HTAP 性能监控 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 372 4.8.4 优化向量搜索性能 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 462 4.10 优化 SQL 性能 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 98 3.4.6 HTAP 性能监控 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 368 4.8.4 优化向量搜索性能 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 458 4.10 优化 SQL 性能 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 82 3.4.6 HTAP 性能监控 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 391 4 4.9 优化 SQL 性能 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 394 4.9.2 SQL 性能调优 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 395 4.9.3 性能调优最佳实践 · · · · · · · · · · · · · ·

43 43 43 46 49 49 52 53 55 57 57 58 58 59 60 备份恢复 备份恢复 设置备份策略 调整⾃动备份策略 ⼿动备份 删除备份数据 备份恢复 Dashboard/监控访问 监控访问 代理节点 配置访问代理 访问 实例 实例 创建TiDB Serverless实例 查看TiDB实例列表 查看TiDB实例详情 删除TiDB实例 ⽤户 ⽤户 添加⽤⼾及权限 调整⽤⼾权限 重制⽤⼾密码 117 117 118 118 118 118 118 性能数据 性能数据 测试⼀ 同可⽤区实例 同可⽤区类型- 限制TiKV内存60G 同可⽤区类型- 限制TiKV内存30G 测试⼆ 跨可⽤区类型 同可⽤区类型 FAQ Q1:TiDB当前覆盖多少地域？ Q2：每个⼩时业务要创建⼀些中间表，完成计算，然后删除掉，频繁创建和删除表对TiDB 性能影响⼤吗？ Q3: slow log ⾥⾯的时间是什么时区？ 如何查看当前版本 ⽬录 分布式NewSQL数据库 TiDB Copyright © 2012-2021 UCloud 优刻得 7/120 119 119 119 119 Q17: 如何查看慢查询 Q18: 监控图看有慢查询， 但是information_schema.cluster_slow_query表中⽆法查询到？ Q19: 如何处理 TiCDC 创建同步任务或同步到 MySQL 时遇到 Error 1298: