池 管 理 高 可 用 切 换 集 群 节 点 管 理 扩 容 缩 容 数 据 库 及 实 例 迁 移 过 载 保 护 机 制 总体架构 分 布 式 监 控 资源管理|资源调度 复制与迁移|高可用保障|备份恢复 自 动 化 运 维 应用 DB中间件 数据存储 应用 VIP 告警分析 告警发送 指标画图 趋势预测 自定义脚本 Open API 数据校验 实例迁移 资源申请 IO类型 配置 为了保证MySQL的高可用，需要在Docker容器分配时如何保障主从不在同一宿主机上。我们通过自研 Docker容器调度平台管理所有宿主机和容器,自定义Docker容器的分配算法。实现了MySQL的高密度,隔离 化,高可用化部署。 调度规则： 1.同一复制集群的实例在不同主机上。 2.优先分配CPU、内存、磁盘空间资源最空闲的主机。 3.根据IO需求调度容器创建在不同IO类型的主机。 全量迁移基于开源工具mydumper和myloader做了定制化开发，解决了一些问题，比如 utf8mb4导致乱码的问题等。 增量复制使用的是公司自研的基于binlog复制的产品。该工具支持指定库、表级别复制，另外 也支持源与目标命名不一致(结构一致)的复制。 数据库及实例迁移 step1:全量 step2:增量 S D S D binlog解析 逻辑迁移 step3:数据一致性校验 实例迁移 实例迁移

是开放源码这一特点，一般中小型网站的开发都选择 MySQL作为网站数据库。 1.2 调优原则 性能调优从大的方面来说，在系统设计之初，需要考虑硬件的选择，操作系统的选 择，基础软件的选择；从小的方面来说，包括每个子系统的设计，算法选择，如何使 用编译器的选项，如何发挥硬件最大的性能等等。 在性能优化时，我们必须遵循一定的原则，否则，有可能得不到正确的调优结果。主 要有以下几个方面： ● 对性能进行分析时，要多方面分析系统的资源瓶颈所在，因为系统某一方面性能 I/O，Network I/O，如果是某个硬件指标有问题，需要深入的进行分析。 4. 如果硬件指标都没有问题，需要查看数据库相关指标，例如：等待事件、内存命 中率等。 5. 如果以上指标都正常，应用程序的算法、缓冲、缓存、同步或异步可能有问题， 需要具体深入的分析。 瓶颈点 说明 硬件/规格 一般指的是CPU、内存、磁盘I/O方面的问题，分为服务器硬件瓶 颈、网络瓶颈（对局域网可以不考虑）。 操作系统

企业防火墙阻止可能导致宝贵的个人和财务数据丢失的 SQL 注入攻击。DBA 可以通过创 建白名单、实时威胁监视、SQL 语句阻止和报警来保护数据资产。作为入侵检测系统，MySQL 企业级防火墙通知管理员 SQL 语句活动与批准的白名单不匹配。 MySQL 企业级审计 借助 MySQL 企业级审计，企业可以快速无缝地在现有应用中添加基于策略的审计合规性。您可 以动态启用用户级活动日志、实施基于活动的策略、管理审计日志文件以及将 Query Analyzer 可帮助您提升 MySQL 实例、使用这些实例 的应用以及支撑基础架构的性能和可用性。MySQL Enterprise Monitor 持续监视 MySQL 查询以及 与性能相关的服务器指标，并在严重偏离基准性能趋势时提醒开发人员和 DBA。Replication Dashboard 显示 MySQL 工具信息，Topology 视图显示复制分组的当前配置，让您能够快速了解每 MySQL Query Analyzer，开发人员能够：  迅速识别导致应用性能下降的问题最严重的查询  使用高级搜索排除特定的查询问题，如全表扫描和坏索引  直观地将选定时间段内的查询执行与 MySQL 服务器活动关联起来  深入了解详细的查询统计信息，迅速确定查询发生问题的原因 4 ORACLE 产品介绍 使用 MySQL Query

MySQL Cluster 提供 – 串行：主数据库等待更 改应用于所有从数据 库后，再向应用程序 发送确认 • 较长的延迟 • 如果采用主动/主动模式， 则最适合小型事务处理 • 无损 异步复制与同步复制 4/16/2017 版权所有 2015，Oracle 和/或其附属公司。保留所有权利。 11 MySQL Enterprise Monitor •在 10 分钟内开始监视 MySQL 版权所有 2015，Oracle 和/或其附属公司。保留所有权利。 MySQL Cluster 数据节点 Master –Slave Replication •内存优化表 – 持久 – 可与基于磁盘的表混合使用 •大量并发 OLTP •通过分布式联接支持分析 •通过并行表扫描支持非索引搜索 •MySQL Cluster 7.4 DBT2 FlexAsych – 2 亿次 NoSQL 31 MySQL Cluster 7.4 NoSQL 性能 2 亿次 NoSQL 读取/秒 版权所有 2015，Oracle 和/或其附属公司。保留所有权利。 •内存优化表 – 持久 – 可与基于磁盘的表混合使用 •大量并发 OLTP •通过分布式联接支持分析 •通过并行表扫描支持非索引搜索 •MySQL Cluster 7.4 DBT2 BM – 250 万条 SQL 语句/秒

Group Replication原理解析与实践经验 徐春阳 MGR原理 MGR vs SEMI-SYNC MRG实践经验 • 支持多节点并发执行事务。如何保证从各个节点并发执行 的事务在每个节点以相同的顺序被应用/执行.------paxos协 议的功能。 • 自动地事务冲突检测。节点之间不能”同时”操作主键相同 记录,如果冲突，只有一个节点成功。------冲突检测。 以及冲突检测时使用到主键以及事务的数据快照版本(gtid_set) • 比较规则。将事务所涉及的主键以及数据版本信息(gtid_set)跟write set 里面的信息进行比较: 主键不存在与write set中，不冲突。 主键存在，则比较事务版本信息，即比较gtid_set，如果是包含关系， 则不冲突。否则，冲突。 • 冲突检查在各节点内部独立完成，不需要节点间的通信。

服务停止后,服务器能自动跳转到备用机， 当主服务器服务启动起来后会自动切换回来。 2.2 方案架构图 2.3 方案优缺点 优点：  安装配置简单，实现方便，高可用效率好，可以根据服务与系统的可用性 多方面进行切换。  可以将写 VIP 和读 VIP 分别进行设置，为读写分离做准备。  扩展不是很方便。  可以在后面添加多个从服务器，并做到负载均衡。 缺点： 服务器宕机、keepalived 服务停止后,服务器能自动跳转到备用机，当主服务器服务 启动起来后会自动切换回来。 3.2 方案架构图 3.3 方案优缺点 优点：  实现方便，高可用效率好，可以根据服务与系统的可用性多方面进行切换。  可以将写 VIP 和读 VIP 分别进行设置，为读写分离做准备。  扩展很方便。可以在后面添加多个从服务器，并做到负载均衡。 缺点：  在启动或者恢复后会立即替换掉定义的

Pod、Service、Volume 等 • Kubernetes 1.7 之后增加了 CRD 自定义资源 • 二次开发扩展 Kubernetes API CRD 的基本原理 ① 观察资源的当前状态 ② 分析当前状态与期望状态的差别 ③ 调用 API 消除差别 TestCluster app=test app=test 申请扩容 期望副本数：3 当前副本数：1 VS app=test 增加2个副本