搜狗商业平台 技术体系广 服务多迭代快 搜狗产品矩阵 商业平台 信息流广告 搜索广告 品牌广告 代理商 广告主 技术体系 CRM 广告平台 物料展现 审核平台 大数据平台 基础架构 Golang C++ JavaScript Java Python 质量要求高 业务响应快 故障恢复快 Cluster1 搜狗商业平台业务系统 搜索推广 信息流 品牌 BizNginx 服务发现 灰度发布 监控中心 日志系统 PaaS SaaS 编 译 发 布 授 权 监 控 IaaS Registry SOA服务框架 DevOps 测 试 账户 搜狗商业平台基础平台 物料 计费 管理界面 项目 管理 CI&&CD 统一配 置中心 Cluster2 Node Node Node Node 商业云平台 BizCloud • 弹性伸缩能力不足 ü custom resource definition(CRD) ü custom controller Operator 是什么 • Kubernetes 中一切都可视为资源 • 默认资源类型：如 Pod、Service、Volume 等 • Kubernetes 1.7 之后增加了 CRD 自定义资源 • 二次开发扩展 Kubernetes API CRD 的基本原理 ① 观察资源的当前状态

指标画图 趋势预测 自定义脚本 Open API 数据校验 实例迁移 秒级监控诊断 慢日志分析 资源池调度 调度规则 容器调度 资源池 容器及实例创建 应用交付 资源申请 IO类型 配置 为了保证MySQL的高可用，需要在Docker容器分配时如何保障主从不在同一宿主机上。我们通过自研 Docker容器调度平台管理所有宿主机和容器,自定义Docker容器的分配算法。实现了MySQL的高密度 MySQL的高密度,隔离 化,高可用化部署。 调度规则： 1.同一复制集群的实例在不同主机上。 2.优先分配CPU、内存、磁盘空间资源最空闲的主机。 3.根据IO需求调度容器创建在不同IO类型的主机。 4.申请新集群时，若IO要求高则按照宿主机的IO情况，优先选择IO最空闲的主机。 5.VIP集群必须主从端口一致，Proxy接入的集群端口无需一致。 6.VIP集群端口基于网段递增，Proxy集群端口基于IP递增 step3:数据一致性校验 实例迁移 实例迁移 ： 实例、库、表迁移 平台外的实例迁移至平台内 平台内数据迁移 ■ 屏蔽底层物理资源，降低决策时间 ■ 资源利用率提升30倍 ■ 90%的基础运维工作完全自动化 ■ 交付能力提升70倍 ■ 生产环境近3500个实例在平台上工作 成果 手工部署： 部署一套高可用集群+备份，配置监控。至少30分钟。部署32个节点的分片的集群，至少一个上午

不用 bigint ，为什么 ? 省空间啊。空间是什么 ? 空间就是效率！按 4 个字节和按 32 个字节定位一条记 录，谁快谁慢太明显了。涉及几个表做 join 时， 效果 就更明显了。更小的字段类型占用的内存就更少，占用 的磁盘空间和磁盘 I/O 也会更少，而且还会占用更少的 带宽。因此 . 在日常选择字段时必须要遵守这一规则。 应用优化 应用优化 索引建立原则（一） 索引建立原则（一） 、 、 date/tim date/tim e e 等 等 类型的字段建立索引 类型的字段建立索引  需要的时候建立联合索引，但是要注意查询 需要的时候建立联合索引，但是要注意查询 SQL SQL 语句的编写 语句的编写  谨慎建立 谨慎建立 unique unique 类型的索引（唯一索引） 类型的索引（唯一索引）  大文本字段不建立为索引，如果要对大文本字段进行检索， where 字句 字句 的 的 update update ， ， Delete SQL Delete SQL 性能。 性能。  Decimal Decimal 类型字段不要单独建立为索引，但覆盖索引可以 类型字段不要单独建立为索引，但覆盖索引可以 包 包 含这些字段。 含这些字段。  只有建立索引以后，表内的行才按照特地的顺序存储，按照 只有建立索引以后，表内的行才按照特地的顺序存储，按照

MySQL 企业级可扩展性应对指数级增长的用户和数据量  通过 MySQL 企业级备份执行热备份和恢复，从而降低数据丢失的风险  通过 MySQL 企业级安全性来利用现有安全基础架构  使用加密、密钥生成和数字签名保护敏感数据  通过 MySQL 企业级防火墙阻止针对数据库的攻击（如 SQL 注入）  对现有 MySQL 应用实施基于策略的审计合规性 线程池提供了一个高效的线程处理模型，旨在降低客户端连接和语句执行线程的管 理开销。 MySQL 企业级身份验证 MySQL 企业级身份验证提供了随时可用的外部身份验证模块，可轻松集成到现有安全基础架构 中，包括 Linux 可插拔身份验证模块 (PAM) 和 Windows Active Directory。通过 MySQL 企业级安 全性，企业可以实现一次性登录机制，而且可以在集中目录中管理和使用现有安全规则和流程。 Enterprise Monitor MySQL Enterprise Monitor 和 MySQL Query Analyzer 可帮助您提升 MySQL 实例、使用这些实例 的应用以及支撑基础架构的性能和可用性。MySQL Enterprise Monitor 持续监视 MySQL 查询以及 与性能相关的服务器指标，并在严重偏离基准性能趋势时提醒开发人员和 DBA。Replication

SQL 4/16/2017 8 版权所有 2015，Oracle 和/或其附属公司。保留所有权利。 为何进行复制？ •将数据库从“主服务器”复制到“从服务器” – 数据的冗余副本奠定了高可用性的基础 – 通过在复制场中进行分布式查询来扩展 主 从 Web/应用服务器 写入和读取 读取 4/16/2017 版权所有 2015，Oracle 和/或其附属公司。保留所有权利。 9 •异步 Router 应用端 MySQL Router Group Replication主-主复制 无共用支持写的高可用 MySQL Cluster 支持5个9的高可用 Clusterware为 基础的主备架构 支持无损失的故障移转 主从复制 写的 高可用 和负载均衡 主库 故障移转 读写分离 Router故障移转 8 4-7 3 1 写的 高可用 Connector/J Failover -支持负载均衡,高可用读写分离和数据分片 MySQL Connector/J Java 應用端 Group Replication-主主複製 MySQL Cluster Clusterware为 基础的主备架构 主从复制 写的 高可用 负载均衡 故障移转 讀寫分離 故障移转 • JDBC URL format，第一个主机为master，第二个以后为backup: import com

Oracle and/or its affiliates. 业务要求 Copyright @ 2021 Oracle and/or its affiliates. 50 / 55 故障类型： 高可用性： 单服务器故障， 网络分区 灾难恢复： 整个区域/网络故障 人为错误： 个别表问题 10 / 55 业务需求 概念 - RTO & RPO RTO ：恢复时间目标 从单个故障中恢复需要多长时间 连接到配置的目标集群 当目标集群不是主集群时： 仅打开读取流量 写入将被拒绝 当目标集群为主集群时： 写入端口打开 特性： 可配置每个路由器实例 可以在mysqlsh 中在线更改配置 部署 2 种类型的路由器： • 以“主”为目标以将写入操作发送到“主数据库” • 定义目标集群以便本地读取 INVALIDATED 无效集群仍可用于只读（ 可自定义） 路由器集成- 3DC Copyright

总体拥有成本低，尤其 是开放源码这一特点，一般中小型网站的开发都选择 MySQL作为网站数据库。 1.2 调优原则 性能调优从大的方面来说，在系统设计之初，需要考虑硬件的选择，操作系统的选 择，基础软件的选择；从小的方面来说，包括每个子系统的设计，算法选择，如何使 用编译器的选项，如何发挥硬件最大的性能等等。 在性能优化时，我们必须遵循一定的原则，否则，有可能得不到正确的调优结果。主 要有以下几个方面：

Paxos协议只实现消息全局排序，不处理冲突。 Paxos��:! • 冲突检查是在执行消息(execute_msg)时发生.前提：消息已经被多数节 点接受。 • 所指的消息表示的是一个事务类型的消息，内容包含事务产生的binlog 以及冲突检测时使用到主键以及事务的数据快照版本(gtid_set) • 比较规则。将事务所涉及的主键以及数据版本信息(gtid_set)跟write set