 谈谈MYSQL那点事my.cnf 进行配置,后面设置是针对内存为 进行配置,后面设置是针对内存为 16G 16G 的服务器进行的合理设置 的服务器进行的合理设置 服务优化 服务优化 MySQL MySQL 配置原则 配置原则 服务优化 服务优化 公共选项 公共选项 选项 缺省值 推荐值 说明 max_connections 100 1024 MySQL 服务器同时处理的数据库连接的最大 数量 query_cache_size  数据查询:编写简洁高效的 数据查询:编写简洁高效的 SQL SQL 语句 语句 应用优化 应用优化 应用优化方式 应用优化方式 应用优化 应用优化 表结构设计原则 表结构设计原则 选择字段的一般原则是保小不保大,能用占用字节 少的字段就不用大字段。比如,主键,强烈建议用 int 整型 . 不用 bigint ,为什么 ? 省空间啊。空间是什么 ? 空间就是效率!按 4 就更明显了。更小的字段类型占用的内存就更少,占用 的磁盘空间和磁盘 I/O 也会更少,而且还会占用更少的 带宽。因此 . 在日常选择字段时必须要遵守这一规则。 应用优化 应用优化 索引建立原则(一) 索引建立原则(一)  一般针对数据分散的关键字进行建立索引,比如 一般针对数据分散的关键字进行建立索引,比如 像性别、状态值等等建立索引没有意义 像性别、状态值等等建立索引没有意义 0 码力 | 38 页 | 2.04 MB | 1 年前3 谈谈MYSQL那点事my.cnf 进行配置,后面设置是针对内存为 进行配置,后面设置是针对内存为 16G 16G 的服务器进行的合理设置 的服务器进行的合理设置 服务优化 服务优化 MySQL MySQL 配置原则 配置原则 服务优化 服务优化 公共选项 公共选项 选项 缺省值 推荐值 说明 max_connections 100 1024 MySQL 服务器同时处理的数据库连接的最大 数量 query_cache_size  数据查询:编写简洁高效的 数据查询:编写简洁高效的 SQL SQL 语句 语句 应用优化 应用优化 应用优化方式 应用优化方式 应用优化 应用优化 表结构设计原则 表结构设计原则 选择字段的一般原则是保小不保大,能用占用字节 少的字段就不用大字段。比如,主键,强烈建议用 int 整型 . 不用 bigint ,为什么 ? 省空间啊。空间是什么 ? 空间就是效率!按 4 就更明显了。更小的字段类型占用的内存就更少,占用 的磁盘空间和磁盘 I/O 也会更少,而且还会占用更少的 带宽。因此 . 在日常选择字段时必须要遵守这一规则。 应用优化 应用优化 索引建立原则(一) 索引建立原则(一)  一般针对数据分散的关键字进行建立索引,比如 一般针对数据分散的关键字进行建立索引,比如 像性别、状态值等等建立索引没有意义 像性别、状态值等等建立索引没有意义 0 码力 | 38 页 | 2.04 MB | 1 年前3
 Greenplum 精粹文集开放性的特性给客户带来的好处,不只是硬件厂商和型号的选择范围, 也包含工程实施过程的便利性。2014 年,该客户大数据平台需要进行 数据搬迁,Greenplum 采用了旧环境数据备份、传输、新环境恢复的 方案,停机时间实际只花了不到 4 天。 相比较而言,其他封闭式系统,需要压缩并备份数据,倒腾出整套设 备搬迁到新数据中心,然后再导入新数据,影响或暂停业务几十天。 两种方案从工程复杂度、人力投入、业务影响来说,开放式架构所带 SQL,懂数据库的应用开发,学会使用 Greenplum 是很简单的。这也是国内大量客户选择 Greenplum 产品的 原因之一。每当有新的企业客户使用 Greenplum 产品,就会有一批新 的 Greenplum 工程师被培养出来。 国内的一位 Greenplum 大咖(也是翻译 Greenplum 官方资料的第一 人),曾经说过:学会用 Greenplum 不难,但要用好 Greenplum 就 要下一番苦工。Greenplum 的项目,有的是从其他数据库产品迁移过来的数据模 型,有的是新设计的数据模型。无论是哪种情况,设计时请重点关注 Greenplum 的特性,要充分发挥 Greenplum 所长。 ·分布键: 均匀为第一大原则,选取更有业务意义的字段,并非必须选择原库 的主键(PK)。 ·压缩表使用: 大表都要采用压缩存储,既节省空间也节省 IO 资源。长远来看还可 降低阵列卡和磁盘的故障率。 ·行存还是列存: 列存0 码力 | 64 页 | 2.73 MB | 1 年前3 Greenplum 精粹文集开放性的特性给客户带来的好处,不只是硬件厂商和型号的选择范围, 也包含工程实施过程的便利性。2014 年,该客户大数据平台需要进行 数据搬迁,Greenplum 采用了旧环境数据备份、传输、新环境恢复的 方案,停机时间实际只花了不到 4 天。 相比较而言,其他封闭式系统,需要压缩并备份数据,倒腾出整套设 备搬迁到新数据中心,然后再导入新数据,影响或暂停业务几十天。 两种方案从工程复杂度、人力投入、业务影响来说,开放式架构所带 SQL,懂数据库的应用开发,学会使用 Greenplum 是很简单的。这也是国内大量客户选择 Greenplum 产品的 原因之一。每当有新的企业客户使用 Greenplum 产品,就会有一批新 的 Greenplum 工程师被培养出来。 国内的一位 Greenplum 大咖(也是翻译 Greenplum 官方资料的第一 人),曾经说过:学会用 Greenplum 不难,但要用好 Greenplum 就 要下一番苦工。Greenplum 的项目,有的是从其他数据库产品迁移过来的数据模 型,有的是新设计的数据模型。无论是哪种情况,设计时请重点关注 Greenplum 的特性,要充分发挥 Greenplum 所长。 ·分布键: 均匀为第一大原则,选取更有业务意义的字段,并非必须选择原库 的主键(PK)。 ·压缩表使用: 大表都要采用压缩存储,既节省空间也节省 IO 资源。长远来看还可 降低阵列卡和磁盘的故障率。 ·行存还是列存: 列存0 码力 | 64 页 | 2.73 MB | 1 年前3
 Apache Doris 在美团外卖数仓中的应用实践明细查询,查询时效基本都可以控 制在秒级。 7日趋势分析,2~3秒。由于数据量较大,根据集群规模不同查询性能有所区别,但数据量 较大时,调动的集群资源较多,因此MPP的并发性能受限于集群的性能。一般原则是并发 较高的业务,需要严格控制查询时效(基本在毫秒级),对于并发不高的业务,允许进行 较大的查询,但也要考虑集群的承受能力。 通过一年来的应用以及Doris的不断改进升级,Doris的高可靠、高可用、高可扩展性也得 层管理与应用支撑效率,业务将变得“定义即可见”,也将极大地提升数据的价值。 参考资料 Doris文档和源码 Apache Kylin VS Apache Doris 作者简介 朱良,美团外卖数据仓库工程师。 凯森,美团大数据工程师,Apache Kylin Committer。 本文原文:Apache Doris在美团外卖数仓中的应用实践 本博客文章除特别声明,全部都是原创! 原创文章版权归过往记忆大数据(过往记忆)所有,未经许可不得转载。0 码力 | 8 页 | 429.42 KB | 1 年前3 Apache Doris 在美团外卖数仓中的应用实践明细查询,查询时效基本都可以控 制在秒级。 7日趋势分析,2~3秒。由于数据量较大,根据集群规模不同查询性能有所区别,但数据量 较大时,调动的集群资源较多,因此MPP的并发性能受限于集群的性能。一般原则是并发 较高的业务,需要严格控制查询时效(基本在毫秒级),对于并发不高的业务,允许进行 较大的查询,但也要考虑集群的承受能力。 通过一年来的应用以及Doris的不断改进升级,Doris的高可靠、高可用、高可扩展性也得 层管理与应用支撑效率,业务将变得“定义即可见”,也将极大地提升数据的价值。 参考资料 Doris文档和源码 Apache Kylin VS Apache Doris 作者简介 朱良,美团外卖数据仓库工程师。 凯森,美团大数据工程师,Apache Kylin Committer。 本文原文:Apache Doris在美团外卖数仓中的应用实践 本博客文章除特别声明,全部都是原创! 原创文章版权归过往记忆大数据(过往记忆)所有,未经许可不得转载。0 码力 | 8 页 | 429.42 KB | 1 年前3
 Greenplum Database 管理员指南 6.2.1- 117 - Greenplum Database 管理员指南 V6.2.1 版权所有:Esena(陈淼 +86 18616691889) 编写:陈淼 - 5 - 决定表是否分区的原则 .......................................................................................... - 118 - 任何与该条件有交集(互相有重叠关系)的约束都会被移除。例如存在的约束为 BETWEEN DAY 'Monday' AND DAY 'Tuesday'。那么删除'Monday'限制时会移 除整个限制。原则是有交集即移除。例如: =# ALTER ROLE generaluser DROP DENY FOR DAY 'Monday'; 这些限制登录的信息存储在 pg_catalog. 0)将会继续分为定额部分和可共享部分。创建资源组时,MEMORY_SHARED_QUOTA 属 性用于指定,为资源组配额的专享内存中,多少百分比作为可共享内存,这部分的可共 享内存,该资源组中的并发事务都可以使用,并且采用先到先得的原则来分配,正在运 行的事务可能完全不用,也可能用一些,也可能使用到全部。 MEMORY_SHARED_QUOTA 属性的取值范围是 0 到 100,缺省值是 80。 正如之前说的,CONCURRENCY0 码力 | 416 页 | 6.08 MB | 1 年前3 Greenplum Database 管理员指南 6.2.1- 117 - Greenplum Database 管理员指南 V6.2.1 版权所有:Esena(陈淼 +86 18616691889) 编写:陈淼 - 5 - 决定表是否分区的原则 .......................................................................................... - 118 - 任何与该条件有交集(互相有重叠关系)的约束都会被移除。例如存在的约束为 BETWEEN DAY 'Monday' AND DAY 'Tuesday'。那么删除'Monday'限制时会移 除整个限制。原则是有交集即移除。例如: =# ALTER ROLE generaluser DROP DENY FOR DAY 'Monday'; 这些限制登录的信息存储在 pg_catalog. 0)将会继续分为定额部分和可共享部分。创建资源组时,MEMORY_SHARED_QUOTA 属 性用于指定,为资源组配额的专享内存中,多少百分比作为可共享内存,这部分的可共 享内存,该资源组中的并发事务都可以使用,并且采用先到先得的原则来分配,正在运 行的事务可能完全不用,也可能用一些,也可能使用到全部。 MEMORY_SHARED_QUOTA 属性的取值范围是 0 到 100,缺省值是 80。 正如之前说的,CONCURRENCY0 码力 | 416 页 | 6.08 MB | 1 年前3
 Apache ShardingSphere v5.5.0 中文文档元数据同步至多个 Apache ShardingSphere 实例,无 法在集群环境中相互感知。通过某一实例更新元数据之后,会导致其他实例由于获取不到最新的元数据 而产生不一致的错误。 适用于工程师在本地搭建 Apache ShardingSphere 环境。 4.2 集群模式 提供了多个 Apache ShardingSphere 实例之间的元数据共享和分布式场景下状态协调的能力。它能够提 ShardingSphere 提供了多样化的功能,涵盖范围从数据库内核、数据库分布式到贴近数据库上 层的应用,为用户提供了大量的功能池。 功能并无边界,只要满足数据库服务和生态的共性需求即可,期待更多的开源工程师参与 Apache Shard‐ ingSphere 社区,提供新颖思路和令人兴奋的功能。 8.1 数据分片 8.1.1 背景 传统的将数据集中存储至单一节点的解决方案,在性能、可用性和运维成本这三方面已经难于满足海量 据分片的标准解决方案。 8.1.2 挑战 虽然数据分片解决了性能、可用性以及单点备份恢复等问题,但分布式的架构在获得了收益的同时,也 引入了新的问题。 面对如此散乱的分片之后的数据,应用开发工程师和数据库管理员对数据库的操作变得异常繁重就是其 中的重要挑战之一。他们需要知道数据需要从哪个具体的数据库的子表中获取。 另一个挑战则是,能够正确的运行在单节点数据库中的 SQL,在分片之后的数据库中并不一定能够正确0 码力 | 557 页 | 4.61 MB | 1 年前3 Apache ShardingSphere v5.5.0 中文文档元数据同步至多个 Apache ShardingSphere 实例,无 法在集群环境中相互感知。通过某一实例更新元数据之后,会导致其他实例由于获取不到最新的元数据 而产生不一致的错误。 适用于工程师在本地搭建 Apache ShardingSphere 环境。 4.2 集群模式 提供了多个 Apache ShardingSphere 实例之间的元数据共享和分布式场景下状态协调的能力。它能够提 ShardingSphere 提供了多样化的功能,涵盖范围从数据库内核、数据库分布式到贴近数据库上 层的应用,为用户提供了大量的功能池。 功能并无边界,只要满足数据库服务和生态的共性需求即可,期待更多的开源工程师参与 Apache Shard‐ ingSphere 社区,提供新颖思路和令人兴奋的功能。 8.1 数据分片 8.1.1 背景 传统的将数据集中存储至单一节点的解决方案,在性能、可用性和运维成本这三方面已经难于满足海量 据分片的标准解决方案。 8.1.2 挑战 虽然数据分片解决了性能、可用性以及单点备份恢复等问题,但分布式的架构在获得了收益的同时,也 引入了新的问题。 面对如此散乱的分片之后的数据,应用开发工程师和数据库管理员对数据库的操作变得异常繁重就是其 中的重要挑战之一。他们需要知道数据需要从哪个具体的数据库的子表中获取。 另一个挑战则是,能够正确的运行在单节点数据库中的 SQL,在分片之后的数据库中并不一定能够正确0 码力 | 557 页 | 4.61 MB | 1 年前3
 TiDB v5.3 中文手册的账号体系与 TiDB SQL 用户一致,并基于 TiDB SQL 用户的权限进行 TiDB Dashboard 授权验 证。TiDB Dashboard 所需的权限较少,甚至可以只有只读权限。可以基于最小权限原则配置合适的用户 访问 TiDB Dashboard,减少高权限用户的使用场景。 建议为访问 TiDB Dashboard 创建一个最小权限的 SQL 用户,并用该用户登录 TiDB Dashboard,避免使用高 down-peer-region-count:Raft leader 上报有不响应 peer 的 Region 数量。 • offline-peer-region-count:peer 下线过程中的 Region 数量。 原则上来说,该监控面板偶尔有数据是符合预期的。但长期有数据,需要排查是否存在问题。 6.5.1.5 KV Request Duration 图 38: TiKV 相应时间 TiKV 当前.99(百 系统调优需要根据系统性能分析的结果做指导,因此本文先列出常用的性能分析方法。 9.1.1.1.1 60 秒分析法 此分析法由《性能之巅》的作者 Brendan Gregg 及其所在的 Netflix 性能工程团队公布。所用到的工具均可从发 行版的官方源获取,通过分析以下清单中的输出,可定位大部分常见的性能问题。 • uptime • dmesg | tail • vmstat 1 • mpstat0 码力 | 2374 页 | 49.52 MB | 1 年前3 TiDB v5.3 中文手册的账号体系与 TiDB SQL 用户一致,并基于 TiDB SQL 用户的权限进行 TiDB Dashboard 授权验 证。TiDB Dashboard 所需的权限较少,甚至可以只有只读权限。可以基于最小权限原则配置合适的用户 访问 TiDB Dashboard,减少高权限用户的使用场景。 建议为访问 TiDB Dashboard 创建一个最小权限的 SQL 用户,并用该用户登录 TiDB Dashboard,避免使用高 down-peer-region-count:Raft leader 上报有不响应 peer 的 Region 数量。 • offline-peer-region-count:peer 下线过程中的 Region 数量。 原则上来说,该监控面板偶尔有数据是符合预期的。但长期有数据,需要排查是否存在问题。 6.5.1.5 KV Request Duration 图 38: TiKV 相应时间 TiKV 当前.99(百 系统调优需要根据系统性能分析的结果做指导,因此本文先列出常用的性能分析方法。 9.1.1.1.1 60 秒分析法 此分析法由《性能之巅》的作者 Brendan Gregg 及其所在的 Netflix 性能工程团队公布。所用到的工具均可从发 行版的官方源获取,通过分析以下清单中的输出,可定位大部分常见的性能问题。 • uptime • dmesg | tail • vmstat 1 • mpstat0 码力 | 2374 页 | 49.52 MB | 1 年前3
 TiDB v6.1 中文手册service 包,内含了项目实现的接口与逻辑 接口 PlayerService.java 文件内定义了逻辑接口,实现接口,而不是直接编写一个类的原因,是尽量使例子贴近 实际使用,体现设计的开闭原则。你也可以省略掉此接口,在依赖类中直接注入实现类,但并不推荐这样做。 package com.pingcap.service; import com.pingcap.dao.PlayerBean; PROPAGATION_NESTED 传播行为。基于 Java Spring 框架的应用如果使用 了 PROPAGATION_NESTED 传播行为,需要在应用端做出调整,将嵌套事务的逻辑移除。 4.8.3.5 大事务限制 基本原则是要限制事务的大小。TiDB 对单个事务的大小有限制,这层限制是在 KV 层面。反映在 SQL 层面的话, 简单来说一行数据会映射为一个 KV entry,每多一个索引,也会增加一个 KV entry。所以这个限制反映在 Schema 设计:根据你的业务负载类型,为了避免事务冲突或者是热点,你可能需要对表的 Schema 做出 一些调整。 4.9.1.1 SQL 性能调优 为了让 SQL 语句的性能更好,可以遵循以下原则: • 扫描的数据越少越好,最好能只扫描需要的数据,避免扫描多余的数据。 • 使用合适的索引,对于 SQL 中的 WHERE 子句中的 Column,需要保证有相应索引,否则这将是一个全表扫 的语句,性能会很差。0 码力 | 3572 页 | 84.36 MB | 1 年前3 TiDB v6.1 中文手册service 包,内含了项目实现的接口与逻辑 接口 PlayerService.java 文件内定义了逻辑接口,实现接口,而不是直接编写一个类的原因,是尽量使例子贴近 实际使用,体现设计的开闭原则。你也可以省略掉此接口,在依赖类中直接注入实现类,但并不推荐这样做。 package com.pingcap.service; import com.pingcap.dao.PlayerBean; PROPAGATION_NESTED 传播行为。基于 Java Spring 框架的应用如果使用 了 PROPAGATION_NESTED 传播行为,需要在应用端做出调整,将嵌套事务的逻辑移除。 4.8.3.5 大事务限制 基本原则是要限制事务的大小。TiDB 对单个事务的大小有限制,这层限制是在 KV 层面。反映在 SQL 层面的话, 简单来说一行数据会映射为一个 KV entry,每多一个索引,也会增加一个 KV entry。所以这个限制反映在 Schema 设计:根据你的业务负载类型,为了避免事务冲突或者是热点,你可能需要对表的 Schema 做出 一些调整。 4.9.1.1 SQL 性能调优 为了让 SQL 语句的性能更好,可以遵循以下原则: • 扫描的数据越少越好,最好能只扫描需要的数据,避免扫描多余的数据。 • 使用合适的索引,对于 SQL 中的 WHERE 子句中的 Column,需要保证有相应索引,否则这将是一个全表扫 的语句,性能会很差。0 码力 | 3572 页 | 84.36 MB | 1 年前3
 TiDB v5.4 中文手册down-peer-region-count:Raft leader 上报有不响应 peer 的 Region 数量。 • offline-peer-region-count:peer 下线过程中的 Region 数量。 原则上来说,该监控面板偶尔有数据是符合预期的。但长期有数据,需要排查是否存在问题。 6.5.1.5 KV Request Duration 图 43: TiKV 相应时间 TiKV 当前.99(百 系统调优需要根据系统性能分析的结果做指导,因此本文先列出常用的性能分析方法。 9.1.1.1.1 60 秒分析法 60 秒分析法由《性能之巅》的作者 Brendan Gregg 及其所在的 Netflix 性能工程团队公布。所用到的工具均可从 发行版的官方源获取,通过分析以下清单中的输出,可定位大部分常见的性能问题。 • uptime • dmesg | tail • vmstat 1 • mpstat level1 的 #### sst 和 level2 种有 overlap 的 sst 进行 compaction。 #### 黄金定律:max-bytes-for-level-base 的设置的第一参考原则就是保证和 level0 的数据量大致相 #### 等,这样能够减少不必要的 compaction。例如压缩方式为"no:no:lz4:lz4:lz4:lz4:lz4",那么 #### max-0 码力 | 2852 页 | 52.59 MB | 1 年前3 TiDB v5.4 中文手册down-peer-region-count:Raft leader 上报有不响应 peer 的 Region 数量。 • offline-peer-region-count:peer 下线过程中的 Region 数量。 原则上来说,该监控面板偶尔有数据是符合预期的。但长期有数据,需要排查是否存在问题。 6.5.1.5 KV Request Duration 图 43: TiKV 相应时间 TiKV 当前.99(百 系统调优需要根据系统性能分析的结果做指导,因此本文先列出常用的性能分析方法。 9.1.1.1.1 60 秒分析法 60 秒分析法由《性能之巅》的作者 Brendan Gregg 及其所在的 Netflix 性能工程团队公布。所用到的工具均可从 发行版的官方源获取,通过分析以下清单中的输出,可定位大部分常见的性能问题。 • uptime • dmesg | tail • vmstat 1 • mpstat level1 的 #### sst 和 level2 种有 overlap 的 sst 进行 compaction。 #### 黄金定律:max-bytes-for-level-base 的设置的第一参考原则就是保证和 level0 的数据量大致相 #### 等,这样能够减少不必要的 compaction。例如压缩方式为"no:no:lz4:lz4:lz4:lz4:lz4",那么 #### max-0 码力 | 2852 页 | 52.59 MB | 1 年前3
 TiDB v5.2 中文手册down-peer-region-count:Raft leader 上报有不响应 peer 的 Region 数量。 • offline-peer-region-count:peer 下线过程中的 Region 数量。 原则上来说,该监控面板偶尔有数据是符合预期的。但长期有数据,需要排查是否存在问题。 6.5.1.5 KV Request Duration 图 38: TiKV 相应时间 TiKV 当前.99(百 系统调优需要根据系统性能分析的结果做指导,因此本文先列出常用的性能分析方法。 9.1.1.1.1 60 秒分析法 此分析法由《性能之巅》的作者 Brendan Gregg 及其所在的 Netflix 性能工程团队公布。所用到的工具均可从发 行版的官方源获取,通过分析以下清单中的输出,可定位大部分常见的性能问题。 • uptime • dmesg | tail • vmstat 1 • mpstat level1 的 #### sst 和 level2 种有 overlap 的 sst 进行 compaction。 #### 黄金定律:max-bytes-for-level-base 的设置的第一参考原则就是保证和 level0 的数据量大致相 #### 等,这样能够减少不必要的 compaction。例如压缩方式为"no:no:lz4:lz4:lz4:lz4:lz4",那么 #### max-0 码力 | 2259 页 | 48.16 MB | 1 年前3 TiDB v5.2 中文手册down-peer-region-count:Raft leader 上报有不响应 peer 的 Region 数量。 • offline-peer-region-count:peer 下线过程中的 Region 数量。 原则上来说,该监控面板偶尔有数据是符合预期的。但长期有数据,需要排查是否存在问题。 6.5.1.5 KV Request Duration 图 38: TiKV 相应时间 TiKV 当前.99(百 系统调优需要根据系统性能分析的结果做指导,因此本文先列出常用的性能分析方法。 9.1.1.1.1 60 秒分析法 此分析法由《性能之巅》的作者 Brendan Gregg 及其所在的 Netflix 性能工程团队公布。所用到的工具均可从发 行版的官方源获取,通过分析以下清单中的输出,可定位大部分常见的性能问题。 • uptime • dmesg | tail • vmstat 1 • mpstat level1 的 #### sst 和 level2 种有 overlap 的 sst 进行 compaction。 #### 黄金定律:max-bytes-for-level-base 的设置的第一参考原则就是保证和 level0 的数据量大致相 #### 等,这样能够减少不必要的 compaction。例如压缩方式为"no:no:lz4:lz4:lz4:lz4:lz4",那么 #### max-0 码力 | 2259 页 | 48.16 MB | 1 年前3
 TiDB v5.1 中文手册down-peer-region-count:Raft leader 上报有不响应 peer 的 Region 数量。 • offline-peer-region-count:peer 下线过程中的 Region 数量。 原则上来说,该监控面板偶尔有数据是符合预期的。但长期有数据,需要排查是否存在问题。 6.5.1.5 KV Request Duration 图 38: TiKV 相应时间 TiKV 当前.99(百 系统调优需要根据系统性能分析的结果做指导,因此本文先列出常用的性能分析方法。 9.1.1.1.1 60 秒分析法 此分析法由《性能之巅》的作者 Brendan Gregg 及其所在的 Netflix 性能工程团队公布。所用到的工具均可从发 行版的官方源获取,通过分析以下清单中的输出,可定位大部分常见的性能问题。 • uptime • dmesg | tail • vmstat 1 • mpstat level1 的 #### sst 和 level2 种有 overlap 的 sst 进行 compaction。 #### 黄金定律:max-bytes-for-level-base 的设置的第一参考原则就是保证和 level0 的数据量大致相 #### 等,这样能够减少不必要的 compaction。例如压缩方式为"no:no:lz4:lz4:lz4:lz4:lz4",那么 #### max-0 码力 | 2189 页 | 47.96 MB | 1 年前3 TiDB v5.1 中文手册down-peer-region-count:Raft leader 上报有不响应 peer 的 Region 数量。 • offline-peer-region-count:peer 下线过程中的 Region 数量。 原则上来说,该监控面板偶尔有数据是符合预期的。但长期有数据,需要排查是否存在问题。 6.5.1.5 KV Request Duration 图 38: TiKV 相应时间 TiKV 当前.99(百 系统调优需要根据系统性能分析的结果做指导,因此本文先列出常用的性能分析方法。 9.1.1.1.1 60 秒分析法 此分析法由《性能之巅》的作者 Brendan Gregg 及其所在的 Netflix 性能工程团队公布。所用到的工具均可从发 行版的官方源获取,通过分析以下清单中的输出,可定位大部分常见的性能问题。 • uptime • dmesg | tail • vmstat 1 • mpstat level1 的 #### sst 和 level2 种有 overlap 的 sst 进行 compaction。 #### 黄金定律:max-bytes-for-level-base 的设置的第一参考原则就是保证和 level0 的数据量大致相 #### 等,这样能够减少不必要的 compaction。例如压缩方式为"no:no:lz4:lz4:lz4:lz4:lz4",那么 #### max-0 码力 | 2189 页 | 47.96 MB | 1 年前3
共 70 条
- 1
- 2
- 3
- 4
- 5
- 6
- 7













