阿里云云数据库 Redis 版 产品简介为单核能力,性能在8万 QPS 的业务建议使用。如果需要更 高的性能要求,请选用集群版配置。 Redis 命令相对简单,排序、计算类命令较少 由于 Redis 的单线程机制,CPU 为主要瓶颈。如排序、计算类较多的业务建议选用集群版配置。 开放地域 开放单节点的售卖地域有华北1、华北2、华南1、华东1、华东2。 Redis 标准版-双副本 简介 Redis 命令相对简单,排序、计算类命令较少 由于 Redis 的单线程机制,CPU 会成为主要瓶颈。如排序、计算类较多的业务建议选用集群版配置。 Redis 集群版-双副本 简介 云数据库 Redis 提供双副本集群版实例,轻松突破 Redis 自身单线程瓶颈,可极大满足对于 Redis 大容量或高 性能的业务需求。 云数据库 Redis 集群版内置数据分 28、256 GB 集群版 ,可以有效的满足数据扩展需求。 QPS 压力较大 标准版 Redis 无法支撑较大的 QPS,需要采用多节点的部署方式来冲破 Redis 单线程的性能瓶颈。 Redis 集群版提供16、32、64、128、256 GB 五款集群版配置,提供8节点及16节点的部署模式。 相对标准版可以将 QPS 提升8倍或16倍。 吞吐密集型应用0 码力 | 33 页 | 1.88 MB | 1 年前3
Greenplum 精粹文集据,数据在爆发式增长,这些海量数据急需新的计算方式,需要一场 计算方式的革命。 传统的主机计算模式在海量数据面前,除了造价昂贵外,在技术上也 难于满足数据计算性能指标,传统主机的 Scale-up 模式遇到了瓶颈, SMP(对称多处理)架构难于扩展,并且在 CPU 计算和 IO 吞吐上不 能满足海量数据的计算需求。 分布式存储和分布式计算理论刚刚被提出来,Google 的两篇著名论文 发表后引起业界的关注,一篇是关于 建立在 Share-nothing 无共享架构上,让每一颗 CPU 和 每一块磁盘 IO 都运转起来,无共享架构将这种并行处理发挥到极致。 相比一些其它传统数据仓库的 Sharedisk 架构,后者最大瓶颈就是在 IO 吞吐上,在大规模数据处理时,IO 无法及时 feed 数据给到 CPU, CPU 资源处于 wait 空转状态,无法充分利用系统资源,导致 SQL 效 率低下: 一台内置 16 块 SAS 16-11-22 下午3:38 Greenplum 精粹文集 11 最 后, 也 许 你 会 有 问 题,Greenplum 采 用 Master-slave 架 构, Master 是否会成为瓶颈?完全不用担心,Greenplum 所有的并行任务 都是在 Segment 数据节点上完成后,Master 只负责生成和优化查询 计划、派发任务、协调数据节点进行并行计算。 按照我们在用户现场观察到的,Master0 码力 | 64 页 | 2.73 MB | 1 年前3
MySQL 8.0.17 调优指南(openEuler 20.09)如何使 用编译器的选项,如何发挥硬件最大的性能等等。 在性能优化时,我们必须遵循一定的原则,否则,有可能得不到正确的调优结果。主 要有以下几个方面: ● 对性能进行分析时,要多方面分析系统的资源瓶颈所在,因为系统某一方面性能 低,也许并不是它自己造成的,而是其他方面造成的。如CPU利用率是100%时, 很可能是内存容量太小,因为CPU忙于处理内存调度。 ● 一次只对影响性能的某方面的一个参数进行调整,多个参数同时调整的话,很难 统某方面的资源瓶颈情况更加严重。 MySQL 8.0.17 调优指南(openEuler 20.09) 1 调优概述 2020-10-15 1 ● 必须保证调优后的程序运行正确。 ● 调优过程是迭代渐进的过程,每一次调优的结果都要反馈到后续的代码开发中 去。 ● 性能调优不能以牺牲代码的可读性和可维护性为代价。 1.3 调优思路 性能优化首先要较为精准的定位问题,分析系统性能瓶颈,然后根据其性能指标以及 需要具体深入的分析。 瓶颈点 说明 硬件/规格 一般指的是CPU、内存、磁盘I/O方面的问题,分为服务器硬件瓶 颈、网络瓶颈(对局域网可以不考虑)。 操作系统 一般指的是Windows、UNIX、Linux等操作系统。例如,在进行性 能测试,出现物理内存不足时,虚拟内存设置也不合理,虚拟内 存的交换效率就会大大降低,从而导致行为的响应时间大大增 加,这时认为操作系统上出现性能瓶颈。 数据库 一般0 码力 | 11 页 | 223.31 KB | 1 年前3
TiDB v6.1 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 737 10.2.1 定位查询瓶颈· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 优化法,按照自上而下的性能分析方法论对 TiDB 的性能指标做了重新梳理,为 TiDB 用户提供一个系统 级别的总体性能诊断入口。通过 Performance Overview 面板,你可以直观地看到整个系统的性能瓶颈在哪 里,数量级地缩短了性能诊断时间并降低了性能分析和诊断难度。 用户文档 2.2.1.3 性能 • 支持自定义 Region 大小 从 v6.1.0 起,你可以通过coprocessor.region-split-size 采集可能会对集群资源造成挤压,影响业务的稳定运行。TiDB 从 v6.1.0 开始提供系统变量tidb_max_auto �→ _analyze_time 用来控制后台统计信息采集的最长执行时间,默认为 12 小时。当业务没有遇到资源 瓶颈的情况时,建议不要修改该参数,确保数据对象的统计信息及时采集。但是当业务压力大,资源 不足的时候,可以通过该变量减少统计信息采集的时长,避免统计信息采集对核心业务造成资源争抢。 用户文档 2.20 码力 | 3572 页 | 84.36 MB | 1 年前3
TiDB v8.0 中文手册@binshi-bing 从 v8.0.0 开始,PD 支持微服务模式。该模式可将 PD 的时间戳分配和集群调度功能拆分为以下微服务单 独部署,从而实现 PD 的性能扩展,解决大规模集群下 PD 的性能瓶颈问题。 – tso 微服务:为整个集群提供单调递增的时间戳分配。 – scheduling 微服务:为整个集群提供调度功能,包括但不限于负载均衡、热点处理、副本修复、副 本放置等。 每个微服务 每个微服务都以独立进程的方式部署。当设置某个微服务的副本数大于 1 时,该微服务会自动实现主备的容 灾模式,以确保服务的高可用性和可靠性。 目前 PD 微服务仅支持通过 TiDB Operator 进行部署。当 PD 出现明显的性能瓶颈且无法升级配置的情况下, �→ 建议考虑使用该模式。 更多信息,请参考[用户文档](#pd-微服务)。 • 增强 Titan 引擎的易用性 #16245 @Connor1996 – 默认启用 DML 类型(实验特性)#50215 @ekexium 在 TiDB v8.0.0 之前,所有事务数据在提交之前均存储在内存中。当处理大量数据时,事务所需的内存成 为限制 TiDB 处理事务大小的瓶颈。虽然 TiDB 非事务 DML 功能通过拆分 SQL 语句的方式尝试解决事务大 小限制,但该功能存在多种限制,在实际应用中的体验并不理想。 从 v8.0.0 开始,TiDB 支持处理大量数据的 DML0 码力 | 4805 页 | 101.28 MB | 1 年前3
TiDB v7.1 中文手册节点数量应根据期待的性能和响应时间调 整。 * 当 OLTP 数据吞吐量较高时(例如写入或更新超过千万行/小时),由于网络和物理磁盘的写入 能力有限,内部 TiKV 与 TiFlash 之间的 I/O 会成为主要瓶颈,也容易产生读写热点。此时 TiFlash 节点数与 OLAP 计算量有较复杂非线性关系,需要根据具体系统状态调整节点数量。 • TiSpark – 如果你的业务需要基于 Spark 进行分析,请部署 并不能保证数据立即被删除,且当前插入的数据将会在将来的 TTL 任务中才会 被删除,哪怕短时间内 TTL 删除的速度低于插入的速度,也不能说明 TTL 的效率一定过慢。需要结合具 体情况分析。 • 如何判断 TTL 任务的瓶颈在扫描还是删除? 观察面板中 TTL Scan Worker Time By Phase 与 TTL Delete Worker Time By Phase 监控项。如果 scan worker 应哪一张表。 • 如何合理配置 tidb_ttl_scan_worker_count 和 tidb_ttl_delete_worker_count? 1. 可以参考问题 “如何判断 TTL 任务的瓶颈在扫描还是删除?” 来考虑提升 tidb_ttl_scan_worker_ �→ count 还是 tidb_ttl_delete_worker_count。 296 2. 如果 TiKV 节点数量较多,提升0 码力 | 4369 页 | 98.92 MB | 1 年前3
TiDB v8.1 中文手册节点数量应根据期待的性能和响应时间调 整。 * 当 OLTP 数据吞吐量较高时(例如写入或更新超过千万行/小时),由于网络和物理磁盘的写入 能力有限,内部 TiKV 与 TiFlash 之间的 I/O 会成为主要瓶颈,也容易产生读写热点。此时 TiFlash 节点数与 OLAP 计算量有较复杂非线性关系,需要根据具体系统状态调整节点数量。 • TiSpark – 如果你的业务需要基于 Spark 进行分析,请部署 并不能保证数据立即被删除,且当前插入的数据将会在将来的 TTL 任务中才会 被删除,哪怕短时间内 TTL 删除的速度低于插入的速度,也不能说明 TTL 的效率一定过慢。需要结合具 体情况分析。 • 如何判断 TTL 任务的瓶颈在扫描还是删除? 观察面板中 TTL Scan Worker Time By Phase 与 TTL Delete Worker Time By Phase 监控项。如果 scan worker 应哪一张表。 • 如何合理配置 tidb_ttl_scan_worker_count 和 tidb_ttl_delete_worker_count? 1. 可以参考问题 “如何判断 TTL 任务的瓶颈在扫描还是删除?” 来考虑提升 tidb_ttl_scan_worker_ �→ count 还是 tidb_ttl_delete_worker_count。 281 2. 如果 TiKV 节点数量较多,提升0 码力 | 4807 页 | 101.31 MB | 1 年前3
TiDB v6.5 中文手册节点数量应根据期待的性能和响应时间调 整。 * 当 OLTP 数据吞吐量较高时(例如写入或更新超过千万行/小时),由于网络和物理磁盘的写入 能力有限,内部 TiKV 与 TiFlash 之间的 I/O 会成为主要瓶颈,也容易产生读写热点。此时 TiFlash 节点数与 OLAP 计算量有较复杂非线性关系,需要根据具体系统状态调整节点数量。 • TiSpark – 如果你的业务需要基于 Spark 进行分析,请部署 不保证所有过期数据立即被删除,过期数据被删除的时间取决于后台清理任务的调度周期和调度窗口。 • 目前单个表的清理任务同时只能在同一个 TiDB Server 节点运行,这在某些场景下(比如表特别大的情 况)可能会产生性能瓶颈。此问题会在后续版本中优化。 4.6.5 预处理语句 预处理语句是一种将多个仅有参数不同的 SQL 语句进行模板化的语句,它让 SQL 语句与参数进行了分离。可 以用它提升 SQL 语句的: • 会将数据同步更新到 follower。 默认情况下,TiDB 只会在同一个 Region 的 leader 上读写数据。当系统中存在读取热点 Region 导致 leader 资源紧 张成为整个系统读取瓶颈时,启用 Follower Read 功能可明显降低 leader 的负担,并且通过在多个 follower 之间 均衡负载,显著地提升整体系统的吞吐能力。 4.7.8.1.2 何时使用 优化读热点0 码力 | 4049 页 | 94.00 MB | 1 年前3
TiDB v7.6 中文手册倍(实验特性)#33937 #49886 @3pointer 随着 TiDB 集群规模的不断扩大,故障时快速恢复集群以减少业务中断时间显得尤为重要。在 v7.6.0 之前 的版本中,Region 打散算法是性能恢复的主要瓶颈。在 v7.6.0 中,BR 优化了 Region 打散算法,可以迅速 将恢复任务拆分为大量小任务,并批量分散到所有 TiKV 节点上。新的并行恢复算法充分利用每个 TiKV 节点的所有资源,实现了并行快速恢复。在实际案例中,大规模 Lightning block- �→ size 新增 控制物理 导入模式 (backend=' �→ local') 中本地文 件排序的 I/O 区块大 小。默认 值为 16KiB。当 IOPS 成为 瓶颈时, 可以调大 该参数的 值以缓解 磁盘 IOPS, 从而提升 数据导入 性能。 BR -- �→ granularity �→ 新增 通过设置 -- �→ granularity �→ =" 节点数量应根据期待的性能和响应时间调 整。 * 当 OLTP 数据吞吐量较高时(例如写入或更新超过千万行/小时),由于网络和物理磁盘的写入 能力有限,内部 TiKV 与 TiFlash 之间的 I/O 会成为主要瓶颈,也容易产生读写热点。此时 TiFlash 节点数与 OLAP 计算量有较复杂非线性关系,需要根据具体系统状态调整节点数量。 • TiSpark – 如果你的业务需要基于 Spark 进行分析,请部署0 码力 | 4666 页 | 101.24 MB | 1 年前3
TiDB v8.2 中文手册开始,PD 微服务支持通过 TiUP 进行部署。你可以在集群中单独部署 tso 微服务和 scheduling 微 服务,从而实现 PD 的性能扩展,解决大规模集群下 PD 的性能瓶颈问题。当 PD 出现明显的性能瓶颈且 无法升级配置的情况下,建议考虑使用该模式。 更多信息,请参考用户文档。 • 为切换资源组的操作增加权限控制 #53440 @glorv TiDB 允许用户使用命令SET RESOURCE 节点数量应根据期待的性能和响应时间调 整。 * 当 OLTP 数据吞吐量较高时(例如写入或更新超过千万行/小时),由于网络和物理磁盘的写入 能力有限,内部 TiKV 与 TiFlash 之间的 I/O 会成为主要瓶颈,也容易产生读写热点。此时 TiFlash 节点数与 OLAP 计算量有较复杂非线性关系,需要根据具体系统状态调整节点数量。 81 • TiSpark – 如果你的业务需要基于 Spark 进行分析,请部署 并不能保证数据立即被删除,且当前插入的数据将会在将来的 TTL 任务中才会 被删除,哪怕短时间内 TTL 删除的速度低于插入的速度,也不能说明 TTL 的效率一定过慢。需要结合具 体情况分析。 • 如何判断 TTL 任务的瓶颈在扫描还是删除? 观察面板中 TTL Scan Worker Time By Phase 与 TTL Delete Worker Time By Phase 监控项。如果 scan worker0 码力 | 4987 页 | 102.91 MB | 10 月前3
共 45 条
- 1
- 2
- 3
- 4
- 5













