..................... - 66 - 使用资源队列 .................................................................................................................... - 68 - 资源队列如何工作 ............................. .................................... - 68 - 使用资源队列做资源管理的步骤 ............................................................................ - 71 - 配置资源队列管理资源 ............................................ .................. - 71 - 创建资源队列 ............................................................................................................ - 74 - 分配 ROLE(User)到资源队列 ..............................

过⼤量的实践应⽤， Redis 简洁⾼效、安全稳定的印象已经深⼊⼈⼼。 ⽆论是国内还是国外， 从财富五百强到⼩ 型初创公司都在使⽤ Redis ， 很多云服务提供商还以 Redis 为基础构建了相应的缓存服务、消息队列服务以及内 存存储服务 —— 当你使⽤这些服务时， 你实际上就是在使⽤ Redis 。 除了变得越来越受欢迎之外， Redis 在过去数年的另⼀个变化就是更新速度越来越快， 功能也变得越来越多、越 1.2.0 版 本 开 始 可 ⽤。 4.7 示例：先进先出队列 先进先出队列（first in first out queue）是⼀种⾮常常⻅的数据结构， ⼀般都会包含⼊队（enqueue）和出队 （dequeue）这两个操作， 其中⼊队操作会将⼀个元素放⼊到队列中， ⽽出队操作则会从队列中移除最先被⼊队 的元素。 先进先出队列的应⽤⾮常⼴泛， 它⻅诸于各式各样的应⽤程序当中。 举个例⼦， 作都放⼊到先进先出队列⾥⾯， 然后以队列⽅式处理⽤户的购 买操作， 这样程序就可以在不使⽤锁或者事务的情况下实现秒杀系统， 并且得益于先进先出队列的特性， 这种秒 杀系统可以按照⽤户执⾏购买操作的顺序来判断哪些⽤户可以成功执⾏购买操作， 因此它是公平的。 代码清单 4-1 展示了⼀个使⽤ Redis 列表实现先进先出队列的⽅法。 代码清单 4-1 使⽤列表实现的先进先出队列：/list/fifo_queue

ShardingSphere 在对排序的查询进行归并时，将每个结果集的当前数据值进行比较（通过实现 Java 的 Comparable 接口完成），并将其放入优先级队列。每次获取下一条数据时，只需将队列顶端结果集的游 标下移，并根据新游标重新进入优先级排序队列找到自己的位置即可。 通过一个例子来说明 ShardingSphere 的排序归并，下图是一个通过分数进行排序的示例图。图中展示 了 3 张表返回的 个数据结果集的当前游标指向的数据值进行排序，并放入优先级队列，t_score_0 的第一个数据值 最大，t_score_2 的第一个数据值次之，t_score_1 的第一个数据值最小，因此优先级队列根据 t_score_0， t_score_2 和 t_score_1 的方式排序队列。 下图则展现了进行 next 调用的时候，排序归并是如何进行的。通过图中我们可以看到，当进行第一次 next 调用时，排在队列首位的 t_score_0 t_score_0 将会被弹出队列，并且将当前游标指向的数据值（也就是 100）返回 至查询客户端，并且将游标下移一位之后，重新放入优先级队列。而优先级队列也会根据 t_score_0 的当 前数据结果集指向游标的数据值（这里是 90）进行排序，根据当前数值，t_score_0 排列在队列的最后一 3.1. 数据分片 42 Apache ShardingSphere document, v5.0.0-beta

优化查询以减少内存的消耗  在资源队列中降低查询的并发数  降低GP集群中单节点的Segment Instance数量  增加机器的内存  检查gp_vmem_protect_limit 参数, 确保其不要超过安全的最大值  在会话层面降低statement_mem 参数的设定值  在数据库层面降低statement_mem参数的设定值  在资源队列中限制内存使用量 OOM-解决办法 5，建议采用1，避免过多占用OS的内存.  调整资源队列中MEMORY_LIMIT的总和小于 gp_vmem_protect_limit *0.9.  调整资源中的Active_statement和Max_cost，CCB的参考值如下： – Max_Cost :30亿 – Active_Statements:30 – Menory_Limit:多个队列的总和小于gp_vmem_protect_limit CCB设置以上参数后，基本上没有OOM发生，唯一遇到的是left join超大表（400亿条记录）导致的，用户已优化SQL 资源队列设置没有一个统一的标准，具体的参数设置需要根据项目的实际运行情况， 可以通过gp_toolkit.gp_resqueue_status 观察到队列的使用情况，逐步调整参数到最优状态。 角色组和权限管理  在GPDB中，对象权限不能从Schema继承，

结束 sh bin/stop.sh 应用配置项 应用现有配置项如下，相应的配置可在 conf/server.yaml 中修改： 名称 说明 默认值 blockQueueSize 数据传输通道队列大小 10000 workerThread 工作线程池大小，允许同时运行的迁移任务线程数 40 5.4.3 使用手册 使用手册 环境要求 纯 JAVA 开发，JDK 建议 1.8 以上版本。 ShardingSphere 在对排序的查询进行归并时，将每个结果集的当前数据值进行比较（通过实现 Java 的 Comparable 接口完成），并将其放入优先级队列。每次获取下一条数据时，只需将队列顶端结果集的游 标下移，并根据新游标重新进入优先级排序队列找到自己的位置即可。 通过一个例子来说明 ShardingSphere 的排序归并，下图是一个通过分数进行排序的示例图。图中展示 了 3 张表返回的 个数据结果集的当前游标指向的数据值进行排序，并放入优先级队列，t_score_0 的第一个数据值 最大，t_score_2 的第一个数据值次之，t_score_1 的第一个数据值最小，因此优先级队列根据 t_score_0， t_score_2 和 t_score_1 的方式排序队列。 下图则展现了进行 next 调用的时候，排序归并是如何进行的。通过图中我们可以看到，当进行第一次 next 调用时，排在队列首位的 t_score_0

document TYPE( -- 算法类型。可选项：MEMORY NAME='MEMORY', PROPERTIES( -- 算法属性 'block-queue-size'='2000' -- 属性：阻塞队列大小 ))) ); 使用手册 MySQL 使用手册 环境要求 支持的 MySQL 版本：5.1.15 ~ 8.0.x。 权限要求 1. 源端开启 binlog MySQL 5.7 my 类型。 TYPE( -- 算法类型。可选项：MEMORY NAME='MEMORY', PROPERTIES( -- 算法属性 'block-queue-size'='2000' -- 属性：阻塞队列大小 ))) ); 9.2. ShardingSphere-Proxy 400 Apache ShardingSphere document CDC Client 手册 CDC Client 目前是将大事务完整解析，这样可能会导致 CDC Server 进程 OOM，后续可能会考虑强制截断。 建议的配置 CDC 的性能目前没有一个固定的值，可以关注配置中读/写的 batchSize，以及内存队列的大小，根据实 际情况进行调优。 9.3 通用配置 本章主要介绍通用配置，包括属性配置和内置算法配置。 9.3.1 属性配置 背景信息 Apache ShardingSphere 提供属性配置的方式配置系统级配置。

output 环节。如果不配置则 默认使用 MEMORY 类型 type: # 算法类型。可选项：MEMORY props: # 算法属性 block-queue-size: # 属性：阻塞队列大小 completionDetector: # 作业是否接近完成检测算法。如果不配置则无法自动进行后续步骤，可以通 过 DistSQL 手动操作。 type: # 算法类型。可选项：IDLE ShardingSphere 在对排序的查询进行归并时，将每个结果集的当前数据值进行比较（通过实现 Java 的 Comparable 接口完成），并将其放入优先级队列。每次获取下一条数据时，只需将队列顶端结果集的游 标下移，并根据新游标重新进入优先级排序队列找到自己的位置即可。 通过一个例子来说明 ShardingSphere 的排序归并，下图是一个通过分数进行排序的示例图。图中展示 了 3 张表返回的 个数据结果集的当前游标指向的数据值进行排序，并放入优先级队列，t_score_0 的第一个数据值 最大，t_score_2 的第一个数据值次之，t_score_1 的第一个数据值最小，因此优先级队列根据 t_score_0， t_score_2 和 t_score_1 的方式排序队列。 下图则展现了进行 next 调用的时候，排序归并是如何进行的。通过图中我们可以看到，当进行第一次 next 调用时，排在队列首位的 t_score_0

TYPE( -- 算法类型。可选项：MEMORY NAME='MEMORY', PROPERTIES( -- 算法属性 'block-queue-size'='10000' -- 属性：阻塞队列大小 ))) ); DistSQL 示例：配置 READ 限流。 CREATE MIGRATION PROCESS CONFIGURATION ( READ( 4.2. ShardingSphere-Proxy ShardingSphere 在对排序的查询进行归并时，将每个结果集的当前数据值进行比较（通过实现 Java 的 Comparable 接口完成），并将其放入优先级队列。每次获取下一条数据时，只需将队列顶端结果集的游 标下移，并根据新游标重新进入优先级排序队列找到自己的位置即可。 通过一个例子来说明 ShardingSphere 的排序归并，下图是一个通过分数进行排序的示例图。图中展示 了 3 张表返回的 个数据结果集的当前游标指向的数据值进行排序，并放入优先级队列，t_score_0 的第一个数据值 最大，t_score_2 的第一个数据值次之，t_score_1 的第一个数据值最小，因此优先级队列根据 t_score_0， t_score_2 和 t_score_1 的方式排序队列。 下图则展现了进行 next 调用的时候，排序归并是如何进行的。通过图中我们可以看到，当进行第一次 next 调用时，排在队列首位的 t_score_0

类型。 TYPE( -- 算法类型。可选项：MEMORY NAME='MEMORY', PROPERTIES( -- 算法属性 'block-queue-size'='2000' -- 属性：阻塞队列大小 ))) ); DistSQL 示例：配置 READ 限流。 ALTER MIGRATION RULE ( READ( RATE_LIMITER (TYPE(NAME='QPS',P ShardingSphere 在对排序的查询进行归并时，将每个结果集的当前数据值进行比较（通过实现 Java 的 Comparable 接口完成），并将其放入优先级队列。每次获取下一条数据时，只需将队列顶端结果集的游 标下移，并根据新游标重新进入优先级排序队列找到自己的位置即可。 通过一个例子来说明 ShardingSphere 的排序归并，下图是一个通过分数进行排序的示例图。图中展示 了 3 张表返回的 个数据结果集的当前游标指向的数据值进行排序，并放入优先级队列，t_score_0 的第一个数据值 最大，t_score_2 的第一个数据值次之，t_score_1 的第一个数据值最小，因此优先级队列根据 t_score_0， t_score_2 和 t_score_1 的方式排序队列。 下图则展现了进行 next 调用的时候，排序归并是如何进行的。通过图中我们可以看到，当进行第一次 next 调用时，排在队列首位的 t_score_0

output 环节。如果不配置则 默认使用 MEMORY 类型 type: # 算法类型。可选项：MEMORY props: # 算法属性 block-queue-size: # 属性：阻塞队列大小 completionDetector: # 作业是否接近完成检测算法。如果不配置则无法自动进行后续步骤，可以通 过 DistSQL 手动操作。 type: # 算法类型。可选项：IDLE ShardingSphere 在对排序的查询进行归并时，将每个结果集的当前数据值进行比较（通过实现 Java 的 Comparable 接口完成），并将其放入优先级队列。每次获取下一条数据时，只需将队列顶端结果集的游 标下移，并根据新游标重新进入优先级排序队列找到自己的位置即可。 通过一个例子来说明 ShardingSphere 的排序归并，下图是一个通过分数进行排序的示例图。图中展示 了 3 张表返回的 个数据结果集的当前游标指向的数据值进行排序，并放入优先级队列，t_score_0 的第一个数据值 最大，t_score_2 的第一个数据值次之，t_score_1 的第一个数据值最小，因此优先级队列根据 t_score_0， t_score_2 和 t_score_1 的方式排序队列。 下图则展现了进行 next 调用的时候，排序归并是如何进行的。通过图中我们可以看到，当进行第一次 next 调用时，排在队列首位的 t_score_0