 Greenplum 精粹文集密要求。解密数据、确定用户是否可以访问全部或者部分的数据也是 采用一个相似的流程。 此功能通过在加密之前捕获用户信息并将凭证传递至安装在所有 Greenplum 节点上的本地 Protegrity 代理完成加密流程。此流程与维 护、存取和应用策略 (Policy) 目录的服务器通信,在加密期间,此功 能将访问策略以应用、确定用户的数据访问权限,并根据策略解密和 掩盖数据。 Big Date2.indd PEP 代理 和 Protegrity ESA。 安全管理员将与 Protegrity ESA 交互。他们将宣布数据策略,确定将 使用什么样的加密算法来保存数据。此外,他们将定义谁可以访问并 解密数据的用户策略并明确一些规则,确定用户是否可以看到所有数 据,或仅能看到经过隐蔽处理的部分数据。然后,这些策略将被下推 到所有在 Pivotal Greenplum 服务器上运行的 PEP 代理处。 Big 精粹文集 53 在 PivotalGreenplum 集群上,每当用户发出一个查询使用 Protegrity 所提供的功能时,查询操作就将立即检索数据,然后该功能将联系本 地的 PEP 代理。此功能可向 PEP 代理告知使用查询的用户,这样, 它就可以查看 ESA 提供的目录,了解适用于该用户的规则及其尝试访 问的数据。它将取部分数据检查用户是否具有访问权限,然后 PEP 代 理将对数据运行加密或解密并返回数值。0 码力 | 64 页 | 2.73 MB | 1 年前3 Greenplum 精粹文集密要求。解密数据、确定用户是否可以访问全部或者部分的数据也是 采用一个相似的流程。 此功能通过在加密之前捕获用户信息并将凭证传递至安装在所有 Greenplum 节点上的本地 Protegrity 代理完成加密流程。此流程与维 护、存取和应用策略 (Policy) 目录的服务器通信,在加密期间,此功 能将访问策略以应用、确定用户的数据访问权限,并根据策略解密和 掩盖数据。 Big Date2.indd PEP 代理 和 Protegrity ESA。 安全管理员将与 Protegrity ESA 交互。他们将宣布数据策略,确定将 使用什么样的加密算法来保存数据。此外,他们将定义谁可以访问并 解密数据的用户策略并明确一些规则,确定用户是否可以看到所有数 据,或仅能看到经过隐蔽处理的部分数据。然后,这些策略将被下推 到所有在 Pivotal Greenplum 服务器上运行的 PEP 代理处。 Big 精粹文集 53 在 PivotalGreenplum 集群上,每当用户发出一个查询使用 Protegrity 所提供的功能时,查询操作就将立即检索数据,然后该功能将联系本 地的 PEP 代理。此功能可向 PEP 代理告知使用查询的用户,这样, 它就可以查看 ESA 提供的目录,了解适用于该用户的规则及其尝试访 问的数据。它将取部分数据检查用户是否具有访问权限,然后 PEP 代 理将对数据运行加密或解密并返回数值。0 码力 | 64 页 | 2.73 MB | 1 年前3
 Greenplum分布式事务和两阶段提交协议写日志 Greenplum分布式事务和两阶段提交协议写日志- 日志落盘 写日志 - 记录日志 - 日志落盘 记录日志 - 日志落盘 协调者 参与者 发送prepare消息 ready 发送commit/abort消息 ack 阶段2 阶段1 25 2PC同样可以应用在单机系统上 协调者 资源管理器1 资源管理器2 资源管理器3 日志1 日志2 日志3 PREPARE / g_twophase目录下的文件并进行相关操 作,为该事务重新获取锁。 3. 恢复成功后,删掉pg_twophase目录下的文件 《数据库系统概念》19.4.1.3节,参与者在响应prepare消息之前记录 - 32 Greenplum实现分布式事务与并发控制 • 分布式事务管理 • 分布式事务的创建、状态迁移等 • QD向QE发起两阶段提交 • 分布式快照 • 0 码力 | 42 页 | 2.12 MB | 1 年前3
 Greenplum数据仓库UDW - UCloud中立云计算服务商案例⼀ 案例⼀ 利⽤ 利⽤ logstash+Kafka+UDW 对⽇志数据分析 对⽇志数据分析 Logstash 是⽬前⽐流⾏、使⽤较多的⽇志收集和管理系统,Kafka也是企业常⽤的分布式发布-订阅消息系统,UDW(UCloud Data Warehouse)是⼤规模并⾏处理数据仓库产品,下⾯介 绍⼀些利⽤ logstash+Kafka+UDW 构建⽇志收集-存储-分析的全套解决⽅案。 Logstash收集⽇志到 UCloud 优刻得 177/206 5. 启动logstash收集⽇志到Kafka 执⾏ bin/logstash agent -f logstash-output-kafka.conf 发送消息到 Kafka 备注:我们除了⽤ logstash 收集⽇志到 kafka 之外,我们还可以使⽤ Flume 收集⽇志到 Kafka,也可以把 Spark、Storm 中的流式数据写⼊到 Kafka。更多0 码力 | 206 页 | 5.35 MB | 1 年前3 Greenplum数据仓库UDW - UCloud中立云计算服务商案例⼀ 案例⼀ 利⽤ 利⽤ logstash+Kafka+UDW 对⽇志数据分析 对⽇志数据分析 Logstash 是⽬前⽐流⾏、使⽤较多的⽇志收集和管理系统,Kafka也是企业常⽤的分布式发布-订阅消息系统,UDW(UCloud Data Warehouse)是⼤规模并⾏处理数据仓库产品,下⾯介 绍⼀些利⽤ logstash+Kafka+UDW 构建⽇志收集-存储-分析的全套解决⽅案。 Logstash收集⽇志到 UCloud 优刻得 177/206 5. 启动logstash收集⽇志到Kafka 执⾏ bin/logstash agent -f logstash-output-kafka.conf 发送消息到 Kafka 备注:我们除了⽤ logstash 收集⽇志到 kafka 之外,我们还可以使⽤ Flume 收集⽇志到 Kafka,也可以把 Spark、Storm 中的流式数据写⼊到 Kafka。更多0 码力 | 206 页 | 5.35 MB | 1 年前3
 Greenplum 编译安装和调试窗口。选择需要调试 的进程id即可。(如果确定进程id请见前面小节) 如果 clion 调试器console显示类似 “Debugger attached to process 38965” 的消息,则表示进程 attach成功,可以使用 clion进行调试了。 通过图像化窗口定位到 “ExecProcNode” 函数,通过单击下图的小红圈处,即可设置断点在 ExecAgg() 调用处。0 码力 | 15 页 | 2.07 MB | 1 年前3 Greenplum 编译安装和调试窗口。选择需要调试 的进程id即可。(如果确定进程id请见前面小节) 如果 clion 调试器console显示类似 “Debugger attached to process 38965” 的消息,则表示进程 attach成功,可以使用 clion进行调试了。 通过图像化窗口定位到 “ExecProcNode” 函数,通过单击下图的小红圈处,即可设置断点在 ExecAgg() 调用处。0 码力 | 15 页 | 2.07 MB | 1 年前3
 Greenplum Database 管理员指南 6.2.1例如,要终止 pid 为 2395 的查询: =# SELECT pg_cancel_backend(2395); 还可以为 pg_cancel_backend()函数提供一个可选的消息参数,用于通知该查 询的 ROLE,告知为何终止了其执行的事务。例如: =# SELECT pg_cancel_backend(2395,'因系统维护暂停使用'); 该事务的 ROLE Greenplum creation? Yy/Nn gpinitsystem命令在确认输入[Yy]后,会继续进行并行的集群初始化操作,在 初始化成功之后,GP数据库集群就处于已启动状态,并会输出如下消息: Greenplum Database instance successfully created 初始化异常排查 在初始化过程中,如果某个Instance创建或启动失败,都会导致初始化报错失败, 数是中断客户端连接,客户端将无法继续使用被中断 的连接,要想继续访问数据库,必须重连建立数据库连接。 如果提供了msg参数,数据库在取消SQL或者中断客户端连接时,会将该信息发送 给客户端。消息的长度限制是128个字节,超出的部分会被截断,如果有中文被截断导 致半个中文,客户端将会收不到msg信息,而是收到如下的报错信息: ERROR: Message skipped due to0 码力 | 416 页 | 6.08 MB | 1 年前3 Greenplum Database 管理员指南 6.2.1例如,要终止 pid 为 2395 的查询: =# SELECT pg_cancel_backend(2395); 还可以为 pg_cancel_backend()函数提供一个可选的消息参数,用于通知该查 询的 ROLE,告知为何终止了其执行的事务。例如: =# SELECT pg_cancel_backend(2395,'因系统维护暂停使用'); 该事务的 ROLE Greenplum creation? Yy/Nn gpinitsystem命令在确认输入[Yy]后,会继续进行并行的集群初始化操作,在 初始化成功之后,GP数据库集群就处于已启动状态,并会输出如下消息: Greenplum Database instance successfully created 初始化异常排查 在初始化过程中,如果某个Instance创建或启动失败,都会导致初始化报错失败, 数是中断客户端连接,客户端将无法继续使用被中断 的连接,要想继续访问数据库,必须重连建立数据库连接。 如果提供了msg参数,数据库在取消SQL或者中断客户端连接时,会将该信息发送 给客户端。消息的长度限制是128个字节,超出的部分会被截断,如果有中文被截断导 致半个中文,客户端将会收不到msg信息,而是收到如下的报错信息: ERROR: Message skipped due to0 码力 | 416 页 | 6.08 MB | 1 年前3
共 5 条
- 1













