议 Consistency 一致性 数据库系统必须保证事务的执行使得数据库 从一个一致性状态转移到另一个一致性状态。 （满足完整性约束） 实现对A、I、D三个属性的支持 Isolation 隔离性 多个事务并发地执行，对每个事务来说，它并 不会感知系统中有其他事务在同时执行。 多版本并发控制Multi-Version Concurrency Control、 两阶段加锁（Two Phase 是持久的。 Write Ahead Logging + 存储管理 Jim Gray于1981年VLDB描述了事务的原子性、一致性和持久性，在此基础上，Haerder和Reuter在1983年中提出了事务的隔离性并提出术语 “ACID”，自此，事务的ACID四个性质成为业内标准术语 8 Disk-Oriented DBMS Components 数据库管理系统组成图 Hector Garcia-Molina 32 Greenplum实现分布式事务与并发控制 • 分布式事务管理 • 分布式事务的创建、状态迁移等 • QD向QE发起两阶段提交 • 分布式快照 • QD向QE发送全局快照信息 • Writer QE和Reader QE共享本地快照信息 • distributed log：分布式事务提交日志 • 用于判断分布式事务是否提交，作用和PG 的commit log类似，基于simple

....................................................................................... - 171 - 事务隔离级别 ................................................................................................ 编写：陈淼 - 19 - 海量数据仓库的一个重大挑战是，要在一个受限的时间窗口内完成大量数据的装载。 GP 通过外部表(External Table)支持高速并行数据装载。外部表可以使用[单条记 录出错隔离]模式，以允许在装载数据过程中将出错的数据记录下来。可以设置错误容 忍的阈值，以实现对数据装载质量的控制。也可以对错误信息进行分析，以帮助改善数 据装载的质量。 结合使用外部表和 GP 的并 集群(gpstop) Greenplum Database 管理员指南 V6.2.1 版权所有：Esena(陈淼 +86 18616691889) 编写：陈淼 - 20 -  从集群中隔离故障的 Host 主机(gpstop --host)  扩展 Instance 以及在新节点间重新分布 Table(gpexpand)  监控和恢复失败的 Instance(gpstate

QD 从QE归集结果，返回给客户端 Confidential │ ©2022 VMware, Inc. 14 分布式执行和事务 Ø MVCC q Xmin, Xmax 是节点本地的 Ø 分布式快照 q QD生成，下发给QE q segment本地事务异步两阶段提交，保持一致性 Ø HTAP 优化 q 全局死锁检测 q 只读事务、只涉及到某个节点的操作、vacuum Ø SIGMOD

Queue • Memory – Chaotic – 没有严格资源隔离 – 第三方库的malloc 2017 年象行中国（杭州 站）第一期 Resource Group • SQL语句并发控制 => 事务并发控制 • 基于cost的并发控制 • 基于优先级的CPU控制 => 精确CPU比例 • 内存控制 => 严格资源隔离 2017 年象行中国（杭州 站）第一期 Running Example 精确控制 2017 年象行中国（杭州 站）第一期 Resource Group • Memory – Not using CGroups – 重构resource queue内存管理 – 严格资源隔离 – statement_mem控制spill – 每个group内做redzone和runaway detection 2017 年象行中国（杭州 站）第一期 Resource Group •

每个segment备份时设置隔离级别为串行化，保证每个 segment的数据一致性 但是，各个segment的数据设置隔离级别的动作存在时间差， 而master仍然接受新的事务，从而导致各个segment上的数 据不一致。我们可以通过实现barrier机制来避免这种情况： 1. 使数据库只读 2. 等待所有的事务全部提交，开始备份 3. 给pg_class加锁，等待每个segment备份时设置隔离级别 为串行化，恢复数据库为可读可写

xlog日志等，需要说明的是，未得到support同意，不要用pg_resetxlog去修復xlog，否则可能导致数据不一致；  故障机器隔离 当发现有机器本身有故障，例如经常性自动重启、硬盘问题时，可以将机器进行隔离（关闭），Primary将自动切换到Mirror节点；  Vacuum系统表，修改错误page 如果系统表有故障，或者发现对系统表的操作（select

版本本次测试，共计执行回归用例 930 个，其中核心数据库引擎用例 534 个，隔离级别用例 240 个，失败 1 个(疑似虚机资源问题)。其它功能测试若干，手动验证用例 2 个（SSL 工具版本问题），管理工具脚 本用例 455 个。整体质量良好。 测试活动 tempest 集成测试 核心引擎 全部 534 用例通过 隔离级别 240 用例失败 1 个 其它 手动验证用例 2 个

云数据库背景 ● 资源变化 ○ 本地资源 → 云 ○ 静态资源 → 弹性需求 ● 数据变化 ○ 内部数据 → 多数据源 ○ 数据规模 → 不易预测 ○ 数据格式 → 半结构化/无模式 ○ 数据隔离 → 数据共享 ● 云数据库市场巨大 ● 云数据库增速巨大 ● DBasS的需求 ● 跨云的需求 云数据库实现方案 云数据库需求 ● DBasS ○ 自动化运维 ○ 自动化调优 ●

更稳定延迟，CPUSET特性：create resource group rg1 (cpu_set=’4,5’, memory_limit=10, concurrency=5) 资源管理：内存 ■ 隔离 ○ segment级 ○ 资源组 ○ 查询 ■ 共享 ○ 全局segment级 ○ 资源组内 资源管理：磁盘配额 SELCT diskquota.set_schema_quota

整个 集群拖慢。 ·如果客户的实际应用还存在大量较高并发的小 IO 操作，比如随机 查询，可以考虑 SSD+SAS+ 表空间的方式，并将随机 IO 类应用对 应的表放在 SSD 设备上，从而有效的隔离底层 IO，达到更好 SLA。 某电信用户存在大量对 400 个字段以上大宽表的随机查询场景，之 前由于 IO 资源争用，在批量作业调起时随机查询响应时间显著增加， 通过这种方式改造后，达到了很好的效果。