查询固定的数据，或者外部表的数据有周期性变化，编者认为，通过物化视图来加速外 部表的访问并不是物化视图特有的功能，在外部表上创建物化视图同样需要读取外部表 的全部数据，这与，把数据加载到一张普通的数据表，没有任何差异。而物化视图的刷 新与普通数据表的TRUNCATE并重新INSERT效果相同。 如果一种SQL查询只是在个别语句中用到，可以使用SELECT命令的WITH子句来实 现，可能不需要为此而创建一张很少用到的视图。编者再次提醒，不要乱用视图，更不 完全放 弃了filerep的机制，使用了WAL同步策略，这将从根本上避免了损毁page被同步到 Mirror的情况发生。 GP数据库对数据的修改操作是在内存中完成的，之后，数据会被刷入磁盘，在将 数据刷入磁盘时，数据库会自动计算checksum的值，并与数据一同保存到page中， checksum的值将会作为page的header被一同存储到磁盘上。当从磁盘读取page时， 会根据chec 损 坏影响数据库的正常运行，因为并不是所有的异常都能够被磁盘管理系统或者操作系统 检测到。尤其是机械盘这种机械原理的硬件设备，异常是时有发生的，所以，厂商都会 设置一个经验性的阈值，只有异常比例超过预设的阈值时才被认为设备有故障，而在此 之前，可能已经有很多的异常发生，且已经影响到操作系统和数据库的正常运行。 目前的5版本和6版本，在使用gpinitsystem初始化数据库集群时，都是缺省打

No-Force Force: 事务提交时，所修改的页面必须强制刷回到持久存储中 No-Force: 事务提交时，所修改的页面不需要强制刷回到持久存储中 ■ Steal / No-Steal Steal: 允许Buffer Pool里未提交事务所修改的脏页刷回到持久存储 No-steal: 不允许Buffer Pool里未提交事务所修改的脏页刷到持久存储中 缓冲区管理策略Buffer Management 有更好的性能，但是怎么保证事务的原子性和持久 性？ ❏ No-Force: 事务提交，所修改的数据页没有刷回至持久存储，如果发生断电 或者系统崩溃。 ❏ Steal: Buffer Pool中未提交的事务所修改的脏页刷回到持久存储，如果发生 断电或者系统崩溃。 缓冲区管理策略 14 ■ No-Force → Redo Log 事务提交时，数据页不需要刷回持久存储，为了保证持久性，先把Redo Log写 入日志文件。Redo 入日志文件。Redo log记录修改数据对象的新值(After Image, AFIM) ■ Steal → Undo Log 允许Buffer Pool未提交事务所修改的脏页刷回到持久存储，为了保证原子性， 先把Undo Log写入日志文件。Undo Log记录修改数据对象的旧值(Before Image, BFIM) Solution: Logging 15 缓冲区管理策略和事务恢复的关系 Force

新一代财富管理平台是支撑光大银行理财公司运营的核心系统，提供理财业务的全流程管理。依托私有 云基础设施与平台 4.0 开发框架，光大银行定制了分布式批处理方案，设计目标是余额宝每小时理财交易 2000 万笔，零钱通单日 5000 万笔，同时还要满足未来 3-5 年业务发展和接入更多互联网代销渠道需求。 光大银行在同城两数据中心构建 TiDB 双活集群，采用 5副本 TiKV，设计 40TB 运辑容量，同时将 TiDB

所得的应用场景，美团平台使用Kylin作为公司的主要MOLAP引擎。MOLAP是预计算生产，在增 量业务，预设维度分析场景下表现良好，但在变化维的场景下生产成本巨大。例如，如果使用最 新商家类型回溯商家近三个月的表现，需要重新计算三个月的Cube，需花费几个小时，来计算近 TB的历史数据。另外，应对非预设维度分析，MOLAP模型需要重新进行适配计算，也需要一定的 迭代工作。 明细数据的交互 业务分析 App层的业务表达可以通过视图进行封装，减少了数据冗余，同时提高了应用的灵活性， 降低了运维成本。 3. 同时支持“汇总+明细”。 4. 模型轻量标准化，极大的降低了生产成本。 综上所述，在变化维、非预设维、细粒度统计的应用场景下，使用MPP引擎驱动的ROLAP模式， 可以简化模型设计，减少预计算的代价，并通过强大的实时计算能力，可以支撑良好的实时交互 体验。 双引擎下的应用场景适配问题 架构上 有哪一种数据生产方案能 够解决所有业务问题。数据库引擎技术的发展，为我们提供更多手段提升数据建设方案。实践证 明，以Doris引擎为驱动的ROLAP模式可以较好地处理汇总与明细、变化维的历史回溯、非预设维 的灵活应用、准实时的批处理等场景。而以Kylin为基础的MOLAP模式在处理增量业务分析，固化 维度场景，通过预计算以空间换时间方面依然重要。 业务方面，通过外卖数仓Doris的成功实践以及跨

strings MySQL Source ID 参数解释 • task-name： – 非 flag 参数，string，必选； – 指定预设的操作将生效的任务。 • source： – flag 参数，string，--source； – source 指定预设操作将生效的 MySQL 实例。 • skip：跳过该错误 • replace：替代错误的 DDL 语句 • revert：重置该错误先前的 REPLICATION CLIENT (show master status, show slave status) 无 本地 读/写 磁盘 Dump SELECTRELOAD（获取读锁 将表数据刷到磁盘，进行 一些操作后，再释放读锁 对表进行解锁） 无 本地写 磁盘 Load 无 SELECT（查询 checkpoint 历史） CREATE（创建数 据库或表） DELETE（删除 数据同步软件支持从不同类型的数据源迁移到 TiDB 集群。针对各种数据源类型，产品支持程度可以分为 四个级别： • 正式支持：该场景经过验证，并且通过完整的测试流程。 • 实验支持：虽然通过部分验证，但测试尚未覆盖所有预设场景或用户较少，存在少量场景下可能出错 的风险。 • 未测试：DM 在迭代过程中尽量保证 MySQL 协议的兼容性，但由于资源限制，无法测试所有 MySQL 衍生 版本。因此虽然技术原理上兼容，但是并未经完整测试，需要使用前自行验证。

28bits | 22bits | 13bits | • sign：长度固定为 1 位。固定为 0，表示生成的 ID 始终为正数。 • delta seconds：默认 28 位。当前时间，表示为相对于某个预设时间基点 (默认 “2016-05-20”) 的增量值，单 位为秒。28 位最多可支持约 8.7 年。 • worker node id：默认 22 位。表示机器 id，通常在应用程序进程启动时从一个集中式的 得；在迁移执行出错前，binlog position 可在上游 MySQL 中使用 SHOW BINLOG EVENTS 获得。 • -s, --source strings： – 类型：string。 – source 指定预设操作将生效的 MySQL 实例。 • 其他参数参考 -h 提示。 使用示例 迁移中断执行跳过操作 如需在迁移中断时执行跳过操作，可使用 binlog skip 命令： binlog skip REPLICATION CLIENT (show master status, show slave status) 无 本地 读/写 磁盘 Dump SELECTRELOAD（获取读锁 将表数据刷到磁盘，进行 一些操作后，再释放读锁 对表进行解锁） 无 本地写 磁盘 Load 无 SELECT（查询 checkpoint 历史） CREATE（创建数 据库或表） DELETE（删除

28bits | 22bits | 13bits | • sign：长度固定为 1 位。固定为 0，表示生成的 ID 始终为正数。 • delta seconds：默认 28 位。当前时间，表示为相对于某个预设时间基点 (默认 “2016-05-20”) 的增量值，单 位为秒。28 位最多可支持约 8.7 年。 • worker node id：默认 22 位。表示机器 id，通常在应用程序进程启动时从一个集中式的 得；在迁移执行出错前，binlog position 可在上游 MySQL 中使用 SHOW BINLOG EVENTS 获得。 • -s, --source strings： – 类型：string。 – source 指定预设操作将生效的 MySQL 实例。 • 其他参数参考 -h 提示。 使用示例 迁移中断执行跳过操作 如需在迁移中断时执行跳过操作，可使用 binlog skip 命令： binlog skip REPLICATION CLIENT (show master status, show slave status) 无 本地 读/写 磁盘 Dump SELECTRELOAD（获取读锁 将表数据刷到磁盘，进行 一些操作后，再释放读锁 对表进行解锁） 无 本地写 磁盘 Load 无 SELECT（查询 checkpoint 历史） CREATE（创建数 据库或表） DELETE（删除

28bits | 22bits | 13bits | • sign：长度固定为 1 位。固定为 0，表示生成的 ID 始终为正数。 • delta seconds：默认 28 位。当前时间，表示为相对于某个预设时间基点 (默认 “2016-05-20”) 的增量值，单 位为秒。28 位最多可支持约 8.7 年。 • worker node id：默认 22 位。表示机器 id，通常在应用程序进程启动时从一个集中式的 得；在迁移执行出错前，binlog position 可在上游 MySQL 中使用 SHOW BINLOG EVENTS 获得。 • -s, --source strings： – 类型：string。 – source 指定预设操作将生效的 MySQL 实例。 • 其他参数参考 -h 提示。 使用示例 迁移中断执行跳过操作 如需在迁移中断时执行跳过操作，可使用 binlog skip 命令： binlog skip REPLICATION CLIENT (show master status, show slave status) 无 本地 读/写 磁盘 Dump SELECTRELOAD（获取读锁 将表数据刷到磁盘，进行 一些操作后，再释放读锁 对表进行解锁） 无 本地写 磁盘 Load 无 SELECT（查询 checkpoint 历史） CREATE（创建数 据库或表） DELETE（删除

28bits | 22bits | 13bits | • sign：长度固定为 1 位。固定为 0，表示生成的 ID 始终为正数。 • delta seconds：默认 28 位。当前时间，表示为相对于某个预设时间基点 (默认 “2016-05-20”) 的增量值，单 位为秒。28 位最多可支持约 8.7 年。 • worker node id：默认 22 位。表示机器 id，通常在应用程序进程启动时从一个集中式的 得；在迁移执行出错前，binlog position 可在上游 MySQL 中使用 SHOW BINLOG EVENTS 获得。 • -s, --source strings： – 类型：string。 – source 指定预设操作将生效的 MySQL 实例。 • 其他参数参考 -h 提示。 使用示例 迁移中断执行跳过操作 如需在迁移中断时执行跳过操作，可使用 binlog skip 命令： binlog skip REPLICATION CLIENT (show master status, show slave status) 无 本地 读/写 磁盘 Dump SELECTRELOAD（获取读锁 将表数据刷到磁盘，进行 一些操作后，再释放读锁 对表进行解锁） 无 本地写 磁盘 Load 无 SELECT（查询 checkpoint 历史） CREATE（创建数 据库或表） DELETE（删除

28bits | 22bits | 13bits | • sign：长度固定为 1 位。固定为 0，表示生成的 ID 始终为正数。 • delta seconds：默认 28 位。当前时间，表示为相对于某个预设时间基点 (默认 “2016-05-20”) 的增量值，单 位为秒。28 位最多可支持约 8.7 年。 • worker node id：默认 22 位。表示机器 id，通常在应用程序进程启动时从一个集中式的 得；在迁移执行出错前，binlog position 可在上游 MySQL 中使用 SHOW BINLOG EVENTS 获得。 • -s, --source strings： – 类型：string。 – source 指定预设操作将生效的 MySQL 实例。 • 其他参数参考 -h 提示。 使用示例 迁移中断执行跳过操作 如需在迁移中断时执行跳过操作，可使用 binlog skip 命令： binlog skip REPLICATION CLIENT (show master status, show slave status) 无 本地 读/写 磁盘 Dump SELECTRELOAD（获取读锁 将表数据刷到磁盘，进行 一些操作后，再释放读锁 对表进行解锁） 无 本地写 磁盘 Load 无 SELECT（查询 checkpoint 历史） CREATE（创建数 据库或表） DELETE（删除