Doris 的数据导入事务及原子性保证 杨政国 百度资深研发工程师 Doris Committer 01 Doris简介 导入的问题 02 03 Doris中的导入 使用案例 04 Doris简介 01 • 基于MPP（大规模并行处理）架构的分析型数据库 01 Doris简介 • 性能卓越，PB级别数据毫秒/秒级响应 • 适用于高并发、低延时下的多维分析、实时报表等场景 • 生效的数据未被读取到 读写冲突问题 原始数据 查询导入结果 源 操作1 操作2 处理 失败 失败 源 操作1 操作2 重试成功 额外重试 处理两次 02 导入的问题 At-Most-Once & At-Least-Once 语义 At-Most-Once语义 At-Least-Once语义 失败 源 操作1 操作2 重试成功 重试 只处理一次 Exactly-Once语义 事务状态改为 Abort • BE 等待回收任务删除已写入数据 Phase 2 总结 03 Doris 中的导入 • 写入带版本 • 查询带版本 多版本机制解决读写冲突 两阶段导入保证多表原子生效 • 支持并行导入 • 有冲突时按导入顺序生效，无冲突导入时并行生效 写入带版本 查询带版本 支持并行导入 冲突时按顺序生效 （多版本机制） （两阶段导入） 事务能力保证 使用案例

Redis操作手册 前言： 1.蓝色字体表示命令行命令，正式执行时不要复制前面的#号，#号只是提示应 该使用root权限操作 2.绿色字体表示注释，有时注释太多就不用绿色表示了 3.注意：本文档的所有操作请先在测试机里进行实践，请不要直接在真实的服 务器中操作！ 版权声明： 本文档以开源的形式发布，所有条款如下： （1）无担保：作者不保证文档内容的准确无误，亦不承担由于使用此文档所导致的任何后果 redis-6.2.13 # make # make install #默认安装路径 /usr/local/bin/ ★也可指定安装目录，如下操作： # mkdir /usr/local/redis # make install PREFIX=/usr/local/redis #会自动生成一个bin子目录，安装 在/usr config_file:/root/redis-6.2.13/redis.conf ...... 10.99.1.51:6379> shutdown #停止服务运行，谨慎操作 not connected> exit not connected> quit 10.99.1.51:6379> set keyxx valuexx #创建一个键值对

postgresql操作手册 前言： 1.蓝色字体表示命令行命令，正式执行时不要复制前面的#号，#号只是提示应 该使用root权限操作 2.绿色字体表示注释，有时注释太多就不用绿色表示了 3.注意：本文档的所有操作请先在测试机里进行实践，请不要直接在真实的服 务器中操作！ 版权声明： 本文档以开源的形式发布，所有条款如下： （1）无担保：作者不保证文档内容的准确无误，亦不承担由于使用此文档所导致的任何后果 #创建一个名为cof的 用户，并设置密码 postgres=# grant all on database db_test to cof; #给cof授权，有操作db_test 库的所有权限 postgres=# postgres=# revoke all on database db_test from cof; #撤销用户权限 postgres=# 网络类型为PostgreSQL(TCP/IP)，依 赖库要>=目标pg数据库版本 下载最新版本的pgAdmin并安装运行 ★第6章、数据库及表基础操作 pg数据库名称及表名称不区分大小写 ★库操作 postgres=# create database db_test; #新建1个名为db_test的数据库 postgres=#

白皮书 开源 Greenplum 新篇章： 兼容欧拉开源操作系统的数据平台 支持国产生态的高级分析数据平台 作者：Greenplum 中文社区、 欧拉开源社区 完全兼容欧拉开源操作系统的 HTAP 数据平台 Greenplum 白皮书 .......................................................................................... 4 欧拉开源操作系统 ................................................................................................ .......................................................................................... 6 欧拉开源操作系统平台架构 ............................................................................................

Postgres Conference China 2016 中国用户大会 4 HBase的模型特性 Hadoop database and NoSQL database • 基本的数据库操作CRUD • 强一致性 • 无SQL语言支持 • 稀疏的多维映射表 – 列存储 – 只用row key来定位行 – 每行可以有不同的列 – 数据有多个版本（在不同的时间点的快照信息） • 分 2016 中国用户大会 HBase的原子性保证 HBase仅保证对行操作的原子性 • 任何行级的操作是原子的 – 一条记录的Put操作要么完全成功，要么完全失败。 • 操作返回成功(success)表示操作完成 • 操作返回失败(failure)表示操作全部失败 • 超时操作可能是成功也可能失败，但不可能部分成功 – 即使跨column family的行操作也是原子的 • 支持一次性修改多行的API并不保证跨行的原 支持一次性修改多行的API并不保证跨行的原 子性操作 – 一般情况下，API会在结果中分别返回执行成功、 失败以及超时的行操作列表 6 Postgres Conference China 2016 中国用户大会 HBase体系结构 7 Postgres Conference China 2016 中国用户大会 场景及应用 8 Postgres Conference China 2016 中国用户大会

● Greenplum两阶段提交协议的实现 ● Greenplum两阶段提交协议的优化 Outline 7 事务的属性：ACID 属性 含义 数据库系统的实现 Atomic 原子性 事务中的操作要么全部正确执行，要么完全不 执行。 Write Ahead Logging，分布式事务：两阶段提交协议 Consistency 一致性 数据库系统必须保证事务的执行使得数据库 从一个一致性状态转移到另一个一致性状态。 （OCC） Durability 持久性 一个事务在提交之后，该事务对数据库的改变 是持久的。 Write Ahead Logging + 存储管理 Jim Gray于1981年VLDB描述了事务的原子性、一致性和持久性，在此基础上，Haerder和Reuter在1983年中提出了事务的隔离性并提出术语 “ACID”，自此，事务的ACID四个性质成为业内标准术语 8 Disk-Oriented 缓冲区管理策略Buffer Management Policy 13 ■ Force策略的问题 对持久存储器进行频繁的随机写操作，性能下降。 ■ No-Steal策略的问题 不允许未提交事务的脏页换出，系统的并发量不高。 ▪ No-Force / Steal 有更好的性能，但是怎么保证事务的原子性和持久 性？ ❏ No-Force: 事务提交，所修改的数据页没有刷回至持久存储，如果发生断电 或者系统崩溃。

147 147 181 191 193 202 目录 目录 目录 SQL手册 数据类型 字面常量 SQL操作符 别名 SQL-手册 注释 语法帮助 DML DDL 信息查看语句 辅助命令 账户管理 内置函数 聚合函数 位操作函数 字符串函数 条件函数 数学函数 JSON解析函数 类型转换函数 格式转换函数 通用函数 时间和日期函数 BITMAP函数 表示tab键 \n 表示换行符 \r 表示回车符 \b 表示回退符 \0 表示ASCII码的空字符（和SQL语言的NULL不同） \Z 表示dos 的文本结束符 \%和_用来转义传给LIKE操作符的字符串中的通配符 \\防止反斜线符号被解释成转义字符 如果字符串字面常量被单引号或双引号括起来，则反斜线符号可以用来转义该字符串字面常量中出现的单引号或双引号。 如果\后面出现的字符不是上 10:10:10'。 SQL操作符 SQL操作符是一系列用于比较的函数，这些操作符广泛的用于select 语句的where从句中。 算数操作符 算数操作符 算术操作符通常出现在包含左操作数，操作符，（大部分情况下）右操作数组成的表达式中。 +和-：可以作为单元或2元操作符。当其作为单元操作符时，如+1, -2.5 或者-col_name， 表达的意思是该值乘以+1或者- 1。因此单元操作符+返回的是未

使用手册 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262 通过 UI 界面来操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267 4.5 ShardingSphere‐UI . . 服务启动时如何加快 metadata 加载速度？ . . . . . . . . . . . . . . . . . . . . . . . . 290 7.19 如何在 inline 分表策略时，允许执行范围查询操作（BETWEEN AND、>、<、>=、<=）？ 290 7.20 为什么配置了某个数据连接池的 spring‐boot‐starter（比如 druid）和 shardingsphere‐ j PostgreSQL 版本，它可以使用任何兼容 MySQL/PostgreSQL 协议的访问客户端 (如：MySQL Command Client, MySQL Workbench, Navicat 等) 操作数据，对 DBA 更加友好。 • 向应用程序完全透明，可直接当做 MySQL/PostgreSQL 使用。 • 适用于任何兼容 MySQL/PostgreSQL 协议的的客户端。 1.1.3

. . . . . . . . . . . . . . . . . . . . . . . . . . 291 7.7.13 13. [分片] 如何在 inline 分表策略时，允许执行范围查询操作（BETWEEN AND、 >、<、>=、<=）？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291 PostgreSQL 的数据库）版本，它可以使 用任何兼容 MySQL/PostgreSQL 协议的访问客户端（如：MySQL Command Client, MySQL Workbench, Navicat 等）操作数据，对 DBA 更加友好。 • 向应用程序完全透明，可直接当做 MySQL/PostgreSQL 使用。 • 适用于任何兼容 MySQL/PostgreSQL 协议的的客户端。 1.1. 简介 ${proxy_port} ${proxy_conf_directory} 2.2.4 4. 使用 ShardingSphere-Proxy 执行 MySQL 或 PostgreSQL 的客户端命令直接操作 ShardingSphere‐Proxy 即可。以 MySQL 举例： mysql -u${proxy_username} -p${proxy_password} -h${proxy_host}

2.1.3 前提条件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 2.1.4 操作步骤 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 i 2.2 ShardingSphere‐Proxy 2.2.3 前提条件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 2.2.4 操作步骤 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 3 功能 14 3.1 数据分片 . . 252 参数解释 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252 操作步骤 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252 vi 配置示例 .