Doris 的数据导入事务及原子性保证 杨政国 百度资深研发工程师 Doris Committer 01 Doris简介 导入的问题 02 03 Doris中的导入 使用案例 04 Doris简介 01 • 基于MPP（大规模并行处理）架构的分析型数据库 01 Doris简介 • 性能卓越，PB级别数据毫秒/秒级响应 • 适用于高并发、低延时下的多维分析、实时报表等场景 • 生效的数据未被读取到 读写冲突问题 原始数据 查询导入结果 源 操作1 操作2 处理 失败 失败 源 操作1 操作2 重试成功 额外重试 处理两次 02 导入的问题 At-Most-Once & At-Least-Once 语义 At-Most-Once语义 At-Least-Once语义 失败 源 操作1 操作2 重试成功 重试 只处理一次 Exactly-Once语义 事务状态改为 Abort • BE 等待回收任务删除已写入数据 Phase 2 总结 03 Doris 中的导入 • 写入带版本 • 查询带版本 多版本机制解决读写冲突 两阶段导入保证多表原子生效 • 支持并行导入 • 有冲突时按导入顺序生效，无冲突导入时并行生效 写入带版本 查询带版本 支持并行导入 冲突时按顺序生效 （多版本机制） （两阶段导入） 事务能力保证 使用案例

147 147 181 191 193 202 目录 目录 目录 SQL手册 数据类型 字面常量 SQL操作符 别名 SQL-手册 注释 语法帮助 DML DDL 信息查看语句 辅助命令 账户管理 内置函数 聚合函数 位操作函数 字符串函数 条件函数 数学函数 JSON解析函数 类型转换函数 格式转换函数 通用函数 时间和日期函数 BITMAP函数 表示tab键 \n 表示换行符 \r 表示回车符 \b 表示回退符 \0 表示ASCII码的空字符（和SQL语言的NULL不同） \Z 表示dos 的文本结束符 \%和_用来转义传给LIKE操作符的字符串中的通配符 \\防止反斜线符号被解释成转义字符 如果字符串字面常量被单引号或双引号括起来，则反斜线符号可以用来转义该字符串字面常量中出现的单引号或双引号。 如果\后面出现的字符不是上 10:10:10'。 SQL操作符 SQL操作符是一系列用于比较的函数，这些操作符广泛的用于select 语句的where从句中。 算数操作符 算数操作符 算术操作符通常出现在包含左操作数，操作符，（大部分情况下）右操作数组成的表达式中。 +和-：可以作为单元或2元操作符。当其作为单元操作符时，如+1, -2.5 或者-col_name， 表达的意思是该值乘以+1或者- 1。因此单元操作符+返回的是未

沟通后，确定后续版本 Unique 模型也将支持部分列更新。  Duplicate 模型区别于 Aggregate 和 Unique 模型，数据完全按照导入的明细数据 进行存储，不会有任何预聚合或去重操作，即使两行数据完全相同也都会保留，因 此 Duplicate 模型适用于既没有聚合需求，又没有主键唯一性约束的原始数据存储。 确定数据模型之后，我们在建表时如何对列进行命名呢？可以直接使用指标或者是标签的名 是不支持对列名进行修改的，如果直接使用指标/标签名称作为列名，则无法满 足上述标签或指标更名的需求。而对于上下架标签的需求，如果直接以 drop/add column 的方式实现，则会涉及数据文件的更改，该操作耗时耗力，甚至会影响线上查询的性能。 那么，有没有更轻量级的方式来满足需求呢？接下来将为大家分享相关解决方案及收益：  为了实现少量标签、指标名称修改，我们用 MySQL 表存储相应的元数据，包括名 分钟内就可以使用相应的数据。 值得关注的是，在社区近期发布的 1.2.0 版本中，增加了 Light Schema Change 功能， 对 于增减列的操作不需要修改数据文件，只需要修改 FE 中的元数据，从而可以实现毫秒级的 Schame Change 操作。同时开启 Light Schema Change 功能的数据表也可以支持列名的 修改，这与我们的需求十分匹配，后续我们也会及时升级到最新版本。

业务分析除了宏观数据之外，对明细数据查询也是一种刚需。通常大家会选择MySQL等关系型DB 作为明细数据的快速检索查询，但当业务成长较快时，很快就会遇到性能瓶颈，并且运维成本也 很高。例如，大数据量的同步、新增字段、历史数据更新等操作，它们的维护成本都非常高。 外卖运营业务特点 美团的使命是“帮大家吃得更好，生活更好”。外卖业务为大家提供送餐服务，连接商家与用户， 这是一个劳动密集型的业务，外卖业务有上万人的运营团队来服务全国几百万的商家，并以“商圈