Doris 的数据导入事务及原子性保证 杨政国 百度资深研发工程师 Doris Committer 01 Doris简介 导入的问题 02 03 Doris中的导入 使用案例 04 Doris简介 01 • 基于MPP（大规模并行处理）架构的分析型数据库 01 Doris简介 • 性能卓越，PB级别数据毫秒/秒级响应 • 适用于高并发、低延时下的多维分析、实时报表等场景 • 支持集群动态伸缩 • 高度集成，不依赖于外部存储系统 • 架构优雅，单集群可水平扩展至200台以上 • 查询性能业界领先 • 高并发查询，100台集群可达10w QPS • 流式导入单节点100MB/s，小批量导入毫 秒延迟 • 数据、元数据高可用，线上稳定服务6年 • 机器故障副本自动迁移 01 Doris简介 MySQL Tools （MySQL Networking） FE 任何节点都可线性扩展 01 Doris 简介 导入的问题 02 典型应用场景——OLAP分析 数据源 数据应用 数据存储 对象存储BOS OLTP WEB端日志 移动端日志 本地文件 数据分析 业务应用 实时大屏 多维报表 自助查询 用户画像 Doris 02 导入的问题 Vn Vn Vn Vn V1-Vn-1 02 导入的问题 • 部分数据丢失，产生脏数据

Aug Year - 1 Year - 2 External OSS云存储  直接通过外表表即可存储数据到OSS下 适合于存放历史归档数据。  “冷数据”需要时直接查询无需重新进 行导入。  支持CSV，ORC, PARQUET。 Jul Nov Oct Sep 冷热数据统一管理，基于OSS云存储构筑数据湖分析（规划中） ...... 热数据：需要高性能分析计算的数据存放在本地 盘，可设为行存或列存适合不同业务的实时分析 冷数据：存储在OSS外部存储 保存价格低廉，数据在线可查询 Year - 3 非结构化数据向量检索， “以图搜图” （规划中） 场景应用： 1、Web App把图片或者视频等非结构化数据 通过特征提取服务，提取特征向量，并写入 AnalyticDB for PG的向量表。 2、Web App检索的时，把非结构化数据通过 特征提取服务接口提取出向量，同时调用 AnalyticDB AnalyticDB for PostgreSQL Client 特征提取服 务 5.检索分析 1.注册特征提取服务 3.写入url 4.生成特征 2.写入非 结构化数 OSS 音频 图片 文本 向量 ①GPU的计算性能加速 ②支持Greenplum 6.0版本 其他演进规划： 更快性能 敬请期待！

ShardingSphere-Proxy 149 Apache ShardingSphere document RAL Resource & Rule Administration Language，负责强制路由、熔断、配置导入导出、数据迁移控制等管理 功能。 RUL Resource & Rule Utility Language，负责 SQL 解析、SQL 格式化、执行计划预览等功能。 对系统的影响 之前 在拥有 ShardingSphere document IMPORT DATABASE CONFIGURATION 描述 IMPORT DATABASE CONFIGURATION 语法用于将 YAML 中的配置导入到指定逻辑库中。 语法 ExportDatabaseConfiguration ::= 'IMPORT' 'DATABASE' 'CONFIGURATION' 'FROM' 'FILE' filePath IMPORT DATABASE CONFIGURATION 语法仅支持对空逻辑库进行导入操作。 示例 • 将 YAML 中的配置导入到指定逻辑库中 IMPORT DATABASE CONFIGURATION FROM FILE "/xxx/config_sharding_db.yaml"; • 将 YAML 中的配置导入到当前逻辑库中 IMPORT DATABASE CONFIGURATION FROM

Resource & Rule Query Language，负责资源和规则的查询和展现。 RAL Resource & Rule Administration Language，负责强制路由、熔断、配置导入导出、数据迁移控制等管理 功能。 RUL Resource & Rule Utility Language，负责 SQL 解析、SQL 格式化、执行计划预览等功能。 对系统的影响 之前 在拥有 ShardingSphere document IMPORT DATABASE CONFIGURATION 描述 IMPORT DATABASE CONFIGURATION 语法用于将 YAML 中的配置导入到指定逻辑库中。 语法 ExportDatabaseConfiguration ::= 'IMPORT' 'DATABASE' 'CONFIGURATION' 'FROM' 'FILE' filePath DATABASE CONFIGURATION 语法仅支持对空逻辑库进行导入操作。 示例 • 将 YAML 中的配置导入到指定逻辑库中 IMPORT DATABASE CONFIGURATION FROM FILE "/xxx/config_sharding_db.yaml" TO sharding_ db; • 将 YAML 中的配置导入到当前逻辑库中 IMPORT DATABASE CONFIGURATION

Resource & Rule Query Language，负责资源和规则的查询和展现。 RAL Resource & Rule Administration Language，负责强制路由、熔断、配置导入导出、数据迁移控制等管理 功能。 RUL Resource & Rule Utility Language，负责 SQL 解析、SQL 格式化、执行计划预览等功能。 对系统的影响 之前 在拥有 FILE 相关链接 • 保留字 IMPORT DATABASE CONFIGURATION 描述 IMPORT DATABASE CONFIGURATION 语法用于从 YAML 中的配置导入逻辑库。 语法 ExportDatabaseConfiguration ::= 'IMPORT' 'DATABASE' 'CONFIGURATION' 'FROM' 'FILE' filePath ShardingSphere-Proxy 355 Apache ShardingSphere document 补充说明 • 当元数据中已存在同名逻辑库时，无法导入； • 当 YAML 中 databaseName 为空时，无法导入； • 当 YAML 中 dataSources 为空时，只导入空的逻辑库。 示例 IMPORT DATABASE CONFIGURATION FROM FILE "/xxx/config_sharding_db

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 48 2.3.10 数据导入和导出 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 394 8.7.2 使用 PLAN REPLAYER 导入集群信息 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 395 8.8 TiDB · · · · · · 714 11.2.3 从 CSV 导入数据到 TiDB· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 714 11.2.4 从 MySQL/Aurora 导入全量数据 · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 65 2.3.10 数据导入和导出 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 565 6.3 50 TiB 数据导入最佳实践 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 568 6.3.7 导入大单表的最佳实践 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 69 2.3.10 数据导入和导出 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1348 13.2.3 从 CSV 导入数据到 TiDB· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1348 13.2.4 从 MySQL/Aurora 导入全量数据 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1825 13.7.11 TiDB Lightning 并行导入 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 50 2.3.10 数据导入和导出 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 552 6.3 50 TiB 数据导入最佳实践 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 555 6.3.7 导入大单表的最佳实践 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 65 2.3.10 数据导入和导出 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 568 6.3 50 TiB 数据导入最佳实践 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 571 6.3.7 导入大单表的最佳实践 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·