百度智能云 Apache Doris 文档物化视图。并且仅备份一副本。 3. 备份操作的效率 备份操作的效率取决于数据量、Compute Node 节点数量以及文件数量。备份数据分片所在的每个 Compute Node 都会参与 备份操作的上传阶段。节点数量越多,上传的效率越高。 文件数据量只涉及到的分片数,以及每个分片中文件的数量。如果分片非常多,或者分片内的小文件较多,都可能增加备份 操作的时间。 EXPORT EXPORT EXPORT SQL手册 64 :当前阶段 :提交作业后的初始状态。 :执行快照中。 :快照完成,准备上传。 :快照上传中。 :将作业元信息保存为本地文件。 :上传作业元信息。 :作业成功。 :作业失败。 :备份的表和分区。 :任务提交时间。 :快照完成时间。 :快照上传完成时间。 :作业结束时间。 :在 SNAPSHOTING 和 UPLOADING 阶段会显示还未完成的子任务id。 导入任务的标识。 导入任务当前所处的阶段。在 Broker load 导入过程中主要会出现 PENDING 和 LOADING 这两个导入中的状态。如果 Broker load 处于 PENDING 状态,则说明当前导入任务正在等待被执行;LOADING 状态则表示正在执行中。 导入任务的最终阶段有两个:CANCELLED 和 FINISHED,当 Load job 处于这两个阶段时,导入完成。其中 CANCELLED0 码力 | 203 页 | 1.75 MB | 1 年前3
Doris的数据导入机制以及原子性保证• 为了保证At-Most-Once 语意, 用户同一批次数据需要使用相同的Label 03 Doris 中的导入 Prepared 事务和两阶段提交 • FE 充当协调者 • Prepare 阶段下发任务和写入数据 • Submit阶段 • 数据状态改为COMMITED • publish 版本 • 状态改为 VISIBLE Request-to-prepare Commit/Abort 2 总结 03 Doris 中的导入 • 写入带版本 • 查询带版本 多版本机制解决读写冲突 两阶段导入保证多表原子生效 • 支持并行导入 • 有冲突时按导入顺序生效,无冲突导入时并行生效 写入带版本 查询带版本 支持并行导入 冲突时按顺序生效 (多版本机制) (两阶段导入) 事务能力保证 使用案例 04 BI Application 数据加载 数据输出 数据查询0 码力 | 33 页 | 21.95 MB | 1 年前3
Apache Doris 在美团外卖数仓中的应用实践Mesa(数据模型)、Apache Impala(MPP Query Engine)和Apache ORCFile (存储格式,编码和压缩)的技术。 Doris的系统架构如下,主要分为FE和BE两个组件,FE主要负责查询的解析、编译、优化、调度 和元数 据管理;BE主要负责查询的执行和数据存储。关于Doris的更多技术细节,可参考其官方文档。 Doris的特点: 同时支持高并发点查询和高吞吐的Ad-hoc查询。 同时支持离线批量导入和实时数据导入。0 码力 | 8 页 | 429.42 KB | 1 年前3
共 3 条
- 1













