 Doris的数据导入机制以及原子性保证性能卓越,PB级别数据毫秒/秒级响应 • 适用于高并发、低延时下的多维分析、实时报表等场景 • 由百度自研,2017年开源,2018年贡献给Apache社区后更名为 Apache Doris 系统定位 • 百度内部统称其为“百度数据仓库Palo”,同时百度云上提供Palo的企业级托管版本 发展历程 01 02 03 • 1.0版本正式上线 • 应用于百度凤巢统计报表的 需求场景,上线后数据更新 架构优雅,单集群可水平扩展至200台以上 • 查询性能业界领先 • 高并发查询,100台集群可达10w QPS • 流式导入单节点100MB/s,小批量导入毫 秒延迟 • 数据、元数据高可用,线上稳定服务6年 • 机器故障副本自动迁移 01 Doris简介 MySQL Tools (MySQL Networking) FE (Leader,JAVA) FE (Follower,JAVA) FE (Follower0 码力 | 33 页 | 21.95 MB | 1 年前3 Doris的数据导入机制以及原子性保证性能卓越,PB级别数据毫秒/秒级响应 • 适用于高并发、低延时下的多维分析、实时报表等场景 • 由百度自研,2017年开源,2018年贡献给Apache社区后更名为 Apache Doris 系统定位 • 百度内部统称其为“百度数据仓库Palo”,同时百度云上提供Palo的企业级托管版本 发展历程 01 02 03 • 1.0版本正式上线 • 应用于百度凤巢统计报表的 需求场景,上线后数据更新 架构优雅,单集群可水平扩展至200台以上 • 查询性能业界领先 • 高并发查询,100台集群可达10w QPS • 流式导入单节点100MB/s,小批量导入毫 秒延迟 • 数据、元数据高可用,线上稳定服务6年 • 机器故障副本自动迁移 01 Doris简介 MySQL Tools (MySQL Networking) FE (Leader,JAVA) FE (Follower,JAVA) FE (Follower0 码力 | 33 页 | 21.95 MB | 1 年前3
 SelectDB案例 从 ClickHouse 到 Apache Doris数据不再写入,减少写入和存 储代价。 2、降低数据链路成本。 Doris 架构非常简单,只有 FE 和 BE 两类进程,不依赖其他组件,并通过一致性协议来保 证服务的高可用和数据的高可靠,自动故障修复,运维起来比较容易;  高度兼容 MySQL 语法,支持标准 SQL,极大降低开发人员接入使用成本;  支持多种联邦查询方式,支持对 Hive、MySQL、Elasticsearch0 码力 | 12 页 | 1.55 MB | 1 年前3 SelectDB案例 从 ClickHouse 到 Apache Doris数据不再写入,减少写入和存 储代价。 2、降低数据链路成本。 Doris 架构非常简单,只有 FE 和 BE 两类进程,不依赖其他组件,并通过一致性协议来保 证服务的高可用和数据的高可靠,自动故障修复,运维起来比较容易;  高度兼容 MySQL 语法,支持标准 SQL,极大降低开发人员接入使用成本;  支持多种联邦查询方式,支持对 Hive、MySQL、Elasticsearch0 码力 | 12 页 | 1.55 MB | 1 年前3
 百度智能云 Apache Doris 文档果分片非常多,或者分片内的小文件较多,都可能增加备份 操作的时间。 EXPORT EXPORT EXPORT Description Description 该语句用于将指定表的数据导出到指定位置。 这是一个异步操作,任务提交成功则返回。执行后可使用 SHOW EXPORT 命令查看进度。 当前要导出的表的表名。仅支持 Doris 本地表数据的导出。 可以只导出指定表的某些指定分区 kafka_default_offsets kafka_default_offsets Baidu 百度智能云文档 SQL手册 44 Keywords Keywords 最佳实践 最佳实践 1. 从指定位置重新消费数据 某些情况下,用户希望能够重新指定消费位置并重新消费数据,比如一些数据回溯等场景。此时可以先将当前需要修改的例 行导入作业暂停。然后通过这个命令修改offset,再重启这个作业即可。0 码力 | 203 页 | 1.75 MB | 1 年前3 百度智能云 Apache Doris 文档果分片非常多,或者分片内的小文件较多,都可能增加备份 操作的时间。 EXPORT EXPORT EXPORT Description Description 该语句用于将指定表的数据导出到指定位置。 这是一个异步操作,任务提交成功则返回。执行后可使用 SHOW EXPORT 命令查看进度。 当前要导出的表的表名。仅支持 Doris 本地表数据的导出。 可以只导出指定表的某些指定分区 kafka_default_offsets kafka_default_offsets Baidu 百度智能云文档 SQL手册 44 Keywords Keywords 最佳实践 最佳实践 1. 从指定位置重新消费数据 某些情况下,用户希望能够重新指定消费位置并重新消费数据,比如一些数据回溯等场景。此时可以先将当前需要修改的例 行导入作业暂停。然后通过这个命令修改offset,再重启这个作业即可。0 码力 | 203 页 | 1.75 MB | 1 年前3
共 3 条
- 1













