 百度智能云 Apache Doris 文档SQL手册 54 替换较小值,否则无法替换) 这里我们仅需指定顺序列的类型,支持时间类型或整型。Doris 会创建一个隐藏的顺序列。 动态分区相关 动态分区相关参数如下: : 用于指定表级别的动态分区功能是否开启。默认为 true。 用于指定动态添加分区的时间单位,可选择为 DAY(天),WEEK(周),MONTH(月) : 用于指定向前删除多少个分区。值必须小于0。默认为 Integer BUCKETS BUCKETS 32 32 Baidu 百度智能云文档 SQL手册 56 7. 创建一个带有 bitmap 索引以及 bloom filter 索引的内存表 8. 创建一个动态分区表。 该表每天提前创建3天的分区,并删除3天前的分区。例如今天为 ,则会创建分区名为 , , , 的分区. 分区范围分别为: CREATE CREATE TABLE TABLE t1 进行增加分区等操作。 同时,分区列和分桶列在表创建之后不可更改,既不能更改分区和分桶列的类型,也不能对这些列进行任何增删操作。 所以建议在建表前,先确认使用方式来进行合理的建表。 动态分区 动态分区 动态分区功能主要用于帮助用户自动的管理分区。通过设定一定的规则,Doris 系统定期增加新的分区或删除历史分区。 物化视图 物化视图 CREATE CREATE TABLE TABLE example_db0 码力 | 203 页 | 1.75 MB | 1 年前3 百度智能云 Apache Doris 文档SQL手册 54 替换较小值,否则无法替换) 这里我们仅需指定顺序列的类型,支持时间类型或整型。Doris 会创建一个隐藏的顺序列。 动态分区相关 动态分区相关参数如下: : 用于指定表级别的动态分区功能是否开启。默认为 true。 用于指定动态添加分区的时间单位,可选择为 DAY(天),WEEK(周),MONTH(月) : 用于指定向前删除多少个分区。值必须小于0。默认为 Integer BUCKETS BUCKETS 32 32 Baidu 百度智能云文档 SQL手册 56 7. 创建一个带有 bitmap 索引以及 bloom filter 索引的内存表 8. 创建一个动态分区表。 该表每天提前创建3天的分区,并删除3天前的分区。例如今天为 ,则会创建分区名为 , , , 的分区. 分区范围分别为: CREATE CREATE TABLE TABLE t1 进行增加分区等操作。 同时,分区列和分桶列在表创建之后不可更改,既不能更改分区和分桶列的类型,也不能对这些列进行任何增删操作。 所以建议在建表前,先确认使用方式来进行合理的建表。 动态分区 动态分区 动态分区功能主要用于帮助用户自动的管理分区。通过设定一定的规则,Doris 系统定期增加新的分区或删除历史分区。 物化视图 物化视图 CREATE CREATE TABLE TABLE example_db0 码力 | 203 页 | 1.75 MB | 1 年前3
 Doris的数据导入机制以及原子性保证100+,一线互 联网广泛使用 2018 07 01 Doris简介 产品特性 简单易用 扩展性强 性能卓越 高可用 • 高度兼容MySQL • 支持在线表结构变更 • 支持集群动态伸缩 • 高度集成,不依赖于外部存储系统 • 架构优雅,单集群可水平扩展至200台以上 • 查询性能业界领先 • 高并发查询,100台集群可达10w QPS • 流式导入单节点100MB/s,小批量导入毫 (C++) BE (C++) BE (C++) BE (C++) 整体架构简单,产品易用 • 高度兼容MySQL协议 • 主从架构,不依赖任何其他组件 • FE负责解析/生成/调度查询计划 • BE负责执行查询计划、数据存储 • 任何节点都可线性扩展 01 Doris 简介 导入的问题 02 典型应用场景——OLAP分析 数据源 数据应用 数据存储 对象存储BOS0 码力 | 33 页 | 21.95 MB | 1 年前3 Doris的数据导入机制以及原子性保证100+,一线互 联网广泛使用 2018 07 01 Doris简介 产品特性 简单易用 扩展性强 性能卓越 高可用 • 高度兼容MySQL • 支持在线表结构变更 • 支持集群动态伸缩 • 高度集成,不依赖于外部存储系统 • 架构优雅,单集群可水平扩展至200台以上 • 查询性能业界领先 • 高并发查询,100台集群可达10w QPS • 流式导入单节点100MB/s,小批量导入毫 (C++) BE (C++) BE (C++) BE (C++) 整体架构简单,产品易用 • 高度兼容MySQL协议 • 主从架构,不依赖任何其他组件 • FE负责解析/生成/调度查询计划 • BE负责执行查询计划、数据存储 • 任何节点都可线性扩展 01 Doris 简介 导入的问题 02 典型应用场景——OLAP分析 数据源 数据应用 数据存储 对象存储BOS0 码力 | 33 页 | 21.95 MB | 1 年前3
 Apache Doris 在美团外卖数仓中的应用实践Impala(MPP Query Engine)和Apache ORCFile (存储格式,编码和压缩)的技术。 Doris的系统架构如下,主要分为FE和BE两个组件,FE主要负责查询的解析、编译、优化、调度 和元数 据管理;BE主要负责查询的执行和数据存储。关于Doris的更多技术细节,可参考其官方文档。 Doris的特点: 同时支持高并发点查询和高吞吐的Ad-hoc查询。 同时支持离线批量导入和实时数据导入。 Doris在美团外卖数仓中的应用实践 Spark大数据博客 - https://www.iteblog.com ,随着后续Page Cache,内存表等能力的上线,IO将不再拖后腿,并发能力将有较大提升。 可靠的调度能力:提供5、10、15、30分钟的调度保障能力。 Lambda架构简化:实时数据与离线数据更好的在Doris中进行融合,灵活支撑应用。 高效的OLAP交互 :支撑业务的灵活查询访问,业务层通过视图进行逻辑封装直接复用汇总层多维模型,提高了开 Key Shard,这样在Join执行时就没有数据网络传输的开销,两表可以直接在本地进行Join。 整个Colocate Join在Doris中实现的关键点如下: 数据导入时保证数据本地性。 查询调度时保证数据本地性。 数据Balance后保证数据本地性。 查询Plan的修改。 Colocate Table元数据的持久化和一致性。 Hash Join的粒度从Server粒度变为Bucket粒度。0 码力 | 8 页 | 429.42 KB | 1 年前3 Apache Doris 在美团外卖数仓中的应用实践Impala(MPP Query Engine)和Apache ORCFile (存储格式,编码和压缩)的技术。 Doris的系统架构如下,主要分为FE和BE两个组件,FE主要负责查询的解析、编译、优化、调度 和元数 据管理;BE主要负责查询的执行和数据存储。关于Doris的更多技术细节,可参考其官方文档。 Doris的特点: 同时支持高并发点查询和高吞吐的Ad-hoc查询。 同时支持离线批量导入和实时数据导入。 Doris在美团外卖数仓中的应用实践 Spark大数据博客 - https://www.iteblog.com ,随着后续Page Cache,内存表等能力的上线,IO将不再拖后腿,并发能力将有较大提升。 可靠的调度能力:提供5、10、15、30分钟的调度保障能力。 Lambda架构简化:实时数据与离线数据更好的在Doris中进行融合,灵活支撑应用。 高效的OLAP交互 :支撑业务的灵活查询访问,业务层通过视图进行逻辑封装直接复用汇总层多维模型,提高了开 Key Shard,这样在Join执行时就没有数据网络传输的开销,两表可以直接在本地进行Join。 整个Colocate Join在Doris中实现的关键点如下: 数据导入时保证数据本地性。 查询调度时保证数据本地性。 数据Balance后保证数据本地性。 查询Plan的修改。 Colocate Table元数据的持久化和一致性。 Hash Join的粒度从Server粒度变为Bucket粒度。0 码力 | 8 页 | 429.42 KB | 1 年前3
共 3 条
- 1













