Apache Doris 在美团外卖数仓中的应用实践较多的预处理伴随着较高的生产成本。 ROLAP模式的优势 1. 应用层模型设计简化,将数据固定在一个稳定的数据粒度即可。比如商家粒度的星形模型 ,同时复用率也比较高。 2. App层的业务表达可以通过视图进行封装,减少了数据冗余,同时提高了应用的灵活性, 降低了运维成本。 3. 同时支持“汇总+明细”。 4. 模型轻量标准化,极大的降低了生产成本。 综上所述,在变化维、非预设维、细粒度统计的应用场景下,使用MPP引擎驱动的ROLAP模式, 可靠的调度能力:提供5、10、15、30分钟的调度保障能力。 Lambda架构简化:实时数据与离线数据更好的在Doris中进行融合,灵活支撑应用。 高效的OLAP交互 :支撑业务的灵活查询访问,业务层通过视图进行逻辑封装直接复用汇总层多维模型,提高了开 发效率,减少了运维成本。 相比Storm、Flink中的窗口计算,准实时DB微批的优势: Doris引擎在美团的重要改进 Join 谓词下推的传递性优化 如上图所示,对于下面的0 码力 | 8 页 | 429.42 KB | 1 年前3
百度智能云 Apache Doris 文档set (0.01 sec) 1 row in set (0.01 sec) Baidu 百度智能云文档 SQL手册 10 当你在查询中书写表,列,或者包含列的表达式的名字时,你可以同时给他们分配一个别名。当你需要使用表名,列名时,你 可以使用别名来访问。别名通常相对原名来说更简短更好记。当需要新建一个别名时,只需在select list或者from list中的表、 列、表达式名称后面加上AS 字节。 :指定导出的行分隔符,默认为\n。仅支持单字节。 :导出在单个 BE 节点的内存使用上限,默认为 2GB,单位为字节。 :导入作业的超时时间,默认为2小时,单位是秒。 :每个子任务能分配扫描的最大 Tablet 数量。 导出功能需要通过 Broker 进程写数据到远端存储上。这里需要定义相关的连接信息供 Broker 使用。 Example Example 1. 将 testTbl Baidu 百度智能云文档 SQL手册 36 一个 Export 作业会拆分成多个子任务(执行计划)去执行。有多少查询计划需要执行,取决于总共有多少 Tablet,以及一个查 询计划最多可以分配多少个 Tablet。 因为多个查询计划是串行执行的,所以如果让一个查询计划处理更多的分片,则可以减少作业的执行时间。 但如果查询计划出错(比如调用 Broker 的 RPC 失败,远端存储出现抖动等),过多的0 码力 | 203 页 | 1.75 MB | 1 年前3
SelectDB案例 从 ClickHouse 到 Apache Doris架之前,不会继续导入其数据,元信息中数据可用时间也不会发生变化。 对于实时新增标签/指标,我们基于名称 ID 的映射在 Doris 表中预先创建适量 ID 列,当标签/指标完成元信息录入后,直接将预留的 ID 分配给新录入的标签/指标, 避免在查询高峰期因新增标签/指标所引起的 Schema Change 开销对集群产生的 影响。经测试,用户在元信息录入后 10 分钟内就可以使用相应的数据。 值得关注的是,在社区近期发布的0 码力 | 12 页 | 1.55 MB | 1 年前3
共 3 条
- 1













