Apache Doris 在美团外卖数仓中的应用实践的业务场景中,模型的利用率也比较低。 2. Kylin配置过程繁琐,需要配置模型设计,并配合适当的“剪枝”策略,以实现计算成本与查 询效率的平衡。 3. 由于MOLAP不支持明细数据的查询,在“汇总+明细”的应用场景中,明细数据需要同步到 DBMS引擎来响应交互,增加了生产的运维成本。 4. 较多的预处理伴随着较高的生产成本。 ROLAP模式的优势 1. 应用层模型设计简化,将数据固定在一个稳定的数据粒度即可。比如商家粒度的星形模型 降低了运维成本。 3. 同时支持“汇总+明细”。 4. 模型轻量标准化,极大的降低了生产成本。 综上所述,在变化维、非预设维、细粒度统计的应用场景下,使用MPP引擎驱动的ROLAP模式, 可以简化模型设计,减少预计算的代价,并通过强大的实时计算能力,可以支撑良好的实时交互 体验。 双引擎下的应用场景适配问题 架构上通过MOLAP+ROLAP双引擎模式来适配不同应用场景,如下图所示: 技术权衡 不同业务线需求差异大,指标需要良好扩展性。 由于业务上的复杂性,实时流计算中,需要考虑诸多业务口径的对齐,业务ER模型在合流处理中 开发成本较高,资源占用较大,通过设计基于Doris的准实时生产数仓,可以灵活地实现业务微批 处理,且开发生产成本都比较低。以下为基于Doris的准实时数仓架构设计,是典型的实时Lambd a生产架构: 实现准实时计算方案,需要以下能力的支撑: 实时的写入能力:目前支持Kafka To Dori0 码力 | 8 页 | 429.42 KB | 1 年前3
百度智能云 Apache Doris 文档Label State State Progress Progress N/A N/A LOAD 进度 = 当前完成导入的表个数 / 本次导入任务设计的总表个数 * 100% LOAD 进度 = 当前完成导入的表个数 / 本次导入任务设计的总表个数 * 100% Type Type EtlInfo EtlInfo unselected.rows unselected.rows dpp0 码力 | 203 页 | 1.75 MB | 1 年前3
共 2 条
- 1













