SelectDB案例 从 ClickHouse 到 Apache Doris语法,支持标准 SQL,极大降低开发人员接入使用成本; 支持多种联邦查询方式,支持对 Hive、MySQL、Elasticsearch 、Iceberg 等组件的 联邦查询分析,降低多数据源查询复杂度。 通过以上的方式,使得存储成本降低 42%,开发与时间成本降低了 40% ,成功实现降本提 效,后续我们将继续探索! 未来规划 未来我们还将继续进行迭代和优化,我们计划在以下几个方向进行探索:0 码力 | 12 页 | 1.55 MB | 1 年前3
Apache Doris 在美团外卖数仓中的应用实践架构上通过MOLAP+ROLAP双引擎模式来适配不同应用场景,如下图所示: 技术权衡 MOLAP :通过预计算,提供稳定的切片数据,实现多次查询一次计算,减轻了查询时的计算压力,保证 了查询的稳定性,是“空间换时间”的最佳路径。实现了基于Bitmap的去重算法,支持在不同维度 下去重指标的实时统计,效率较高。 ROLAP :基于实时的大规模并行计算,对集群的要求较高。MPP引擎的核心是通过将数据分散,以实现 实现准实时计算方案,需要以下能力的支撑: 实时的写入能力:目前支持Kafka To Doris秒级延迟。在可靠性、稳定性建设方面仍需进一步提升。 引擎建设 :短平快的计算+高效的存储性能。目前Doris引擎性能仍有进步空间,2020年将有较大改进提升 5 / 8 Apache Doris在美团外卖数仓中的应用实践 Spark大数据博客 的灵活应用、准实时的批处理等场景。而以Kylin为基础的MOLAP模式在处理增量业务分析,固化 维度场景,通过预计算以空间换时间方面依然重要。 业务方面,通过外卖数仓Doris的成功实践以及跨BG的交流,美团已经有更多的团队了解并尝试 使用Doris方案。而且在平台同学的共同努力下,引擎性能还有较大提升空间,相信以Doris引擎 为驱动的ROLAP模式会为美团的业务团队带来更大的收益。从目前实践效果看,其完全有替代Kyl0 码力 | 8 页 | 429.42 KB | 1 年前3
百度智能云 Apache Doris 文档对于用户填写的导出路径不会做合法性检查。如果 Doris 的进程用户对该路径无写权限,或路径不存在,则会报错。 同时处于安全性考虑,如果该路径已存在同名的文件,则也会导出失败。 Doris 不会管理导出到本地的文件,也不会检查磁盘空间等。这些文件需要用户自行管理,如清理等。 4. 结果完整性保证 该命令是一个同步命令,因此有可能在执行过程中任务连接断开了,从而无法活着导出的数据是否正常结束,或是否完整。 此时可以使用0 码力 | 203 页 | 1.75 MB | 1 年前3
共 3 条
- 1













