Apache Doris 在美团外卖数仓中的应用实践助。 本文侧重于以Doris引擎为“发动机”的数仓生产架构的改进与思考。在开源的大环境下,各种数据 引擎百花齐放,但由于业务的复杂性与多样性,目前并没有哪个引擎能够适配所有业务场景,因 此希望通过我们的业务实践与思考为大家提供一些经验参考。美团外卖数仓技术团队致力于将数 据应用效率最大化,同时兼顾研发、生产与运维成本的最小化,建设持续进步的数仓能力,也欢 迎大家多给我们提出建议。 数仓交互层引擎的应用现状 并发性能受限于集群的性能。一般原则是并发 较高的业务,需要严格控制查询时效(基本在毫秒级),对于并发不高的业务,允许进行 较大的查询,但也要考虑集群的承受能力。 通过一年来的应用以及Doris的不断改进升级,Doris的高可靠、高可用、高可扩展性也得 到进一步验证,服务稳定可靠。 准实时场景下的应用 离线业务分析大多基于T+1的离线数据,但在营销活动场景下,外卖团队往往需要当日的实时数 据进行 实时的写入能力:目前支持Kafka To Doris秒级延迟。在可靠性、稳定性建设方面仍需进一步提升。 引擎建设 :短平快的计算+高效的存储性能。目前Doris引擎性能仍有进步空间,2020年将有较大改进提升 5 / 8 Apache Doris在美团外卖数仓中的应用实践 Spark大数据博客 - https://www0 码力 | 8 页 | 429.42 KB | 1 年前3
SelectDB案例 从 ClickHouse 到 Apache Doris音乐、酷狗音乐、酷我音乐和全民 K 歌,总月活用 户数超过 8 亿。 业务需求 腾讯音乐娱乐拥有海量的内容曲库,包括录制音乐、现场音乐、音频和视频等多种形式。通 过技术和数据的赋能,腾讯音乐娱乐持续创新产品,为用户带来更好的产品体验,提高用户 参与度,也为音乐人和合作伙伴在音乐的制作、发行和销售方面提供更大的支持。 在业务运营过程中我们需要对包括歌曲、词曲、专辑、艺人在内的内容对象进行全方位分析,0 码力 | 12 页 | 1.55 MB | 1 年前3
百度智能云 Apache Doris 文档最佳实践 1. 观察导入作业进度。 可以通过返回结果中的如下字段来观察导入作业的消费进度。 1. 观察 Statistic 中 和 两个数值的变化。如果 在持续增长, 说明作业在正常消费。如果 在持续增长,则说明可能 Kafka 中已经没有需要消费的数据;或者无 法消费到 Kafka 的数据;或者遇到其他错误。 2. 观察每个 Kafka Partition 的 offset0 码力 | 203 页 | 1.75 MB | 1 年前3
共 3 条
- 1













