Apache Doris 在美团外卖数仓中的应用实践在数据应用交互层面,由于时效性的要求,数据最终的展现查询还是需要通过DBMS(MySQL) 、MOLAP(Kylin)引擎来进行支撑。如下图所示: 如果想及时了 解Spark、Hadoop或者Hbase相关的文章,欢迎关注微信公共帐号:iteblog_hadoop 汇总数据的交互 业务团队日常经营分析最典型的场景就是各种维度下的自定义查询,面对如此灵活可变、所见即 很高。例如,大数据量的同步、新增字段、历史数据更新等操作,它们的维护成本都非常高。 外卖运营业务特点 美团的使命是“帮大家吃得更好,生活更好”。外卖业务为大家提供送餐服务,连接商家与用户, 这是一个劳动密集型的业务,外卖业务有上万人的运营团队来服务全国几百万的商家,并以“商圈 ”为单元,服务于“商圈”内的商家。“商圈”是一个组织机构维度中的最小层级,源于外卖组织的特 点,“商圈”及其上层组织机构是一个变化维度,当“商圈”边界发生变化时,就导致在往常日增量的 较高的业务,需要严格控制查询时效(基本在毫秒级),对于并发不高的业务,允许进行 较大的查询,但也要考虑集群的承受能力。 通过一年来的应用以及Doris的不断改进升级,Doris的高可靠、高可用、高可扩展性也得 到进一步验证,服务稳定可靠。 准实时场景下的应用 离线业务分析大多基于T+1的离线数据,但在营销活动场景下,外卖团队往往需要当日的实时数 据进行业务变化的监控与分析,通常情况下会采用实时流计算来实现。 外卖实时业务监控有如下特点:0 码力 | 8 页 | 429.42 KB | 1 年前3
Doris的数据导入机制以及原子性保证Doris简介 04 05 06 • 全新的数据模型,查询存储 效率大幅提升 • MPP框架,支持分布式计算 2013 • 精简架构、统一用户客户端, 实现高可用 • 正式开始对外提供服务 2015 • 正式开源 • 希望能帮助更多人、让更多 人帮助Doris 2017 • 贡献给Apache社区,更名 为Apache Doris • 截止目前,社区2000+star, 架构优雅,单集群可水平扩展至200台以上 • 查询性能业界领先 • 高并发查询,100台集群可达10w QPS • 流式导入单节点100MB/s,小批量导入毫 秒延迟 • 数据、元数据高可用,线上稳定服务6年 • 机器故障副本自动迁移 01 Doris简介 MySQL Tools (MySQL Networking) FE (Leader,JAVA) FE (Follower,JAVA) Doris官方网站:https://doris.apache.org/master/zh-CN/ • GitHub:https://github.com/apache/incubator-doris 欢迎关注Doris微信公众号 更多技术趋势、实践案例、社区活动 欢迎登陆百度智能云官网,体验企业级托管版本Palo 全新UI支持,更有新用户0元三个月优惠活动 Thank You0 码力 | 33 页 | 21.95 MB | 1 年前3
SelectDB案例 从 ClickHouse 到 Apache DorisDoris,腾讯音乐内容库数据平台架构演进实践 2023/02/20SelectDB 用户案例 导读:腾讯音乐内容库数据平台旨在为应用层提供库存盘点、分群画像、指标分析、标签圈 选等内容分析服务,高效为业务赋能。目前,内容库数据平台的数据架构已经从 1.0 演进到 了 4.0 ,经历了分析引擎从 ClickHouse 到 Apache Doris 的替换、经历了数据架构语义层 的初步引入到 构演进历程与实践思 考,希望所有读者从文章中有所启发。 作者:腾讯音乐内容库数据平台 张俊、代凯 腾讯音乐娱乐集团(简称“腾讯音乐娱乐”)是中国在线音乐娱乐服务开拓者,提供在线音乐 和以音乐为核心的社交娱乐两大服务。腾讯音乐娱乐在中国有着广泛的用户基础,拥有目前 国内市场知名的四大移动音乐产品:QQ 音乐、酷狗音乐、酷我音乐和全民 K 歌,总月活用 户数超过 8 亿。 业务需求 在内的内容对象进行全方位分析, 高效为业务赋能,内容库数据平台旨在集成各数据源的数据,整合形成内容数据资产(以指 标和标签体系为载体),为应用层提供库存盘点、分群画像、指标分析、标签圈选等内容分 析服务。 数据架构演进 TDW 是腾讯最大的离线数据处理平台,公司内大多数业务的产品报表、运营分析、数据挖 掘等的存储和计算都是在 TDW 中进行,内容库数据平台的数据加工链路同样是在腾讯数据0 码力 | 12 页 | 1.55 MB | 1 年前3
百度智能云 Apache Doris 文档query_timeout query_timeout success_file_name success_file_name Baidu 百度智能云文档 SQL手册 27 该命令主要用于通过 Broker 服务进程来导入远端存储(如BOS、HDFS)上的数据。 每个导入需要指定一个唯一的 Label。后续可以通过这个 label 来查看作业进度。 用于描述一组需要导入的文件。 数据合并类型。默认为 的列和计算 关系。 仅针对 Unique Key 模型的表。用于指定导入数据中表示 Sequence Col 的列。主要用于导入时保证数据顺序。 指定需要使用的 Broker 服务名称。在公有云 Doris 中。Broker 服务名称为 指定 broker 所需的信息。这些信息通常被用于 Broker 能够访问远端存储系统。如 BOS 或 HDFS。关于具体信息,可参阅 Broker 文档。 指定导入的相关参数。目前支持以下参数: Description 该语句用于创建仓库。仓库用于属于备份或恢复。仅 admin 用户可以创建仓库。 如果指定 ,则该仓库只读,即只能用户恢复操作,不可用户备份操作。 创建操作依赖 Broker 服务进程。而之后的 里需要填写用于 Broker 访问远端仓库的信息。 "in_memory" = "true" "in_memory" = "true" DROP DROP REPOSITORY0 码力 | 203 页 | 1.75 MB | 1 年前3
共 4 条
- 1













