• 百度内部统称其为“百度数据仓库Palo”，同时百度云上提供Palo的企业级托管版本 发展历程 01 02 03 • 1.0版本正式上线 • 应用于百度凤巢统计报表的 需求场景，上线后数据更新 频率从天级提升至分钟级 2008 • 进行了通用化改造，开始承 接公司内部其他报表系统 • 助力百度统计成为国内最大 的中文网站分析工具 2009 • 随百度业务飞速发展，对 Doris的性能、可用性、拓 本地文件 数据分析 业务应用 实时大屏 多维报表 自助查询 用户画像 Doris 02 导入的问题 Vn Vn Vn Vn V1-Vn-1 02 导入的问题 • 部分数据丢失，产生脏数据 • 数据重复 数据完整性问题 原始数据 导入结果 已生效 Vn 已生效 V1-Vn-1 未生效 数据 已生效 V1-Vn-1 02 导入的问题 Vn • 读取到未生效数据

型可能会提升（比如SMALLINT提升到INT或者BIGINT 等），表达式的结果被提升到下一个较大的类型，比如TINYINT 乘以 INT 产生的结果的类型会是BIGINT）。当两个数相乘时，为了避免精度丢失，操作数和表达式结果都会被解释成DOUBLE 类 型。如果用户想把表达式结果转换成其他类型，需要用CAST 函数转换。 %：取模操作符。返回左操作数除以右操作数的余数。左操作数和右操作数都必须是整型。 Node 节点网络是双向连通的。 同时，Doris 查询外部表并不是分布式查询，而是单 Client 方式连接查询。所以性能效率上要远低于查询 Doris 自身存储的 表。外部表比较适用的场景式一些频繁更新的维度表和 Doris 中存储的事实表进行关联查询。或者通过 的方式从外部数据源同步数据到 Doris 中。 2. 写入外部表 可以通过 命令直接将数据写入 ODBC 外部表。具体操作可以参阅：导出数据到外部表。 N/A。 显示一些作业的详细运行状态。包括导入文件的个数、总大小（字节）、子任务个数、已处理的原始行数，运行子任务的 BE 节点 Id，未完成的 BE 节点 Id。 其中已处理的原始行数，每 5 秒更新一次。该行数仅用于展示当前的进度，不代表最终实际的处理行数。实际处理行数以 EtlInfo 中显示的为准。 Example Example 1. 展示默认 db 的所有导入任务 2. 展示指定

DataSet，作为逻辑视图从大宽表选取所需的标签与指标，同 时可以二次定义衍生的标签与指标。 存在的问题：  数仓层：不支持部分列更新，当上游任一来源表产生延迟，均会造成大宽表延迟， 进而导致数据时效性下降。  加速层：不同的标签跟指标特性不同、更新频率也各不相同。由于 ClickHouse 目前 更擅长处理宽表场景，无区别将所有数据导入大宽表生成天的分区将造成存储资源 的浪费，维护成本也将随之升高。 Doris 的优势：  Doris 架构极简易用，部署只需两个进程，不依赖其他系统，运维简单；兼容 MySQL 协议，并且使用标准 SQL。  支持丰富的数据模型，可满足多种数据更新方式，支持部分列更新。  支持对 Hive、Iceberg、Hudi 等数据湖和 MySQL、Elasticsearch 等数据库的联邦查 询分析。  导入方式多样，支持从 HDFS/S3 等远端存储批量导入，也支持读取 数据模型可支持部分列实时更新，因此我们去 掉了 DWM 集市层的构建，直接增量到 Doris / ES 中构建宽表，解决了架构 1.0 中 上游数据更新延迟导致整个宽表延迟的问题，进而提升了数据的时效性。数据（指 标、标签等）通过 Spark 统一离线加载到 Kafka 中，使用 Flink 将数据增量更新到 Doris 和 ES 中（利用 Flink 实现进一步的聚合，减轻了 Doris 和 ES 的更新压力）。

业务分析除了宏观数据之外，对明细数据查询也是一种刚需。通常大家会选择MySQL等关系型DB 作为明细数据的快速检索查询，但当业务成长较快时，很快就会遇到性能瓶颈，并且运维成本也 很高。例如，大数据量的同步、新增字段、历史数据更新等操作，它们的维护成本都非常高。 外卖运营业务特点 美团的使命是“帮大家吃得更好，生活更好”。外卖业务为大家提供送餐服务，连接商家与用户， 这是一个劳动密集型的业务，外卖业务有上万人的运营团队来服务全国几百万的商家，并以“商圈