百度智能云文档 SQL手册 14 例行导入（Routine Load）功能，支持用户提交一个常驻的导入任务，通过不断的从指定的数据源读取数据，将数据导入到 Doris 中。 目前仅支持通过无认证或者 SSL 认证方式，从 Kakfa 导入 CSV 或 Json 格式的数据。 语法： 导入作业的名称，在同一个 database 内，相同名称只能有一个 job 在运行。 指定需要导入的表的名称。 使用 SSL 连接 Kafka 时，需要指定以下参数： 其中： 和 为必须，用于指明连接方式为 SSL，以及 CA 证书的位 置。 如果 Kafka server 端开启了 client 认证，则还需设置： 分别用于指定 client 的 public key，private key 以及 private key 的密码。 2. 指定kafka partition的默认起始offset 百度智能云文档 SQL手册 18 2. 为 example_db 的 example_tbl 创建一个名为 test1 的 Kafka 例行导入任务。导入任务为严格模式。 3. 通过 SSL 认证方式，从 Kafka 集群导入数据。同时设置 client.id 参数。导入任务为非严格模式，时区为 Africa/Abidjan CREATE CREATE ROUTINE ROUTINE LOAD

配所有业务场景，因 此希望通过我们的业务实践与思考为大家提供一些经验参考。美团外卖数仓技术团队致力于将数 据应用效率最大化，同时兼顾研发、生产与运维成本的最小化，建设持续进步的数仓能力，也欢 迎大家多给我们提出建议。 数仓交互层引擎的应用现状 目前，互联网业务规模变得越来越大，不论是业务生产系统还是日志系统，基本上都是基于Hado op/Spark分布式大数据技术生态来构建数据仓库，然后对数据进行适当的分层、加工、管理。而 ，同时提高了应用的灵活性， 降低了运维成本。 3. 同时支持“汇总+明细”。 4. 模型轻量标准化，极大的降低了生产成本。 综上所述，在变化维、非预设维、细粒度统计的应用场景下，使用MPP引擎驱动的ROLAP模式， 可以简化模型设计，减少预计算的代价，并通过强大的实时计算能力，可以支撑良好的实时交互 体验。 双引擎下的应用场景适配问题 架构上通过MOLAP+ROLAP双引擎模式来适配不同应用场景，如下图所示： = 1，并将谓词t2.id = 1下推到t2的Scan节点。 这样假如t2表有数百 个分区的话，查询性能就会有数十倍甚至上百倍的提升，因为t2表参与Scan和Join的数据量会显 著减少。 查询执行多实例并发优化 如上图所示，Doris默认在每个节点上为每个算子只会生成1个执行实例。这样的话，如果数据量 很大，每个执行实例的算子就需要处理大量的数据，而且无法充分利用集群的CPU、IO、内存等 资源。

写入带版本 • 查询带版本 多版本机制解决读写冲突 两阶段导入保证多表原子生效 • 支持并行导入 • 有冲突时按导入顺序生效，无冲突导入时并行生效 写入带版本 查询带版本 支持并行导入 冲突时按顺序生效 （多版本机制） （两阶段导入） 事务能力保证 使用案例 04 BI Application 数据加载 数据输出 数据查询 数据导入总览 • 多源数据加载：HDFS、Kafka、本地数据 多源数据加载：HDFS、Kafka、本地数据 • 联邦数据查询：Spark • 多源数据访问：ES、MySQL • 通用协议输出：JDBC、ANSI SQL • 多种数据格式支持： 文本、PARQUET、ORC 04 使用案例 导入方式 04 使用案例 导入方式 同步/异步 场景 接口 Broker Load 异步 HDFS、BOS对象存储 MySQL Routine Load 异步 Kafka MySQL

的分桶算法相同（CRC32）；  BE 生成 Bucket Join 执行计划，将分桶序号下发到 BE ScanNode 节点，并下推到 ES；  ES 对查询出的数据进行 Bitmap 压缩，并将数据的多批次获取优化为一次获取，减 少网络 IO 开销；  Doris BE 只拉取和本地 Doris 指标表相关 Bucket 的数据，直接进行本地 Join，避 免 Doris BE 间数据再 Shuffle