1. 期望的并发度。一个例行导入作业会被分成多个子任务执行。这个参数指定一个作业最多有多少任务可以同时执行。 必须大于0。默认为3。 这个并发度并不是实际的并发度，实际的并发度，会通过集群的节点数、负载情况，以及数据源的情况综合考虑。 2. 这三个参数分别表示： 1. 每个子任务最大执行时间，单位是秒。范围为 5 到 60。默认为10。 2. 每个子任务最多读取的行数。必须大于等于200000。默认是200000。 数据以数组的形式展现，数据中的每一个元素将被视 为一行数据。默认值是 false。 9. 当导入数据格式为 json 时，可以通过 json_root 指定 Json 数据的根节点。Doris 将通过 json_root 抽取根节点的元素 进行解析。默认为空。 数据源的类型。当前支持： 支持如下数据源属性： 1. Kafka 的 broker 连接信息。格式为 ip:host。多个broker之间以逗号分隔。 格式数据。默认使用 Json 中的字段名作为列名映射。指定导入 0,1,2 三个分区，起始 offset 都为 0 5. 导入 Json 数据，并通过 Jsonpaths 抽取字段，并指定 Json 文档根节点 CREATE CREATE ROUTINE ROUTINE LOAD LOAD example_db example_db..test1 test1 ON ON example_tbl

由于 ClickHouse 目前 更擅长处理宽表场景，无区别将所有数据导入大宽表生成天的分区将造成存储资源 的浪费，维护成本也将随之升高。  应用层：ClickHouse 采用的是计算和存储节点强耦合的架构，架构复杂，组件依赖 严重，牵一发而动全身，容易出现集群稳定性问题，对于我们来说，同时维护 ClickHouse 和 Elasticsearch 两套引擎的连接与查询，成本和难度都比较高。 0 在数据架构 3.0 的基础上，我们对语义层进行更深层次的应用，在数据架构 4.0 中，我们 将语义层变为架构的中枢节点，目标是对所有的指标和标签统一定义，从计算-加速-查询实 现中心化、标准化管理，解决数据管理机制割裂的问题。 5 语义层作为架构中枢节点所带来的变化：  数仓层：语义层接收 SQL 触发计算或查询任务。数仓从 DWD 到 DWS 的计算逻 辑将在语 BE 提交逻辑：定期缓存 BE 列表，按批次随机提交到 BE 节点，细化负载均 衡粒度。 优化背景：在写入时发现某一个 BE 负载会远远高于其他的 BE，甚至出现 OOM。结合源 码发现：作业启动后会获取一次 BE 地址列表，从中随机选出一个 BE 作为 Coordinator 协 调者，该节点主要负责接收数据、并分发到其他的 BE 节点，除非作业异常报错，否则该节 点不会发生切换。 对于少量 Flink

id = 1, 我们可以推断出新的谓词t2.id = 1，并将谓词t2.id = 1下推到t2的Scan节点。 这样假如t2表有数百 个分区的话，查询性能就会有数十倍甚至上百倍的提升，因为t2表参与Scan和Join的数据量会显 著减少。 查询执行多实例并发优化 如上图所示，Doris默认在每个节点上为每个算子只会生成1个执行实例。这样的话，如果数据量 很大，每个执行实例的算子就需要处理大量的数据 ，而且无法充分利用集群的CPU、IO、内存等 资源。 一个比较容易想到的优化手段是，我们可以在每个节点上为每个算子生成多个执行实例。这样每 个算子只需要处理少量数据，而且多个执行实例可以并行执行。 下图是并发度设置为5的优化效果，可以看到对于多种类型的查询，会有3到5倍的查询性能提升 ： 6 / 8 Apache

• 支持集群动态伸缩 • 高度集成，不依赖于外部存储系统 • 架构优雅，单集群可水平扩展至200台以上 • 查询性能业界领先 • 高并发查询，100台集群可达10w QPS • 流式导入单节点100MB/s，小批量导入毫 秒延迟 • 数据、元数据高可用，线上稳定服务6年 • 机器故障副本自动迁移 01 Doris简介 MySQL Tools （MySQL Networking） BE (C++) 整体架构简单，产品易用 • 高度兼容MySQL协议 • 主从架构，不依赖任何其他组件 • FE负责解析/生成/调度查询计划 • BE负责执行查询计划、数据存储 • 任何节点都可线性扩展 01 Doris 简介 导入的问题 02 典型应用场景——OLAP分析 数据源 数据应用 数据存储 对象存储BOS OLTP WEB端日志 移动端日志 本地文件 数据分析