SelectDB案例 从 ClickHouse 到 Apache Doris中消费数据写入到不同 Doris 表中的功能,并且可以根据数据的大小 自动调整写入的批次,尽量做到攒批低频写入。 Doris 写入调优:针对- 235 报错进行相关参数的调优。比如设置合理的分区和分桶 (Tablet 建议 1-10G),同时结合场景对 Compaction 参数调优: max_XXXX_compaction_thread max_cumulative_compaction_num_singleton_deltas 优化背景:在写入时发现某一个 BE 负载会远远高于其他的 BE,甚至出现 OOM。结合源 码发现:作业启动后会获取一次 BE 地址列表,从中随机选出一个 BE 作为 Coordinator 协 调者,该节点主要负责接收数据、并分发到其他的 BE 节点,除非作业异常报错,否则该节 点不会发生切换。 对于少量 Flink 作业大数据场景会导致选中的 BE 节点负载较高,因此我们尝试对 BE 提 交逻辑进行优化,设置每0 码力 | 12 页 | 1.55 MB | 1 年前3
Doris的数据导入机制以及原子性保证FE Follower 2. Load 数据 数据版本 N+1 事务状态 VISIBLE 事务管理 1.Begin Txn 3.汇报导入 4. publish 5. publish 回调 生效数据 V1 V2 Vn+1 … Vn Publish • 修改BE元数据,数据版本 +1 • 修改FE元数据, 数据版本 +1 • 事务状态改为 VISIBLE Phase 20 码力 | 33 页 | 21.95 MB | 1 年前3
共 2 条
- 1













