区将造成存储资源 的浪费，维护成本也将随之升高。  应用层：ClickHouse 采用的是计算和存储节点强耦合的架构，架构复杂，组件依赖 严重，牵一发而动全身，容易出现集群稳定性问题，对于我们来说，同时维护 ClickHouse 和 Elasticsearch 两套引擎的连接与查询，成本和难度都比较高。 除此之外，ClickHouse 由国外开源，交流具有一定的语言学习成本，遇到问题无法准确反 实时性比较差，由于每个 Source 表产出的时间不一样，往往会因为某些延迟比较 大的 Source 表导致整个数据链路延迟增大。  开发成本较高，该方案只能作为离线方式，若想实现实时方式则需要投入开发资源 进行额外的开发。 而在 Flink 中生成宽表，链路简单、成本低也容易实现，主要流程是：首先用 Spark 将相 关 Source 表最新数据离线导入到 Kafka 中， 接着使用 Flink 这里几点小经验与大家分享：  Flink 预聚合：通过主键 ID 预聚合，减少写入压力。（前文已说明，此处不再赘述）  写入 Batch 大小自适应变更：为了不占用过多 Flink 资源，我们实现了从同一个 Kafka Topic 中消费数据写入到不同 Doris 表中的功能，并且可以根据数据的大小 自动调整写入的批次，尽量做到攒批低频写入。  Doris 写入调优：针对-

的数据量没有上限。但是提 交过大的导入会导致运行时间较长，并且失败后重试的代价也会增加。 同时受限于集群规模，我们限制了导入的最大数据量为 ComputeNode 节点数 * 3GB。以保证系统资源的合理利用。如果有 大数据量需要导入，建议分成多个导入任务提交。 Doris 同时会限制集群内同时运行的导入任务数量，通常在 3-10 个不等。之后提交的导入作业会排队等待。队列最大长度 为 操作将一个目录中的最后一个文件移走后，该目录也 会被删除。如果该目录没有被清除，用户可以手动清除。 Export 作业只会导出 Base 表的数据，不会导出物化视图的数据。 Export 作业会扫描数据，占用 IO 资源，可能会影响系统的查询延迟。 一个集群内同时运行的 Export 作业最大个数为 5。之后提交的只作业将会排队。 STREAM-LOAD STREAM LOAD STREAM LOAD Description 是同步导入操作，因此用户需同步等待命令的返回结果，并根据返回结果决定下一步处理方式。 用户首要关注的是返回结果中的 字段。 如果为 ，则一切正常，可以进行之后的其他操作。 如果返回结果出现大量的 ，则可能说明目前集群某些资源（如IO）紧张导致导入的数据无法最终生 效。 状态的导入任务已经成功，无需重试，但此时建议减缓或停止新导入任务的提交，并观察集群负载情 况。 如果返回结果为 ，则说明导入失败，需根据具体原因查看问题。解决后，可以使用相同的

数据爆炸，每日使用最新维度对历史数据进行回溯计算。在Kylin的MOLAP模式下存在如下问题： 历史数据每日刷新，失去了增量的意义。 每日回溯历史数据量大，10亿+的历史数据回溯。 数据计算耗时3小时+，存储1TB+，消耗大量计算存储资源，同时严重影响SLA的稳定性。 预计算的大量历史数据实际使用率低下，实际工作中对历史的回溯80%集中在近1个月左 右，但为了应对所有需求场景，业务要求计算近半年以上的历史。 不支持明细数据的查询。 ：基于实时的大规模并行计算，对集群的要求较高。MPP引擎的核心是通过将数据分散，以实现 CPU、IO、内存资源的分布，来提升并行计算能力。在当前数据存储以磁盘为主的情况下，数据S can需要的较大的磁盘IO，以及并行导致的高CPU，仍然是资源的短板。因此，高频的大规模汇 总统计，并发能力将面临较大挑战，这取决于集群硬件方面的并行计算能力。传统去重算法需要 大量计算资源，实时的大规模去重指标对CPU、内存都是一个巨大挑战。目前Doris最新版本已经 Join特性优化，可以实现秒级响应。 日级别，基于商家明细现场计算，同时满足汇总及下钻明细查询，查询时效基本都可以控 制在秒级。 7日趋势分析，2~3秒。由于数据量较大，根据集群规模不同查询性能有所区别，但数据量 较大时，调动的集群资源较多，因此MPP的并发性能受限于集群的性能。一般原则是并发 较高的业务，需要严格控制查询时效（基本在毫秒级），对于并发不高的业务，允许进行 较大的查询，但也要考虑集群的承受能力。 通过一年来的应用以