 Apache Doris 在美团外卖数仓中的应用实践OLAP生产模式。 MPP引擎的选型 目前开源的比较受关注的OLAP引擎很多,比如Greenplum、Apache Impala、Presto、Doris、Cl ickHouse、Druid、TiDB等等,但缺乏实践案例的介绍,所以我们也没有太多的经验可以借鉴。 于是,我们就结合自身业务的需求,从引擎建设成本出发,并立足于公司技术生态融合、集成、 易用性等维度进行综合考虑,作为选型依据,最终我 Doris开源版本默认会对t2表进行全表Scan,这样会导致上面的查询超时,进而导致外卖业务在D oris上的第一批应用无法上线。 于是我们在Doris中实现了第一个优化:Join谓词下推的传递性优化(MySQL和TiDB中称之为Cons tant Propagation)。Join谓词下推的传递性优化是指:基于谓词t1.id = t2.id和t1.id = 1, 我们可以推断出新的谓词t2.id = 1,并将谓词t20 码力 | 8 页 | 429.42 KB | 1 年前3 Apache Doris 在美团外卖数仓中的应用实践OLAP生产模式。 MPP引擎的选型 目前开源的比较受关注的OLAP引擎很多,比如Greenplum、Apache Impala、Presto、Doris、Cl ickHouse、Druid、TiDB等等,但缺乏实践案例的介绍,所以我们也没有太多的经验可以借鉴。 于是,我们就结合自身业务的需求,从引擎建设成本出发,并立足于公司技术生态融合、集成、 易用性等维度进行综合考虑,作为选型依据,最终我 Doris开源版本默认会对t2表进行全表Scan,这样会导致上面的查询超时,进而导致外卖业务在D oris上的第一批应用无法上线。 于是我们在Doris中实现了第一个优化:Join谓词下推的传递性优化(MySQL和TiDB中称之为Cons tant Propagation)。Join谓词下推的传递性优化是指:基于谓词t1.id = t2.id和t1.id = 1, 我们可以推断出新的谓词t2.id = 1,并将谓词t20 码力 | 8 页 | 429.42 KB | 1 年前3
 SelectDB案例 从 ClickHouse 到 Apache DorisHive、Iceberg、Hudi 等数据湖和 MySQL、Elasticsearch 等数据库的联邦查 询分析。  导入方式多样,支持从 HDFS/S3 等远端存储批量导入,也支持读取 MySQL Binlog 以及订阅消息队列 Kafka 中的数据,还可以通过 Flink Connector 实时/批次同步数 据源(MySQL,Oracle,PostgreSQL 等)到 Doris。**** 0 码力 | 12 页 | 1.55 MB | 1 年前3 SelectDB案例 从 ClickHouse 到 Apache DorisHive、Iceberg、Hudi 等数据湖和 MySQL、Elasticsearch 等数据库的联邦查 询分析。  导入方式多样,支持从 HDFS/S3 等远端存储批量导入,也支持读取 MySQL Binlog 以及订阅消息队列 Kafka 中的数据,还可以通过 Flink Connector 实时/批次同步数 据源(MySQL,Oracle,PostgreSQL 等)到 Doris。**** 0 码力 | 12 页 | 1.55 MB | 1 年前3
共 2 条
- 1













