 SelectDB案例 从 ClickHouse 到 Apache Doris数据架构 4.0 在数据架构 3.0 的基础上,我们对语义层进行更深层次的应用,在数据架构 4.0 中,我们 将语义层变为架构的中枢节点,目标是对所有的指标和标签统一定义,从计算-加速-查询实 现中心化、标准化管理,解决数据管理机制割裂的问题。 5 语义层作为架构中枢节点所带来的变化:  数仓层:语义层接收 SQL 触发计算或查询任务。数仓从 DWD 到 DWS 的计算逻 分配给新录入的标签/指标, 避免在查询高峰期因新增标签/指标所引起的 Schema Change 开销对集群产生的 影响。经测试,用户在元信息录入后 10 分钟内就可以使用相应的数据。 值得关注的是,在社区近期发布的 1.2.0 版本中,增加了 Light Schema Change 功能, 对 于增减列的操作不需要修改数据文件,只需要修改 FE 中的元数据,从而可以实现毫秒级的 Schame Change 引对数组类型也提供了支持,多个过滤条件可以任意进行 AND OR NOT 逻辑组合。由于高 性能的向量化实现和面向 AP 数据库的精简优化,Doris 的倒排索引相较于 ES 会有 3~5 倍性价比提升,即将在 2 月底发布的 2.0 preview 版本中可用于功能评估和性能测试,相 信在这个场景使用后会有进一步的性能提升。 成本优化 在当前大环境下,降本提效成为了企业的热门话题,如何在保证服务质量的同时降低成本开0 码力 | 12 页 | 1.55 MB | 1 年前3 SelectDB案例 从 ClickHouse 到 Apache Doris数据架构 4.0 在数据架构 3.0 的基础上,我们对语义层进行更深层次的应用,在数据架构 4.0 中,我们 将语义层变为架构的中枢节点,目标是对所有的指标和标签统一定义,从计算-加速-查询实 现中心化、标准化管理,解决数据管理机制割裂的问题。 5 语义层作为架构中枢节点所带来的变化:  数仓层:语义层接收 SQL 触发计算或查询任务。数仓从 DWD 到 DWS 的计算逻 分配给新录入的标签/指标, 避免在查询高峰期因新增标签/指标所引起的 Schema Change 开销对集群产生的 影响。经测试,用户在元信息录入后 10 分钟内就可以使用相应的数据。 值得关注的是,在社区近期发布的 1.2.0 版本中,增加了 Light Schema Change 功能, 对 于增减列的操作不需要修改数据文件,只需要修改 FE 中的元数据,从而可以实现毫秒级的 Schame Change 引对数组类型也提供了支持,多个过滤条件可以任意进行 AND OR NOT 逻辑组合。由于高 性能的向量化实现和面向 AP 数据库的精简优化,Doris 的倒排索引相较于 ES 会有 3~5 倍性价比提升,即将在 2 月底发布的 2.0 preview 版本中可用于功能评估和性能测试,相 信在这个场景使用后会有进一步的性能提升。 成本优化 在当前大环境下,降本提效成为了企业的热门话题,如何在保证服务质量的同时降低成本开0 码力 | 12 页 | 1.55 MB | 1 年前3
 Apache Doris 在美团外卖数仓中的应用实践间,相信以Doris引擎 为驱动的ROLAP模式会为美团的业务团队带来更大的收益。从目前实践效果看,其完全有替代Kyl in、Druid、ES等引擎的趋势。 目前,数据库技术进步飞速,近期柏睿数据发布全内存分布式数据库RapidsDB v4.0支持TB级毫 秒响应(处理千亿数据可实现毫秒级响应)。可以预见,数据库技术的进步将大大改善数仓的分 层管理与应用支撑效率,业务将变得“定义即可见”,也将极大地提升数据的价值。0 码力 | 8 页 | 429.42 KB | 1 年前3 Apache Doris 在美团外卖数仓中的应用实践间,相信以Doris引擎 为驱动的ROLAP模式会为美团的业务团队带来更大的收益。从目前实践效果看,其完全有替代Kyl in、Druid、ES等引擎的趋势。 目前,数据库技术进步飞速,近期柏睿数据发布全内存分布式数据库RapidsDB v4.0支持TB级毫 秒响应(处理千亿数据可实现毫秒级响应)。可以预见,数据库技术的进步将大大改善数仓的分 层管理与应用支撑效率,业务将变得“定义即可见”,也将极大地提升数据的价值。0 码力 | 8 页 | 429.42 KB | 1 年前3
 百度智能云 Apache Doris 文档s" "CommitAndPublishTimeMs":: 18 18 }} Baidu 百度智能云文档 SQL手册 42 CommitAndPublishTimeMs:向Fe请求提交并且发布事务所花费的时间,单位毫秒。 ErrorURL:如果有数据质量问题,通过访问这个 URL 查看具体错误行。 2. 如何正确提交 Stream Load 作业和处理返回结果。 Stream Load0 码力 | 203 页 | 1.75 MB | 1 年前3 百度智能云 Apache Doris 文档s" "CommitAndPublishTimeMs":: 18 18 }} Baidu 百度智能云文档 SQL手册 42 CommitAndPublishTimeMs:向Fe请求提交并且发布事务所花费的时间,单位毫秒。 ErrorURL:如果有数据质量问题,通过访问这个 URL 查看具体错误行。 2. 如何正确提交 Stream Load 作业和处理返回结果。 Stream Load0 码力 | 203 页 | 1.75 MB | 1 年前3
共 3 条
- 1













