车轮一样，经过几十年磨砺，数据库引擎技术已经非常成熟，大可 不必去重新设计开发，而且把数据库底层交给其它专业化组织来开 发（对应到 Postgresql 就是社区），还可充分利用到社区的源源不 断的创新能力和资源，让产品保持持续旺盛的生命力。 这也是我们在用户选型时，通常建议用户考察一下底层的技术支撑 是不是有好的组织和社区支持的原因，如果缺乏这方面的有力支持 或独自闭门造轮，那就有理由为那个车的前途感到担忧，一个简单 是反潮流的），数据处理过程分成 Map-〉 Shuffle-〉Reduce 的过程，相比 MPP 数据库并行计算而言， Mapreduce 的数据在计算前未经整理和组织（只是做了简单数据 分块，数据无模式），而 MPP 预先会把数据有效的组织（有模式）， 例如：行列表关系、Hash 分布、索引、分区、列存储等、统计信 息收集等，这就决定了在计算过程中效率大为不同： ·MAP 效率对比 Hadoop 的 数据库从已一开始就是开放的技术，并且在 2015 年 年底已经开源和成立社区（在开源第一天就有上千个 Download）， 可以说，Greenplum 已经不仅仅只是 Pivotal 公司一家的产品，我们相 信越来越多组织和个人会成为 Greenplum 的 Contributor 贡献者，随 着社区的发展将推动 GreenplumMPP 数据库走向新的高速发展旅程。 （分享一下开源的直接好处，最近我们某用户的一个特殊需求，加载

采用较多开源组件，技术栈太⼴，数据应用开发周期长 Ø Hadoop集群运维成本较⾼，技术响应慢 解决⽅案： 采用PieCloudDB作为核⼼数字底座，完成原来CDH（Hadoop）平台的替换，构建了制造业⾏业云的数据中台服务，既面向集团内 部服务，同时也面向⾏业的公司提供服务。在集团内部主要提供营销数据、用户数据、经营数据以及车联⽹数据等数据的分析和应 用。具体如下： Ø 替换了Hive数仓，

SQL • 新增 MySQL 8 中的公共表表达式 (Common Table Expression，简称 CTE)。 CTE 为 TiDB 带来递归或非递归查询层次结构数据的能力，满足了人力资源、制造业、金融市场和教育在 内的多种应用领域需要使用树形查询实现业务逻辑的需求。 在 TiDB 中，你可以通过 WITH 语句使用公共表表达式。用户文档，#17472 • 新增 MySQL 8 中的动态权限 Rule 的属性来 决定规则是相互覆盖还是同时生效。如果有多条规则同时生效，PD 会按照规则的堆叠次序依次去生成调度 进行规则匹配。 此外，为了满足不同来源的规则相互隔离的需求，支持更灵活的方式来组织规则，还引入了分组 (Group) 的概 念。通常情况下，用户可根据规则的不同来源把规则放置在不同的 Group。 Placement Rules 示意图如下所示： 572 图 118: Placement Cartesian Join，但有以下使用条件： – 只有在MPP 模式下才能被下推 – 只有在 Broadcast Join 中才支持 Cartesian Join 在 TiDB 中，算子之间会呈现树型组织结构。一个算子能下推到 TiFlash 的前提条件，是该算子的所有子算子都 能下推到 TiFlash。因为大部分算子都包含有表达式计算，当且仅当一个算子所包含的所有表达式均支持下推 到 TiFlash

表是集群中的一种逻辑对象，它从属于数据库，用于保存从 SQL 中发送的数据。表以行和列的形式组织数据 记录, 一张表至少有一列。若在表中定义了 n 个列，那么每一行数据都将拥有与这 n 个列中完全一致的字段。 4.5.3.3 命名表 创建表的第一步，就是给你的表起个名字。请不要使用无意义的表名，将给未来的你或者你的同事带来极大 的困扰。推荐你遵循公司或组织的表命名规范。 CREATE TABLE 语句通常采用以下形式： 聚簇索引 (clustered index) 是 TiDB 从 v5.0 开始支持的特性，用于控制含有主键的表数据的存储方式。通过使用 聚簇索引，TiDB 可以更好地组织数据表，从而提高某些查询的性能。有些数据库管理系统也将聚簇索引称为 “索引组织表” (index-organized tables)。 目前 TiDB 中 含有主键的表分为以下两类： • NONCLUSTERED，表示该表的主键为非 users 等，或 遵循你公司或组织的命名规范。如果你的公司或组织没有相应的命名规范，可参考表命名规范。请勿 使用这样的表名，如：t1, table1 等。 • 多个单词以下划线分隔，不推荐超过 32 个字符。 • 不同业务模块的表单独建立 DATABASE，并增加相应注释。 4.5.3.10.2 定义列时应遵守的规则 • 查看支持的列的数据类型，并按照数据类型的限制来组织你的数据。为你计划被存在列中的数据选择

这是一个劳动密集型的业务，外卖业务有上万人的运营团队来服务全国几百万的商家，并以“商圈 ”为单元，服务于“商圈”内的商家。“商圈”是一个组织机构维度中的最小层级，源于外卖组织的特 点，“商圈”及其上层组织机构是一个变化维度，当“商圈”边界发生变化时，就导致在往常日增量的 业务生产方式中，历史数据的回溯失去了参考意义。在所有展现组织机构数据的业务场景中，组 织机构的变化是一个绕不开的技术问题。此外，商家品类、类型等其它维度也存在变化维的问题 当业务分析维度相对固化，并在可以使用历史状态时，按照时间进行增量生产，加工 成本呈线性增长状态，数据加工到更粗的粒度（如组织单元），减少结果数据量，提高交互效率 。如上图所示，由A模型预计算到B模型，使用Kylin是一个不错的选择。 ROLAP： 当业务分析维度灵活多变或者特定到最新的状态时（如上图A模型中，始终使用最新的 商家组织归属查看历史），预计算回溯历史数据成本巨大。在这种场景下，将数据稳定在商家的 粒度，通过现场

拥有强大的数据库内核研发团队、数据科学家团 队和数字化转型团队； l 国内虚拟数仓和eMPP技术提出者，不断在数据 计算引擎方向进行创新，全面拥抱AI技术趋势。 企业介绍 云原生数据计算系统 围绕数据组织云原生计算系统， 重构数据存储和计算，一份存 储，多引擎数据计算，全面升 级大数据系统至大模型时代。 02 中国AGI发展趋势 中国AGI市场融资非常活跃， AGI顶级人才非常欠缺，整 认知方面取得了显著进步，但要达到真正的通用智能，仍需克服重重困难。因此，AI Agent作为新的研究方向，开始受至越来越多的关注。 AI Agent成为推动AI技术革命的关键力量 云原生数据计算系统 围绕数据组织云原生计算系统，重构数据存储和计算， 一份存储，多引擎数据计算，全面升级大数据系统至大 模型时代。 02 云原生数据计算系统 大模型数据计算系统概览 • Data Sharing 技术原生支持数据要素流转 Format技术 • 云原生存储架构，元数据、数据和计算全分离 核 心 技 术 突 破 • 数据一次入库永不出户，数据可用不可见，跑算力不跑数据 • 全链路加密保证数据安全 • JANM存储引擎等技术有效组织数据配合大模型精调 u 首创云原生eMPP架构 u 国内数仓虚拟化技术提出者 云原生数据计算系统 PieDataCS数据底座为AI大模型赋能 云原生数据计算系统 虚拟数仓引擎设计 云原生数据计算系统

集团风险管控 l 企业大数据及商业智能 l 企业云服务 l 智能机器人应用 l 集团IT治理 l …… l 能源产业链 l 区域能源管理 l 能源大数据 l 购售电平台 l …… l 智慧组织 l 智慧城市 l 智慧产业 l …… EDT 企业级大数据平台 BAS区块链企业应用服务平台 ECP 企 业 云 平 台 服务（咨询、实施、运维、定制开发、系统集成……） 面向 集团企业 国网英大集团 珠海市政府 九三学社 珠海特区报 三峡电能 秦山核电 香港医思医疗 国家能源集团 安徽皖能 南方电网 金川集团 金晶集团 中航集团 比亚迪股份 互联数据资源、为组织数字资产管理运营、数据探索、分析赋能！ 数据汇聚 专业的数据资源管理 自助分析 价值挖掘 多维探索 灵活 快速 自助 洞察 预警 消息 交互 Agenda. 数据分区 01 / 一级索引&二级索引 [SETTINGS name=value, 省略...] 分区键 排序键 主键 index_granularity = 8192 索引粒度 MergeTree的存储结构 数据以分区的形式被组织 , PARTITION BY 各列独立存储, 按ORDER BY 排序 一级索引, 按PRIMARY Key 排序 数据分区 数据的分区规则 l 不指定分区键 如果不使用分区键，既不使用PARTITION

表是集群中的一种逻辑对象，它从属于数据库，用于保存从 SQL 中发送的数据。表以行和列的形式组织数据 记录, 一张表至少有一列。若在表中定义了 n 个列，那么每一行数据都将拥有与这 n 个列中完全一致的字段。 4.5.3.3 命名表 创建表的第一步，就是给你的表起个名字。请不要使用无意义的表名，将给未来的你或者你的同事带来极大 的困扰。推荐你遵循公司或组织的表命名规范。 CREATE TABLE 语句通常采用以下形式： 聚簇索引 (clustered index) 是 TiDB 从 v5.0 开始支持的特性，用于控制含有主键的表数据的存储方式。通过使用 聚簇索引，TiDB 可以更好地组织数据表，从而提高某些查询的性能。有些数据库管理系统也将聚簇索引称为 “索引组织表” (index-organized tables)。 目前 TiDB 中 含有主键的表分为以下两类： • NONCLUSTERED，表示该表的主键为非 users 等，或 遵循你公司或组织的命名规范。如果你的公司或组织没有相应的命名规范，可参考表命名规范。请勿 使用这样的表名，如：t1, table1 等。 • 多个单词以下划线分隔，不推荐超过 32 个字符。 • 不同业务模块的表单独建立 DATABASE，并增加相应注释。 4.5.3.10.2 定义列时应遵守的规则 • 查看支持的列的数据类型，并按照数据类型的限制来组织你的数据。为你计划被存在列中的数据选择

表是集群中的一种逻辑对象，它从属于数据库，用于保存从 SQL 中发送的数据。表以行和列的形式组织数据 记录, 一张表至少有一列。若在表中定义了 n 个列，那么每一行数据都将拥有与这 n 个列中完全一致的字段。 4.5.3.3 命名表 创建表的第一步，就是给你的表起个名字。请不要使用无意义的表名，将给未来的你或者你的同事带来极大 的困扰。推荐你遵循公司或组织的表命名规范。 CREATE TABLE 语句通常采用以下形式： 聚簇索引 (clustered index) 是 TiDB 从 v5.0 开始支持的特性，用于控制含有主键的表数据的存储方式。通过使用 聚簇索引，TiDB 可以更好地组织数据表，从而提高某些查询的性能。有些数据库管理系统也将聚簇索引称为 “索引组织表” (index-organized tables)。 目前 TiDB 中 含有主键的表分为以下两类： • NONCLUSTERED，表示该表的主键为非 users 等，或 遵循你公司或组织的命名规范。如果你的公司或组织没有相应的命名规范，可参考表命名规范。请勿 使用这样的表名，如：t1, table1 等。 • 多个单词以下划线分隔，不推荐超过 32 个字符。 • 不同业务模块的表单独建立 DATABASE，并增加相应注释。 4.5.3.10.2 定义列时应遵守的规则 • 查看支持的列的数据类型，并按照数据类型的限制来组织你的数据。为你计划被存在列中的数据选择

表是集群中的一种逻辑对象，它从属于数据库，用于保存从 SQL 中发送的数据。表以行和列的形式组织数据 记录, 一张表至少有一列。若在表中定义了 n 个列，那么每一行数据都将拥有与这 n 个列中完全一致的字段。 4.5.3.3 命名表 创建表的第一步，就是给你的表起个名字。请不要使用无意义的表名，将给未来的你或者你的同事带来极大 的困扰。推荐你遵循公司或组织的表命名规范。 CREATE TABLE 语句通常采用以下形式： 聚簇索引 (clustered index) 是 TiDB 从 v5.0 开始支持的特性，用于控制含有主键的表数据的存储方式。通过使用 聚簇索引，TiDB 可以更好地组织数据表，从而提高某些查询的性能。有些数据库管理系统也将聚簇索引称为 “索引组织表” (index-organized tables)。 目前 TiDB 中 含有主键的表分为以下两类： • NONCLUSTERED，表示该表的主键为非 users 等，或 遵循你公司或组织的命名规范。如果你的公司或组织没有相应的命名规范，可参考表命名规范。请勿 使用这样的表名，如：t1, table1 等。 • 多个单词以下划线分隔，不推荐超过 32 个字符。 • 不同业务模块的表单独建立 DATABASE，并增加相应注释。 4.5.3.10.2 定义列时应遵守的规则 • 查看支持的列的数据类型，并按照数据类型的限制来组织你的数据。为你计划被存在列中的数据选择