PieCloudDB: 基于PostgreSQL的eMPP 云原生数据库 吴疆 OpenPie产品和推广总监 @2022 OpenPie. All rights reserved. OpenPie Confidential @2022 OpenPie. All rights reserved. OpenPie Confidential !"#$%&'()*+,-./01234567489:;1<=>= 基础数据计算领域的世界级高科技创新驱动机构 CONTENTS @2022 OpenPie. All rights reserved. OpenPie Confidential 云解决了什么？ 借助于云上分布式存储，解耦存储 借助于云上虚拟化技术和之上的IaaS，解耦计算 池化资源，按需使用 基础软件尤其是数据平台上云已是大势所趋 用户专注于使用，运维等工作交给IaaS/SaaS厂商 @2022 木桶效应 扩容难 数据孤岛 元数据和用户数据跨集群 访问困难 运维成本 运维和DBA 传统分布式MPP架构痛点 @2022 OpenPie. All rights reserved. OpenPie Confidential 一个云原生实时大数据平台 平台底层：eMPP 云原生分布式SQL数据库 我们的目标：支持多模，serverless的实时大数据平台 关于PieCloudDB

，简称“OpenPie” 企业简介 l OpenPie是立⾜于国内的基础数据计算领域⾼科技创新机构； l 拥有强⼤的数据库内核研发团队、数据科学团队和数字化 转型团队； l 国内虚拟数仓和eMPP技术提出者，不断在数据计算引擎⽅ 向进⾏创新，全面拥抱AI技术趋势。 企业⽂化 使命：数据计算，只为新发现 愿景：成为立⾜中国基础数据计算领域的全球顶级⾼科技创新机构 价值观：以⼈为本、开放创新、拥抱变化、诚信正直 ：全面升级Hadoop⼤数据和Greenplum数仓⾄云原⽣数据平台 是⼀个存储系统+计算框架的软件框架。主要解决海量数据存储与计算的问题， 是⼤数据技术中的基⽯。让用户可以在不了解分布式底层细节的情况下，开发 分布式程序，以⼀种可靠、⾼效、可伸缩的⽅式进⾏数据处理。 组件很多，常见约30个，基础组件包括：Hadoop通用功能库、HDFS、 MapReduce以及YARN 。可视化管理是Ambari，其他的计算引擎、列存数据库 和 私 域 数 据 结 合 做 垂 直 应 用 @2024 OpenPie. All rights reserved. OpenPie Confidential πDataCS优势3 ：云原⽣下eMPP计算引擎全面颠覆MPP技术，⼤模型数据计算新范式 @2024 OpenPie. All rights reserved. OpenPie Confidential 计算引擎之 PieCloud

iclrudpB 罗 罗 罗_ < B Database 本EMPP 基灿异并行计算) 的云原生虚拟数仓 产品白皮书 ENRANSGenpPie.com 20230penPieAIIRight Reserved， Openpie | PiecloudDB 基于eMPP (弹性大规模并行计算) 的云原生虚拟数仓 产品白皮书 行业背景 数据量的爆发式增长 数据库的未来在云上 传统数仓的痛点 产品特性 PieCloudDB 产品核心技术 PieCloudDB8 产品优势 关于OpenpPie 附录: 术语表 11 13 15 16 openpie | PiecloudDB 基于 eMPP (弹性大规模并行计算) 的云原生虚拟数仓 产品白皮书 百岗 行业背景 石油是工业的血液，数据是数字经济的“石油”，数据分析则是石油精炼。 随着信息技术的发展，互联网应用的加速普及，人类进入 生数据库成为大势所趋，各个企业也都在向这 一趋势靠拢。2020 年数据显示，云数据库已占据整体数据库市场份额的40%，2022年云数据库营收数据将占据数据 库整体市场的半数以上。 OpenpPie | PiecloudDB 基于eMPP (弹性大规模并行计算) 的云原生虚拟数仓 产品白皮书 SN 中 Market Guide for DBMS, China

发现」为使命，成立后的短短10个月时间内，完成了包括头部 产业基金、东吴证券、元禾重元和政府科创平台在内的连续三 轮战略融资。 旗下云原生分析型数据库 PieCloudDB，以云计算架构为设 计基础，首创全新 eMPP 分布式技术，帮助企业建立竞争壁垒 的同时，实现数据价值最大化，并在新基建中承担可靠和可控 的世界级云数据库底座。 IvorySQL开源数据库社区 2021 2022 当天即获得腾讯投资天使轮投资 成立广州研发中心 10月 PieCloudDB 社区版与商业版正式发布 极速进入成长期 Day-1 2023 引领数据计算时代到来 1月 PieCloudDB 爱琴海版本发布 构建坚如磐石的 eMPP 云原生数仓 3月 2023拓数派战略暨新产品发布会 重磅发布 PieCloudDB「云上云」版 云原生数仓虚拟化引领数据计算时代到来 拓数派基于阿里云构建公共云数据仓库服务 正式上线 02 PieCloudDB 的架构特点 03 总结 04 IvorySQL开源数据库社区 PART 01 数据库的云原生远景 IvorySQL开源数据库社区 云解决了什么？ 借助于云上分布式存储，解耦存储 借助于云上虚拟化技术和之上的 IaaS，解耦 计算 池化资源，按需使用 基础软件尤其是数据平台上云已是大势所趋 用户专注于使用，运维等工作交给 IaaS/SaaS 厂商 IvorySQL开源数据库社区

成立后的短短10个月时间内，完成了包括头部产业基金、东吴证券、元 禾重元和政府科创平台在内的连续三轮战略融资。 旗下云原生分析型数据库PieCloudDB，以云计算架构为设计基础，首创 全新eMPP分布式技术，帮助企业建立竞争壁垒的同时，实现数据价值最 大化，并在新基建中承担可靠和可控的世界级云数据库底座。 打造立足于国内 基础数据计算领域的世界级高科技创新驱动机构 @2022 OpenPie 成⽴广州研发中心 10月 PieCloudDB 社区版与商业版正式发布 极速进入成长期 Day-1 2023 引领数据计算时代到来 1月 PieCloudDB 爱琴海版本发布 构建坚如磐石的eMPP云原生数仓 3月 2023拓数派战略暨新产品发布会 重磅发布PieCloudDB「云上云」版 云原生数仓虚拟化 引领数据计算时代到来 拓数派基于阿里云构建公共云数据仓库服务 正式上线 pieclouddb.com CONTENTS @2022 OpenPie. All rights reserved. OpenPie Confidential 云解决了什么？ 借助于云上分布式存储，解耦存储 借助于云上虚拟化技术和之上的IaaS，解耦计算 池化资源，按需使用 基础软件尤其是数据平台上云已是大势所趋 用户专注于使用，运维等工作交给IaaS/SaaS厂商 @2022

PieCloudDB Database 基于 eMPP （弹性大规模并行计算）的云原生虚拟数仓 产品白皮书 www.OpenPie.com ©2023 OpenPie All Right Reserved . 行业背景 数据量的爆发式增长 数据库的未来在云上 传统数仓的痛点 云时代的数据处理要求 PieCloudDB，云原生虚拟数仓 然而，随着数据量的不断攀升，企业对数据仓库的要求也越来越高，在使用过程中，传统 MPP 数据库解决方案迎来 了一系列的瓶颈： 4 传统数仓的痛点 很多受欢迎的数据库仓库均为分布式数据库，而典型的传统分布式数据库系统大多是 MPP（大规模并行计算）架构。 MPP 架构的数据库以 PC 服务器为单位，通过如下图所示的组群方式来扩展存储和计算。假设一个宽表有3亿条记录， MPP 数据库会尝试在每台 Data Computing for New Discoveries ”「数据计算，只为新发现」为使命，旗下云原生虚拟数仓 PieCloudDB，运用全新 eMPP（elastic Massive Parallel Processing） 分布式技术，可将物理数仓整合到云原生数据 计算平台，根据数据授权动态创建虚拟数仓，按需灵活计算，打破数据孤岛，支撑更大模型所需的数据和计算。 PieCloudDB

计算机和经济学，获得物理经济学双学位。（北大报道）研究生就读卡内基梅隆大学。(InfoQ报道) • 归国前就职于美国Oracle公司数据库服务器技术部门，是Oracle Cloud Control的分布式调动引擎的 主要贡献者之一。 • 因为参与Pivotal的拆分创建、C轮融资和IPO成功，以及主导的Greenplum产品在全球范围的开源影 响力，被《数字商业周刊》选为2019年度封面人物。（《数商周刊》报道） 特定领域（如神经网络） 私有云 Mundo元数据管理系统 统一Catalog 是一个存储系统+计算框架的软件框架。主要解决海量数据存储与计算的问题，是 大数据技术中的基石。让用户可以在不了解分布式底层细节的情况下，开发分布 式程序，以一种可靠、高效、可伸缩的方式进行数据处理。 组件很多，常见约30个，基础组件包括：Hadoop通用功能库、HDFS、 MapReduce以及YARN 。可 πDataCS优势2: 全面支持大语言基础模型和私域数据结合做垂直应用 πDataCS优势3 ：云原生下eMPP计算引擎全面颠覆MPP技术，大模型数据计算新范式 SQL语言实现的结构化数据上的模型计算 打破企业数据孤岛，整合企业所有表格类数据资源 πCloudDB（强逻辑计算） 云原生数据库/ 虚拟数仓 eMPP专利技术发明者/虚拟数仓产品的全球行业领导者 计算引擎之 PieCloudDB虚拟数仓，支撑更大模型所需的数据和计算

• e …. pyH� un lytlcD r.p ur re 。 Rock.s 2014 2018 2022 云原⽣数据库 PieCloudDB eMPP架构设计与实现 郭罡 拓数派CTO 关于拓数派（OpenPie） • 成⽴于2021年，以“Data Computing for New Discoveries”「数据计算， 只为新发现」为使命。 化（芯⽚KVM⽀持实现）和云计算架 构、⾼速⺴络开发（内核和应⽤层如DPDK） • 分布式系统（SQL/NoSQL/存储) • 最近 7+ 年⼀直从事开源分布式数据库开发 一个eMPP 云原生分布式SQL数据库 一个云原生实时大数据平台基座 愿景：安全可靠 使用简单 功能齐全 性能极致 传统分布式MPP架构痛点 缺乏弹性 业务使用不灵活 成本高昂 集群固定，资源利用率低 木桶效应 木桶效应 扩缩容难 数据孤岛 元数据和用户数据跨集群 访问困难 运维成本 运维和DBA 我们需要一个云原生数据库 云解决了什么？ 借助于云上分布式存储，解耦存储 借助于虚拟化技术和之上的IaaS，解耦计算 池化资源，按需使用 基础软件尤其是数据库软件上云已是大势所趋 用户专注于使用，其他事情交给IaaS/SaaS厂商 上云 ≠ 云原生 计算&存储 弹性 智能化云原生平

Postgres Conference China 2016 中国用户大会 Postgres Conference China 2016 中国用户大会 MongoDB 分布式架构演进 张友东（林青） 阿里云数据库技术团队 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 2016Postgres中国用户大会 Postgres

@Copyright Sunteng Technology 分布式任务系统 cronsun 苏创绩 @Copyright Sunteng Technology 目录 01 任务系统 02 分布式任务系统 03 cronsun 04 心得体会 @Copyright Sunteng Technology Part One 01 任务系统 @Copyright Sunteng Technology Part Two 02 分布式任务系统 @Copyright Sunteng Technology 分布式系统的特点 1. 分布性 2. 对等性 3. 并发性 4. 缺乏全局时钟 5. 故障总是会发生 @Copyright Sunteng Technology 分布式 cron 分布式crond 分布式crontab cmd1 cmd2 cmd3 Chronos Chronos 是一个运行在 Mesos 之上的具有分布式容错特性的作业调度器 @Copyright Sunteng Technology Dkron 分布式高可用的任务调度系统 @Copyright Sunteng Technology 我眼里的“西施” 1. 可替代 cron 2. 分布式、高可用 3. 支持多种任务属性 4. 易用 5. 易部署 @Copyright