项目背景： 该企业依托于集团内部需求，建设了⼀个云平台，提供基础设施服务。随着⼦公司接⼊的数量越来越多，数据量也急剧增长， 原本采用的Hadoop平台⽆法满⾜业务的分析需求，主要存在以下问题： Ø 数据同步和采集周期较长，实时性很差 Ø 数据量达到PB级别，数据分析性能直线下降 Ø 采用较多开源组件，技术栈太⼴，数据应用开发周期长 Ø Hadoop集群运维成本较⾼，技术响应慢 解决⽅案： 采 数据的分析和应 用。具体如下： Ø 替换了Hive数仓，采用PieCloudDB云原⽣虚拟数仓作为数仓服务，整体数仓的SQL执⾏性能是原Hive的30倍； Ø 支持更多的数据源，具备全量和增量数据同步功能，优化了数据采集和⼊库的性能，可通过ChunJun进⾏实时⼊库， 性能较传统GP提升了6倍； Ø 升级了数据中台的安全审计应用，采用PieCloudDB替换了ES，支持半结构化数据的查询（json/xml等数据格式）， 设施 计算资源 存储资源 ⽹络资源 云原⽣资源 中间件 数据库 ⾼性能存储 离线数据 主流组件（Kafka、Flink、Spark、ES） 实时数据 数据 存储 全量数据同步 πDataCS 增量数据同步 可视化ETL 结构化数据处理 非结构化数据处理 数据标准 数据权限体系 数据质量 数据资产目录 元数据统⼀管理 数据安全 离线计算 数据⾎缘 数据标准 实时计算 作业调度 数据交换

邱培峰 拓数派技术专家 ETL解决方案及内核组件研发 PieCloudDB 分布式架构简介 ETL 简述 PieCloudDB ETL方案设计 Postgres -> PieCloudDB 增量数据实时 cdc 演示 01 02 03 04 eMPP架构 存算分离，元数据/缓存/计算/云存储 01 02 03 04 各模块可以独立伸缩，模块间接口统一 每一组计算节点组成一个集群，多集群共享 delete 0 4 3 insert 5 5 4 delete 0 lpk data 1 2 3 3 lpk data 1 2 2 3 3 5 Postgres->PieCloudDB 增量数据实时cdc演示

.................................................................................. 5 2.1 配置 NTP 同步 .................................................................................................. 本地有 K8S 环境和对象存储，请选择第三章节《PieCloudDB 基于已有 K8S 的部署方案》 2. PieCloudDB 和 K8S 一起部署方案 2.1 配置 NTP 同步 用 root 用户在每个节点执行如下命令： 1. yum install -y chrony 2. systemctl enable chronyd 3. systemctl start

国内数仓虚拟化技术提出者 云原生数据计算系统 PieDataCS数据底座为AI大模型赋能 云原生数据计算系统 虚拟数仓引擎设计 云原生数据计算系统 分布式优化器设计 云原生数据计算系统 结构化和半结构化数据同步 云原生数据计算系统 向量计算引擎设计 云原生数据计算系统 多模态数据共享 AIGC全生命周期管理 基于PieCloudML，为企业构建统一的MaaS框架和 AIGC开发框架，对模型和AI