云原生数据库 PieCloudDB : Unbreakable 安全特性剖析云原生数据库 PieCloudDB : Unbreakable 安全特性剖析 王 淏 舟 P i e C l o u d D B 资 深 技 术 专 家 O p e n P i e | 拓 数 派 打造立足于国内 基础数据计算领域的世界级高科技创新驱 动机构 !"#$%&'()*+,-./01234567489:;1<=>=? @AB3C>75D?EAF?G4H?<7IJAK4F74I8L$MNO:PQR(STQUV: PART 01 的安全特性 三大区域 • 云原生安全 • 传输层加密 • 缓存数据加密 • 存储安全 • 元数据持久化存储 • 用户数据多副本加密储存 • 计算安全 • 集群失效不影响用户数据 • ACID保证 三大区域 • 云原生安全 • 传输层加密 • 缓存数据加密 • 存储安全 • 元数据持久化存储 • 用户数据多副本加密储存 • 计算安全 • 集群失效不影响用户数据 将数据库数据从明文存储转为加密存储 • 避免数据被系统运维人员直接读出 • 不依赖公有云/私有云/系统加密 • 用户合规需求 • 数据安全审计 • 业务安全审计 PART 02 需求和挑战 来自用户的需求(1) • 密钥自主可控 • 主密钥存储于安全区域中 • 密钥不出区 • 加密密钥支持轮换 • 按时间/条件进行密钥轮换 • 无需停机,不中断服务 • 对性能影响小 • 避免额外造成查询延迟0 码力 | 34 页 | 599.00 KB | 1 年前3
πDataCS赋能工业软件创新与实践数据计算资源按需扩缩容,实现计算资源配置最优化, 提升数仓的敏捷性和弹性,打开⽆限数据计算空间, 支撑更⼤模型所需的数据和计算。更好地赋能业务发 展并⾛向绿⾊。 降低数仓硬件和管理成本 提升数据计算资源利用效益 坚如磐⽯ | ⾼安全 ⾼在线 ⾼可靠 突 破 性 创 新 的 核 ⼼ 技 术 出 ⾊ 的 数 仓 成 本 效 益 @2024 OpenPie. All rights reserved. OpenPie Confidential rights reserved. OpenPie Confidential PieCloudDB--虚拟数仓引擎 Mundo Catalog 计算节点 JANM Table Format 管控节点 安全审计 API接⼝ ETL功能 数据洞察 运维管控 用户权限 NAS⽂件存储 HDFS分布式⽂件系统 S3对象存储 其他Data Lake Bare-Metal IaaS资源 执⾏器 执⾏器 TDE技术保证了所有数据在落盘前完成加密,服务器 ⽆感知技术(Serverless)利用云上⽆限计算资源和弹 性保证了虚拟数仓永远在线可用,S3存储和跨云灾备 能⼒保证了永不丢数。 坚如磐⽯ | ⾼安全 ⾼在线 ⾼可靠 MPP πPG eMPP 内 核 存 算 分 离 重 写 云原⽣创新设计和专利 ⾏业顶级数据库的 抽象思考和设计原则复用 @2024 OpenPie. All rights0 码力 | 36 页 | 4.25 MB | 1 年前3
PieCloudDB 的云原生之路架构痛点 IvorySQL开源数据库社区 PART 02 云原生数据库 PieCloudDB 简介 IvorySQL开源数据库社区 数据 计算 发现 数据:云上数据既是隔离也是连通。从安全的角度是隔离,同时具 备数据共享的能力。 例如:投资管理系统和财务管理系统可以各自管理,按需分享。 计算:云上计算资源可以弹性分配。有查询计算任务的时候按需启动, 按照使用时间和规模计算成本,而不是购买大量服务器静置为不确定 数据计算资源按需扩缩容,实现计算资源配置最优化, 提升数仓的敏捷性和弹性,打开无限数据计算空间, 更好地赋能业务发展并走向绿色。 降低数仓硬件和管理成本 提升数据计算资源利用效益 坚如磐石 | 高安全 高在线 高可靠 突 破 性 创 新 的 核 心 技 术 出 色 的 数 仓 成 本 效 益 IvorySQL开源数据库社区 PieCloudDB 技术突破:数仓虚拟化 云原生存算分离架构 IvorySQL开源数据库社区 • 数据分布和弹性 o 分布式 eMPP 架构 (一致性Hash) o 本地数据减少高延时的云存储访问 o 减少数据移动 o 扩缩容最少的数据移动 • 数据安全性 o 透明数据加密 o 三级密钥 o 实时加解密 构建新一代云原生存储引擎 IvorySQL开源数据库社区 全链路优化 • 全新的存储引擎简墨(JANM) ⚬ 基于对象存储的行列混存架构0 码力 | 47 页 | 1.80 MB | 1 年前3
PieCloudDB云原生数仓虚拟化之路传统分布式MPP架构痛点 @2022 OpenPie. All rights reserved. OpenPie Confidential 数据 计算 发现 数据:云上数据既是隔离也是连通。从安全的⾓度是隔离,同时具 备数据共享的能⼒。 例如:投资管理系统和财务管理系统可以各⾃管理,按需分享。 计算:云上计算资源可以弹性分配。有查询计算任务的时候按需启动, 按照使⽤时间和规模计算成本,⽽不是购买⼤量服务器静置为不确定 数据计算资源按需扩缩容,实现计算资源配置最优化, 提升数仓的敏捷性和弹性,打开⽆限数据计算空间, 更好地赋能业务发展并⾛向绿⾊。 降低数仓硬件和管理成本 提升数据计算资源利用效益 坚如磐石 | 高安全 高在线 高可靠 突 破 性 创 新 的 核 心 技 术 出 色 的 数 仓 成 本 效 益 @2022 OpenPie. All rights reserved. OpenPie Confidential Confidential 构建新一代云原生存储引擎 • 数据分布和弹性 • 分布式eMPP架构 (一致性Hash) • 本地数据减少高延时的云存储访问 • 减少数据移动 • 扩缩容最少的数据移动 • 数据安全性 • 透明数据加密 • 三级密钥 • 实时加解密 @2022 OpenPie. All rights reserved. OpenPie Confidential 全链路优化 • 全新的存储引擎简墨(JANM)0 码力 | 44 页 | 1.64 MB | 1 年前3
PieCloudDB:基于PostgreSQL的eMPP云原生数据库实时大数据平台 关于PieCloudDB 使用简单 功能齐全 性能极致 安全可靠 @2022 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB 重要特点 eMPP 完备的事务支持 完善的SQL标准支持 Postgres生态支持 安全 友好的用户接口(WebSql, ODBC/JDBC driver等). Confidential 构建新一代云原生存储引擎 • 数据分布和弹性 • 分布式eMPP架构 (一致性Hash) • 本地数据减少高延时的云存储访问 • 减少数据移动 • 扩缩容最少的数据移动 • 数据安全性 • 透明数据加密 • 三级密钥 • 实时加解密 @2022 OpenPie. All rights reserved. OpenPie Confidential 构建新一代云原生存储引擎 OpenPie Confidential 安全性增强 生态建设 全链路优化 @2022 OpenPie. All rights reserved. OpenPie Confidential • 透明加密技术 • 加密用户数据,避免被未经许可人员读出 • 用户无感知,不影响用户的业务,对性能影响小 • 合规 • 符合数据安全审计要求 • 符合业务安全审计要求 安全性增强 @2022 OpenPie0 码力 | 45 页 | 1.32 MB | 1 年前3
云原生虚拟数仓PieCloudDB Database产品白皮书打开无限数据计算空间,推进AI/BI到下一个精度。PieCloudDB 在eMPP分布式专利技术、服务器无感知(Serverless)及TDE(透明数据加密)等多项核心技术加持下,为企业构建 高安全,高可靠,高在线「坚如磐石」的云原生虚拟数仓,助力企业实现数据价值最大化,更好地赋能业务发展并走 向绿色,成为新一代AI数据计算基础设施的一个典范。 全面的 SQL 兼容度 多维度弹性扩缩容 配置。 不受基础架构限制 PieCloudDB: 11 数据隐私安全和加密 完善的数据生态 PieCloudDB 提供企业级数据透明加密。实时加密(on-the-fly)、高强度算法、多级密钥、传输加密等技术为企业数 据的安全性保驾护航。 PieCloudDB 还支持包括数据库、表级别授权管理等完善的安全及权限管理,帮助企业系统地管理表级别的权限。支 持函数、参数等相关的白名单配置,避免用户对系统进行误操作。 持函数、参数等相关的白名单配置,避免用户对系统进行误操作。 此外,PieCloudDB 提供的可视化平台,帮助企业更方便地梳理维护角色授权。安全性上支持端到端的访问控制管理 和证书管理。 PieCloudDB 兼容 PostgreSQL/Greenplum 生态组件,兼容大部分现有的 PostgreSQL/Greenplum 客户端,商务智能 (BI)和 ETL 组件。并且,PieCloudDB 正在0 码力 | 17 页 | 2.02 MB | 1 年前3
PieCloudDB Database 产品白皮书 数量级降低数仓 成本,打开无限数据计算空间,推进AVBI到下一个精度。PieCloudDB在eMPP分布式专利技术、服务器无感知 《(Serverless)及TDE等多项核心技术加持下,为企业构建高安全,高可靠,高在线 【坚如大石) 的云原生虚拟数仓, 助力企业实现数据价值最大化,更好地赋能业务发展并走向绿色,成为新一代Al数据计算基础设施的一个典范。 PiecloudDB 产品架构 pieCloudDB (on-the-fly) 、高强度算法、多级密钥、传输加密等技术为企业数 据的安全性保驾护航。 pieCloudDB 还支持包括数据库、表级别授权管理等完善的安全及权限管理,帮助企业系统地管理表级别的权限。支 持函数、参数等相关的白名单配置,避免用户对系统进行误操作。 此外,PieCloudDB 提供的可视化平台,帮助企业更方便地梳理维护角色授权。安全性上支持端到端的访问控制管理 和证书管理。 * 完善的数据生态 * 多集群数据共享 PieCloudDB 通过统一元数据管理技术安全轻松地实现不同集群间的数据共享,使数据库中任何一个集群可以对数据 库内任何一份数据进行访问,避免了数据复制与移动的复杂性。此外,PieCloudDB 的云原生架构支持用户基于同一 份数据建立多个集群,每个集群拥有独立的计算资源和独立的权限管控,满足业务的隔离性和安全性需求。 * 多级缓存技术 在 PieCloudDB 的计算层0 码力 | 17 页 | 2.68 MB | 1 年前3
云原生数据库 PieCloudDB eMPP架构设计与实现构、⾼速⺴络开发(内核和应⽤层如DPDK) • 分布式系统(SQL/NoSQL/存储) • 最近 7+ 年⼀直从事开源分布式数据库开发 一个eMPP 云原生分布式SQL数据库 一个云原生实时大数据平台基座 愿景:安全可靠 使用简单 功能齐全 性能极致 传统分布式MPP架构痛点 缺乏弹性 业务使用不灵活 成本高昂 集群固定,资源利用率低 木桶效应 扩缩容难 数据孤岛 元数据和用户数据跨集群 访问困难 资源伸缩快速简单 • 计算、存储:按需付费 • 智能管理,复杂交给*aaS厂商 PieCloudDB 重要特点 eMPP ACID; 完备的事务支持 (隔离级别:RR, RC) 完善的SQL标准支持 安全可靠 友好的用户接口(websql, ODBC/JDBC driver等). 云原生 云中立 • 弹性计算资源(横向纵向)、极速调整 • 多集群是另外一个弹性的维度 • 共享用户数据(如按需付费的对象存储) ...... 存储中⽴ • 公有云,私有云,混合云 • 对象存储 (数据共享,存算分离)按需付 费 • 也⽀持HDFS,NAS ⽤户数据可靠安全 • ⽤户数据⾼可靠实时加解密 (TDE) • 分布式对象存储多副本多可⽤区保证数据安全:“⼀份”数据, 避免数据不⼀致 • 将来Time Travel查询“回收站”数据 ⽤户数据查询效率优化 • 远程访问数据要考虑的点:性能和成本0 码力 | 31 页 | 1.43 MB | 1 年前3
兼容龙蜥的云原生大模型数据计算系统:πDataCS数据计算资源按需扩缩容,实现计算资源配置最优化, 提升数仓的敏捷性和弹性,打开无限数据计算空间,支 撑更大模型所需的数据和计算。更好地赋能业务发展并 走向绿色。 降低数仓硬件和管理成本 提升数据计算资源利用效益 坚如磐石 | 高安全 高在线 高可靠 突 破 性 创 新 的 核 心 技 术 出 色 的 数 仓 成 本 效 益 P i e C l o u d D B 技 术 突 破 : 数 仓 虚 拟 化 云原生存算分离架构 更灵活高效的解决方案 突破传统数据库的技术瓶颈 • 无法弹性扩缩向量化存储和计算的资源 • 在向量化计算的场景下,易用性和性能较差 • 对元数据变更的功能有限,导致了数据一致性等 问题 • 传统数据库存在的安全性、可靠性、在线性方面 的技术瓶颈 服务器无感知(Serverless)计算引擎 πCloudML (Beta) (大模型) 机器学习 私有云 Graph Parallel Computing0 码力 | 29 页 | 7.46 MB | 1 年前3
PieCloudDB Database V2.1 版本说明• 注册选项增加:增加了手机注册选项,用户现可选择通过手机或邮件进行用户注 册 • 稳定性优化: o SQL 结果集缓存优化 o 优化端到端访问控制管理和证书管理,增强安全能力 o 一键部署优化 • 数据洞察优化: o SQL 结果页面 UI 更新,界面更加简洁优雅。优化超长结果显示,可支持选中结 果直接复制 o 支持执行请求0 码力 | 3 页 | 257.15 KB | 1 年前3
共 13 条
- 1
- 2













