云原生数据库 PieCloudDB : Unbreakable 安全特性剖析云原生数据库 PieCloudDB : Unbreakable 安全特性剖析 王 淏 舟 P i e C l o u d D B 资 深 技 术 专 家 O p e n P i e | 拓 数 派 打造立足于国内 基础数据计算领域的世界级高科技创新驱 动机构 !"#$%&'()*+,-./01234567489:;1<=>=? @AB3C>75D?EAF?G4H?<7IJAK4F74I8L$MNO:PQR(STQUV: PART 01 的安全特性 三大区域 • 云原生安全 • 传输层加密 • 缓存数据加密 • 存储安全 • 元数据持久化存储 • 用户数据多副本加密储存 • 计算安全 • 集群失效不影响用户数据 • ACID保证 三大区域 • 云原生安全 • 传输层加密 • 缓存数据加密 • 存储安全 • 元数据持久化存储 • 用户数据多副本加密储存 • 计算安全 • 集群失效不影响用户数据 将数据库数据从明文存储转为加密存储 • 避免数据被系统运维人员直接读出 • 不依赖公有云/私有云/系统加密 • 用户合规需求 • 数据安全审计 • 业务安全审计 PART 02 需求和挑战 来自用户的需求(1) • 密钥自主可控 • 主密钥存储于安全区域中 • 密钥不出区 • 加密密钥支持轮换 • 按时间/条件进行密钥轮换 • 无需停机,不中断服务 • 对性能影响小 • 避免额外造成查询延迟0 码力 | 34 页 | 599.00 KB | 1 年前3
πDataCS赋能工业软件创新与实践数据计算资源按需扩缩容,实现计算资源配置最优化, 提升数仓的敏捷性和弹性,打开⽆限数据计算空间, 支撑更⼤模型所需的数据和计算。更好地赋能业务发 展并⾛向绿⾊。 降低数仓硬件和管理成本 提升数据计算资源利用效益 坚如磐⽯ | ⾼安全 ⾼在线 ⾼可靠 突 破 性 创 新 的 核 ⼼ 技 术 出 ⾊ 的 数 仓 成 本 效 益 @2024 OpenPie. All rights reserved. OpenPie Confidential 云原⽣虚拟数仓,采用eMPP(弹性⼤规模并⾏计算)技术,把所有的计 算节点组成⼀个⼤的计算资源池,然后用户可以在计算资源池上创建虚 拟数仓; 2. 虚拟数仓是由执⾏器和协调器等资源组成,协调器和执⾏器在操作系统 层面来看,他们就是⼀个个的进程,这些进程分布在不同的计算节点上; 3. 如图中示例,业务应用的计算任务数量增加或需要处理的数据量变⼤, 对应的计算资源(主要是CPU、MEM)也会增加,根据计算资源需求, rights reserved. OpenPie Confidential PieCloudDB--虚拟数仓引擎 Mundo Catalog 计算节点 JANM Table Format 管控节点 安全审计 API接⼝ ETL功能 数据洞察 运维管控 用户权限 NAS⽂件存储 HDFS分布式⽂件系统 S3对象存储 其他Data Lake Bare-Metal IaaS资源 执⾏器 执⾏器0 码力 | 36 页 | 4.25 MB | 1 年前3
PieCloudDB:云原生分布式虚拟数仓的诞生之旅@2022 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB简介 (cont.) • PieCloudDB产品⽬标 • 安全可靠 使⽤简单 功能⻬全 性能极致 • 公有云、私有云、混合云 • ⼀个构建于⼤数据计算引擎上的⼤数据计算平台 @2022 OpenPie. All rights reserved. OpenPie 功能更全、OLAP更友好、更加贴近云原⽣需求. • 计算引擎 • V1(正在开发中): SIMD执⾏器和各种计算优化. 甚⾄依赖于云成本. • V2: Pipeline引擎. • V3: 计算引擎资源调度隔离 - 类似⼀个计算操作系统.0 码力 | 24 页 | 2.01 MB | 1 年前3
PieCloudDB Database 社区版集群安装部署手册 V2.1........ 41 1. 集群规划 此次准备了 3 台虚拟机,具体信息如下: 序号 角色 主机名 IP 地址 操作系统 用户名/密码 PieCloudDB 版本 操作系统版本 1 K8S 的 Master pie4 10.24.31.154 root/openpie V2.1.1 Centos 7 2 K8S 31.156 备注: l 基于 K8S 环境搭建 PieCloudDB 集群。 l 推荐服务器资源不低于 8C/16GB/300GB。 l 一些镜像和组件默认在根目录下,所以操作系统的根目录要求不小于 150GB。 l 所有服务器需要配置 yum,且能够连接 Internet。 l 部署方案有两种,请根据实际情况选择: Ø 本地无 K8S 环境和对象存储,请选择第二章节《PieCloudDB0 码力 | 42 页 | 1.58 MB | 1 年前3
PieCloudDB 的云原生之路架构痛点 IvorySQL开源数据库社区 PART 02 云原生数据库 PieCloudDB 简介 IvorySQL开源数据库社区 数据 计算 发现 数据:云上数据既是隔离也是连通。从安全的角度是隔离,同时具 备数据共享的能力。 例如:投资管理系统和财务管理系统可以各自管理,按需分享。 计算:云上计算资源可以弹性分配。有查询计算任务的时候按需启动, 按照使用时间和规模计算成本,而不是购买大量服务器静置为不确定 数据计算资源按需扩缩容,实现计算资源配置最优化, 提升数仓的敏捷性和弹性,打开无限数据计算空间, 更好地赋能业务发展并走向绿色。 降低数仓硬件和管理成本 提升数据计算资源利用效益 坚如磐石 | 高安全 高在线 高可靠 突 破 性 创 新 的 核 心 技 术 出 色 的 数 仓 成 本 效 益 IvorySQL开源数据库社区 PieCloudDB 技术突破:数仓虚拟化 云原生存算分离架构 IvorySQL开源数据库社区 • 数据分布和弹性 o 分布式 eMPP 架构 (一致性Hash) o 本地数据减少高延时的云存储访问 o 减少数据移动 o 扩缩容最少的数据移动 • 数据安全性 o 透明数据加密 o 三级密钥 o 实时加解密 构建新一代云原生存储引擎 IvorySQL开源数据库社区 全链路优化 • 全新的存储引擎简墨(JANM) ⚬ 基于对象存储的行列混存架构0 码力 | 47 页 | 1.80 MB | 1 年前3
PieCloudDB云原生数仓虚拟化之路传统分布式MPP架构痛点 @2022 OpenPie. All rights reserved. OpenPie Confidential 数据 计算 发现 数据:云上数据既是隔离也是连通。从安全的⾓度是隔离,同时具 备数据共享的能⼒。 例如:投资管理系统和财务管理系统可以各⾃管理,按需分享。 计算:云上计算资源可以弹性分配。有查询计算任务的时候按需启动, 按照使⽤时间和规模计算成本,⽽不是购买⼤量服务器静置为不确定 数据计算资源按需扩缩容,实现计算资源配置最优化, 提升数仓的敏捷性和弹性,打开⽆限数据计算空间, 更好地赋能业务发展并⾛向绿⾊。 降低数仓硬件和管理成本 提升数据计算资源利用效益 坚如磐石 | 高安全 高在线 高可靠 突 破 性 创 新 的 核 心 技 术 出 色 的 数 仓 成 本 效 益 @2022 OpenPie. All rights reserved. OpenPie Confidential Confidential 构建新一代云原生存储引擎 • 数据分布和弹性 • 分布式eMPP架构 (一致性Hash) • 本地数据减少高延时的云存储访问 • 减少数据移动 • 扩缩容最少的数据移动 • 数据安全性 • 透明数据加密 • 三级密钥 • 实时加解密 @2022 OpenPie. All rights reserved. OpenPie Confidential 全链路优化 • 全新的存储引擎简墨(JANM)0 码力 | 44 页 | 1.64 MB | 1 年前3
PieCloudDB:基于PostgreSQL的eMPP云原生数据库实时大数据平台 关于PieCloudDB 使用简单 功能齐全 性能极致 安全可靠 @2022 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB 重要特点 eMPP 完备的事务支持 完善的SQL标准支持 Postgres生态支持 安全 友好的用户接口(WebSql, ODBC/JDBC driver等). Confidential 构建新一代云原生存储引擎 • 数据分布和弹性 • 分布式eMPP架构 (一致性Hash) • 本地数据减少高延时的云存储访问 • 减少数据移动 • 扩缩容最少的数据移动 • 数据安全性 • 透明数据加密 • 三级密钥 • 实时加解密 @2022 OpenPie. All rights reserved. OpenPie Confidential 构建新一代云原生存储引擎 OpenPie Confidential 安全性增强 生态建设 全链路优化 @2022 OpenPie. All rights reserved. OpenPie Confidential • 透明加密技术 • 加密用户数据,避免被未经许可人员读出 • 用户无感知,不影响用户的业务,对性能影响小 • 合规 • 符合数据安全审计要求 • 符合业务安全审计要求 安全性增强 @2022 OpenPie0 码力 | 45 页 | 1.32 MB | 1 年前3
云原生虚拟数仓PieCloudDB Database产品白皮书打开无限数据计算空间,推进AI/BI到下一个精度。PieCloudDB 在eMPP分布式专利技术、服务器无感知(Serverless)及TDE(透明数据加密)等多项核心技术加持下,为企业构建 高安全,高可靠,高在线「坚如磐石」的云原生虚拟数仓,助力企业实现数据价值最大化,更好地赋能业务发展并走 向绿色,成为新一代AI数据计算基础设施的一个典范。 全面的 SQL 兼容度 多维度弹性扩缩容 配置。 不受基础架构限制 PieCloudDB: 11 数据隐私安全和加密 完善的数据生态 PieCloudDB 提供企业级数据透明加密。实时加密(on-the-fly)、高强度算法、多级密钥、传输加密等技术为企业数 据的安全性保驾护航。 PieCloudDB 还支持包括数据库、表级别授权管理等完善的安全及权限管理,帮助企业系统地管理表级别的权限。支 持函数、参数等相关的白名单配置,避免用户对系统进行误操作。 持函数、参数等相关的白名单配置,避免用户对系统进行误操作。 此外,PieCloudDB 提供的可视化平台,帮助企业更方便地梳理维护角色授权。安全性上支持端到端的访问控制管理 和证书管理。 PieCloudDB 兼容 PostgreSQL/Greenplum 生态组件,兼容大部分现有的 PostgreSQL/Greenplum 客户端,商务智能 (BI)和 ETL 组件。并且,PieCloudDB 正在0 码力 | 17 页 | 2.02 MB | 1 年前3
PieCloudDB Database 产品白皮书 数量级降低数仓 成本,打开无限数据计算空间,推进AVBI到下一个精度。PieCloudDB在eMPP分布式专利技术、服务器无感知 《(Serverless)及TDE等多项核心技术加持下,为企业构建高安全,高可靠,高在线 【坚如大石) 的云原生虚拟数仓, 助力企业实现数据价值最大化,更好地赋能业务发展并走向绿色,成为新一代Al数据计算基础设施的一个典范。 PiecloudDB 产品架构 pieCloudDB (on-the-fly) 、高强度算法、多级密钥、传输加密等技术为企业数 据的安全性保驾护航。 pieCloudDB 还支持包括数据库、表级别授权管理等完善的安全及权限管理,帮助企业系统地管理表级别的权限。支 持函数、参数等相关的白名单配置,避免用户对系统进行误操作。 此外,PieCloudDB 提供的可视化平台,帮助企业更方便地梳理维护角色授权。安全性上支持端到端的访问控制管理 和证书管理。 * 完善的数据生态 * 多集群数据共享 PieCloudDB 通过统一元数据管理技术安全轻松地实现不同集群间的数据共享,使数据库中任何一个集群可以对数据 库内任何一份数据进行访问,避免了数据复制与移动的复杂性。此外,PieCloudDB 的云原生架构支持用户基于同一 份数据建立多个集群,每个集群拥有独立的计算资源和独立的权限管控,满足业务的隔离性和安全性需求。 * 多级缓存技术 在 PieCloudDB 的计算层0 码力 | 17 页 | 2.68 MB | 1 年前3
大模型时代下向量数据库的设计与应用PieCloudVector • Faiss与postgres内核对接 - gpu搜索的特殊路径 • 避免并发调用gpu • 查询请求按批单线程提交 PieCloudVector • 兼容国产硬件和操作系统 PieCloudVector • 通过信通院测试 案例分析 - 东吴证券秀财gpt • 采用自研大模型东吴秀财GPT + LangChain开发框架 + PieCloudVector向量数据库构建了AIGC应0 码力 | 28 页 | 1.69 MB | 1 年前3
共 15 条
- 1
- 2













