 PieCloudDB:基于PostgreSQL的eMPP云原生数据库OpenPie Confidential 构建新一代云原生存储引擎 • Multi-Could 云上设施 • 对象存储 (数据共享,存算分离) • 兼容HDFS,NAS,本地磁盘 • 公有云,私有云,混合云 • 现代的硬件 • CPU/GPU 高速缓存访问 • 数据的局部性优化 (SIMD) • 现代存储技术 • 新硬件的使用 @2022 OpenPie. All rights reserved Confidential 构建新一代云原生存储引擎 • 用户成本 (存储成本) • 自动选取适应类型的编码 • 压缩 • 减少对象存储的访问开销 • OLAP 性能 • 多级缓存 • 行列混合存储 • 定义内外存的数据格式 • 文件内统计信息 • 智能Analyze @2022 OpenPie. All rights reserved. OpenPie Confidential0 码力 | 45 页 | 1.32 MB | 1 年前3 PieCloudDB:基于PostgreSQL的eMPP云原生数据库OpenPie Confidential 构建新一代云原生存储引擎 • Multi-Could 云上设施 • 对象存储 (数据共享,存算分离) • 兼容HDFS,NAS,本地磁盘 • 公有云,私有云,混合云 • 现代的硬件 • CPU/GPU 高速缓存访问 • 数据的局部性优化 (SIMD) • 现代存储技术 • 新硬件的使用 @2022 OpenPie. All rights reserved Confidential 构建新一代云原生存储引擎 • 用户成本 (存储成本) • 自动选取适应类型的编码 • 压缩 • 减少对象存储的访问开销 • OLAP 性能 • 多级缓存 • 行列混合存储 • 定义内外存的数据格式 • 文件内统计信息 • 智能Analyze @2022 OpenPie. All rights reserved. OpenPie Confidential0 码力 | 45 页 | 1.32 MB | 1 年前3
 PieCloudDB Database 产品白皮书 列存的优势,允许面向列的压缩方案,压缩率更高,节省存储空间,跳过不必要的列的扫描,提高查询效率; 在读取 少量数据时,提高Cache命中率,减少MO 次数。 pieCloudDB实现了存储中立,支持公有云、私有云、混合云。PieCloudDB 除支持自己的存储格式,还支持部署在存 储系统的开源格式,例如 Parquet。 此外,PieCloudDB 针对对象存储进行了优化,对分布式处理和写处理进行了增强,在特定查询场景下,避免了重组 Data Warehouse,在数据仓库基础之上抽象出来的一种资源调度方法,它可以整合多个数 仓的资源; 。 云原生: 《loud Native,云原生技术使组织能够在新式动态环境 (如公有云、私有云和混合云) 中构建和运行 可缩放的应用程序,能够充分适配和发挥云计算的优势能力; 。 TDE: Transparent Data Encryption,透明数据加密,使用加密密铀或DEK实时进行输入/输出数据加密和解0 码力 | 17 页 | 2.68 MB | 1 年前3 PieCloudDB Database 产品白皮书 列存的优势,允许面向列的压缩方案,压缩率更高,节省存储空间,跳过不必要的列的扫描,提高查询效率; 在读取 少量数据时,提高Cache命中率,减少MO 次数。 pieCloudDB实现了存储中立,支持公有云、私有云、混合云。PieCloudDB 除支持自己的存储格式,还支持部署在存 储系统的开源格式,例如 Parquet。 此外,PieCloudDB 针对对象存储进行了优化,对分布式处理和写处理进行了增强,在特定查询场景下,避免了重组 Data Warehouse,在数据仓库基础之上抽象出来的一种资源调度方法,它可以整合多个数 仓的资源; 。 云原生: 《loud Native,云原生技术使组织能够在新式动态环境 (如公有云、私有云和混合云) 中构建和运行 可缩放的应用程序,能够充分适配和发挥云计算的优势能力; 。 TDE: Transparent Data Encryption,透明数据加密,使用加密密铀或DEK实时进行输入/输出数据加密和解0 码力 | 17 页 | 2.68 MB | 1 年前3
 云原生虚拟数仓PieCloudDB Database产品白皮书列存的优势,允许面向列的压缩方案,压缩率更高,节省存储空间;跳过不必要的列的扫描,提高查询效率;在读取 少量数据时,提高Cache命中率,减少 I/O 次数。 PieCloudDB实现了存储中立,支持公有云、私有云、混合云。PieCloudDB 除支持自己的存储格式,还支持部署在存 储系统的开源格式,例如 Parquet。 此外,PieCloudDB 针对对象存储进行了优化,对分布式处理和写处理进行了增强,在特定查询场景下,避免了重组 eMPP: elastic Massively Parallel Processing,弹性大规模并行处理; 云原生: Cloud Native,云原生技术使组织能够在新式动态环境(如公有云、私有云和混合云)中构建和运行 可缩放的应用程序,能够充分适配和发挥云计算的优势能力; TDE: Transparent Data Encryption,透明数据加密,使用加密密钥或DEK实时进行输入/输出数据加密和解0 码力 | 17 页 | 2.02 MB | 1 年前3 云原生虚拟数仓PieCloudDB Database产品白皮书列存的优势,允许面向列的压缩方案,压缩率更高,节省存储空间;跳过不必要的列的扫描,提高查询效率;在读取 少量数据时,提高Cache命中率,减少 I/O 次数。 PieCloudDB实现了存储中立,支持公有云、私有云、混合云。PieCloudDB 除支持自己的存储格式,还支持部署在存 储系统的开源格式,例如 Parquet。 此外,PieCloudDB 针对对象存储进行了优化,对分布式处理和写处理进行了增强,在特定查询场景下,避免了重组 eMPP: elastic Massively Parallel Processing,弹性大规模并行处理; 云原生: Cloud Native,云原生技术使组织能够在新式动态环境(如公有云、私有云和混合云)中构建和运行 可缩放的应用程序,能够充分适配和发挥云计算的优势能力; TDE: Transparent Data Encryption,透明数据加密,使用加密密钥或DEK实时进行输入/输出数据加密和解0 码力 | 17 页 | 2.02 MB | 1 年前3
 如何从零开始参与技术社区?Confidential • 全链路加密保证数据安全 核⼼产品优势 • 云原⽣存储架构,元数据、数据和计算全分离 • 数据⼀次⼊库永不出户,数据可用不可见,跑算⼒不跑数据 • 公有云、私有云及混合云,按需部署 • 国产软硬件⼀体机解决⽅案,满⾜特定⾏业用户需求 u 首 创 云 原 ⽣ e M P P 架 构 u 国 内 数 仓 虚 拟 化 技 术 提 出 者 u 云 时 代 存 算 双0 码力 | 25 页 | 871.00 KB | 1 年前3 如何从零开始参与技术社区?Confidential • 全链路加密保证数据安全 核⼼产品优势 • 云原⽣存储架构,元数据、数据和计算全分离 • 数据⼀次⼊库永不出户,数据可用不可见,跑算⼒不跑数据 • 公有云、私有云及混合云,按需部署 • 国产软硬件⼀体机解决⽅案,满⾜特定⾏业用户需求 u 首 创 云 原 ⽣ e M P P 架 构 u 国 内 数 仓 虚 拟 化 技 术 提 出 者 u 云 时 代 存 算 双0 码力 | 25 页 | 871.00 KB | 1 年前3
 PieCloudDB:云原生分布式虚拟数仓的诞生之旅reserved. OpenPie Confidential PieCloudDB简介 (cont.) • PieCloudDB产品⽬标 • 安全可靠 使⽤简单 功能⻬全 性能极致 • 公有云、私有云、混合云 • ⼀个构建于⼤数据计算引擎上的⼤数据计算平台 @2022 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB简介 (cont0 码力 | 24 页 | 2.01 MB | 1 年前3 PieCloudDB:云原生分布式虚拟数仓的诞生之旅reserved. OpenPie Confidential PieCloudDB简介 (cont.) • PieCloudDB产品⽬标 • 安全可靠 使⽤简单 功能⻬全 性能极致 • 公有云、私有云、混合云 • ⼀个构建于⼤数据计算引擎上的⼤数据计算平台 @2022 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB简介 (cont0 码力 | 24 页 | 2.01 MB | 1 年前3
 大模型时代下向量数据库的设计与应用为其开发向量搜索及索引算法 PieCloudVector • 基于postgres打造的数据库内核 • 单机或分布式部署 • 支持完整的ACID • SQL进行向量搜索 • 支持向量标量混合查询 PieCloudVector • 使用faiss开源算法库做为向量搜索引擎 • 支持主流的ann算法,如ivf和hnsw等 PieCloudVector • 使用faiss开源算法库做为向量搜索引擎0 码力 | 28 页 | 1.69 MB | 1 年前3 大模型时代下向量数据库的设计与应用为其开发向量搜索及索引算法 PieCloudVector • 基于postgres打造的数据库内核 • 单机或分布式部署 • 支持完整的ACID • SQL进行向量搜索 • 支持向量标量混合查询 PieCloudVector • 使用faiss开源算法库做为向量搜索引擎 • 支持主流的ann算法,如ivf和hnsw等 PieCloudVector • 使用faiss开源算法库做为向量搜索引擎0 码力 | 28 页 | 1.69 MB | 1 年前3
 云原生数据库 PieCloudDB eMPP架构设计与实现• 存储和计算成本 • 各种计算优化 • SIMD, Cache Line • Data Skipping (本地查询和远程读取) • 预聚集 • ...... 存储中⽴ • 公有云,私有云,混合云 • 对象存储 (数据共享,存算分离)按需付 费 • 也⽀持HDFS,NAS ⽤户数据可靠安全 • ⽤户数据⾼可靠实时加解密 (TDE) • 分布式对象存储多副本多可⽤区保证数据安全:“⼀份”数据,0 码力 | 31 页 | 1.43 MB | 1 年前3 云原生数据库 PieCloudDB eMPP架构设计与实现• 存储和计算成本 • 各种计算优化 • SIMD, Cache Line • Data Skipping (本地查询和远程读取) • 预聚集 • ...... 存储中⽴ • 公有云,私有云,混合云 • 对象存储 (数据共享,存算分离)按需付 费 • 也⽀持HDFS,NAS ⽤户数据可靠安全 • ⽤户数据⾼可靠实时加解密 (TDE) • 分布式对象存储多副本多可⽤区保证数据安全:“⼀份”数据,0 码力 | 31 页 | 1.43 MB | 1 年前3
 PieCloudDB 的云原生之路IvorySQL开源数据库社区 构建新一代云原生存储引擎 • Multi-Could 云上设施 o 对象存储 (数据共享,存算分离) o 兼容 HDFS,NAS,本地磁盘 o 公有云,私有云,混合云 • 现代的硬件 o CPU/GPU 高速缓存访问 o 数据的局部性优化(SIMD) o 现代存储技术 o 新硬件的使用 IvorySQL开源数据库社区 • 数据分布和弹性 o 分布式0 码力 | 47 页 | 1.80 MB | 1 年前3 PieCloudDB 的云原生之路IvorySQL开源数据库社区 构建新一代云原生存储引擎 • Multi-Could 云上设施 o 对象存储 (数据共享,存算分离) o 兼容 HDFS,NAS,本地磁盘 o 公有云,私有云,混合云 • 现代的硬件 o CPU/GPU 高速缓存访问 o 数据的局部性优化(SIMD) o 现代存储技术 o 新硬件的使用 IvorySQL开源数据库社区 • 数据分布和弹性 o 分布式0 码力 | 47 页 | 1.80 MB | 1 年前3
 PieCloudDB云原生数仓虚拟化之路OpenPie Confidential 构建新一代云原生存储引擎 • Multi-Could 云上设施 • 对象存储 (数据共享,存算分离) • 兼容HDFS,NAS,本地磁盘 • 公有云,私有云,混合云 • 现代的硬件 • CPU/GPU 高速缓存访问 • 数据的局部性优化 (SIMD) • 现代存储技术 • 新硬件的使用 @2022 OpenPie. All rights reserved0 码力 | 44 页 | 1.64 MB | 1 年前3 PieCloudDB云原生数仓虚拟化之路OpenPie Confidential 构建新一代云原生存储引擎 • Multi-Could 云上设施 • 对象存储 (数据共享,存算分离) • 兼容HDFS,NAS,本地磁盘 • 公有云,私有云,混合云 • 现代的硬件 • CPU/GPU 高速缓存访问 • 数据的局部性优化 (SIMD) • 现代存储技术 • 新硬件的使用 @2022 OpenPie. All rights reserved0 码力 | 44 页 | 1.64 MB | 1 年前3
 πDataCS赋能工业软件创新与实践产业调研材料 ⽂件上传 内容检索 ⽂件调取 前端 应用 ⼀阶段能⼒ 数据 计算 M3E模型 Embeddings Text2vec模型 其他模型 IVFFLAT索引 索引 HNSW索引 混合索引 L2距离 向量搜索 内积 余弦相似度 技术 框架 关联分析 智能问答 ⼆阶段能⼒ 相关资讯 报告⽣成 基础 知识 IVF_PQ索引 索引 ScaNN索引 Binary类索引0 码力 | 36 页 | 4.25 MB | 1 年前3 πDataCS赋能工业软件创新与实践产业调研材料 ⽂件上传 内容检索 ⽂件调取 前端 应用 ⼀阶段能⼒ 数据 计算 M3E模型 Embeddings Text2vec模型 其他模型 IVFFLAT索引 索引 HNSW索引 混合索引 L2距离 向量搜索 内积 余弦相似度 技术 框架 关联分析 智能问答 ⼆阶段能⼒ 相关资讯 报告⽣成 基础 知识 IVF_PQ索引 索引 ScaNN索引 Binary类索引0 码力 | 36 页 | 4.25 MB | 1 年前3
共 10 条
- 1













