大模型时代下向量数据库的设计与应用OpenMP线程改造 • 控制全局线程数 • 降低线程锁冲突 • 降低内存使用 PieCloudVector • Faiss OpenMP线程改造 • 避免无效线程 PieCloudVector • Faiss OpenMP线程改造 • QPS大幅提升 PieCloudVector • Faiss OpenMP线程改造 • 内存占用大幅降低 PieCloudVector • Faiss与postgres内核对接0 码力 | 28 页 | 1.69 MB | 1 年前3
云时代下多数据计算引擎的设计与实现• 抽象的⽂件格式接⼝ • 抽象的计算功能接⼝(e.g. data skipping) • 抽象的元数据存储接⼝ • …… 抽象和灵活的考虑贯穿所有的设计. Apache Arrow作为不少组件内存中间桥梁. @2024 OpenPie. All rights reserved. OpenPie Confidential Postgres 执行计算引擎 向量化执行引擎 FALLBACK 用(新引0 码力 | 15 页 | 3.09 MB | 1 年前3
云原生数据库 PieCloudDB : Unbreakable 安全特性剖析租户密钥读取 持久化存储区域 主密钥 用户信任域 密钥储存区 存储 解密 租户密钥读取 持久化存储区域 主密钥 用户信任域 密钥储存区 存储 解密 定时器 次级密钥读取 对应存储区域 内存 存储 解密 定时器 上级密钥 密钥储存区 PART 04 总结 总结 • 用户侧 • 符合审计流程 • 用户无感知 • 业务不变化 • 研发侧 • 不影响内核迭代 • 独立模块,方便后续扩展0 码力 | 34 页 | 599.00 KB | 1 年前3
PieCloudDB:云原生分布式虚拟数仓的诞生之旅⾏列混存,Cache访问友好. • 附带元数据⽤于data skipping、预聚集等. • Encode/Compress • Encryption (TDE) • Large-size column • 访问时候内存Arrow Format • Medium-size block size • …... @2022 OpenPie. All rights reserved. OpenPie Confidential0 码力 | 24 页 | 2.01 MB | 1 年前3
云原生数据库 PieCloudDB eMPP架构设计与实现多个集群(虚拟数仓)可以共享⼀份元数据 • FoundationDB⾼可⽤设计、备份恢复保证元数据的可靠性和可 ⽤性 元数据管理缓存 • ⺫的: • 减轻FoundationDB集群负担 • 加速查询优化(⺴络延迟远⾼于内存延迟) • 以Postgres原⽣的元数据缓存概念为基础,优化重构实现适⽤于 多集群架构 ⽤户数据存储引擎 • PAX(⾏列混存)配以⾼效压缩 • Block⽂件为⼀个存储(MVCC)单位0 码力 | 31 页 | 1.43 MB | 1 年前3
共 5 条
- 1













