大模型时代下向量数据库的设计与应用(filtered) P2 (filtered) 向量数据库 • 存储向量和原始实体(文字/图像/语音)及元信息,并将它们关联起来 • 对向量数据建立索引,可以实现高效近似搜索 • 配套调用接口和生态工具 • 技术路线 • 从向量搜索及索引算法实现出发,为其搭配数据库功能 • 从数据存储方案(关系型数据库/非关系型数据库)出发,为其开发向量搜索及索引算法 PieCloudVector CPU多核并行/GPU加速 PieCloudVector • Faiss与postgres内核对接 - 基础接口 • 增加向量列类型用于基本的加载与卸载 • 实现向量距离运算符 • 实现向量近似搜索的索引,调用faiss PieCloudVector • Faiss与postgres内核对接 - 数据可见性 • faiss索引增加mvcc信息,与数据库内可见性保持一致 xmin xmax id vector 2 …] 15 3 [1.0, 1.1, 1.2 …] PieCloudVector • Faiss OpenMP线程改造 • LLVM解析源码,找到所有 OpenMP指令语句 • 转换为调用自定义线程池和 lambda表达式 • 共享变量替换及并发保护 PieCloudVector • Faiss OpenMP线程改造 • 控制全局线程数 • 降低线程锁冲突 • 降低内存使用0 码力 | 28 页 | 1.69 MB | 1 年前3
PieCloudDB Database 产品白皮书 多模存储以及多级缓存等功能; 4. 云原生平台节点: PieCloudDB 集群管控节点,提供数据洞察和集群运维等功能,支持可视化的数据 分析、性能监控、集群启停、自动化部署以及权限管控等能力; 用户或者应用可直接调用 PieCloudDB 云原生虚拟数仓服务进行数据分析,提供标准的 SQL 接口,且内置各种分析工 具,并原生兼容 Postgres 生态,可以很好地处理地理信息数据和文本,未来会扩展其他 Ap| 接口,支持常见的数仓的0 码力 | 17 页 | 2.68 MB | 1 年前3
云原生虚拟数仓PieCloudDB Database产品白皮书PieCloudDB 集群管控节点,提供数据洞察和集群运维等功能,支持可视化的 数据分析、性能监控、集群启停、自动化部署以及权限管控等能力; 数据应用层: 用户或者应用可直接调用 PieCloudDB 云原生虚拟数仓服务进行数据分析,提供标准的 SQL 接口,且内置各种分析工 具,并原生兼容 Postgres 生态,可以很好地处理地理信息数据和文本,未来会扩展其他 API0 码力 | 17 页 | 2.02 MB | 1 年前3
共 3 条
- 1













