 大模型时代下向量数据库的设计与应用• 支持多级索引如HNSW+IVF等 • CPU多核并行/GPU加速 PieCloudVector • Faiss与postgres内核对接 - 基础接口 • 增加向量列类型用于基本的加载与卸载 • 实现向量距离运算符 • 实现向量近似搜索的索引,调用faiss PieCloudVector • Faiss与postgres内核对接 - 数据可见性 • faiss索引增加mvcc信息,与数据库内可见性保持一致0 码力 | 28 页 | 1.69 MB | 1 年前3 大模型时代下向量数据库的设计与应用• 支持多级索引如HNSW+IVF等 • CPU多核并行/GPU加速 PieCloudVector • Faiss与postgres内核对接 - 基础接口 • 增加向量列类型用于基本的加载与卸载 • 实现向量距离运算符 • 实现向量近似搜索的索引,调用faiss PieCloudVector • Faiss与postgres内核对接 - 数据可见性 • faiss索引增加mvcc信息,与数据库内可见性保持一致0 码力 | 28 页 | 1.69 MB | 1 年前3
 云原生虚拟数仓 PieCloudDB ETL 方案设计与实现控制节点 • 收集执行结果,记录进度和错误信息 • INSERT/MERGE 模式 • INSERT 模式,支持单纯导入场景 • 与现有数据没有逻辑关联的时序数据流 • INSERT 模式,步骤1 Ø PieCloudDB Foreign Table,postgres扩展,需要为数据源单独开发 Ø 控制节点上读取数据源信息,决定是否拆分,生成任务信息 Ø 计算节点上根据任务信息读取数据源,返回raw数据和元信息 FOREIGN TABLE foreign_table(meta text, raw bytea); SELECT meta, raw FROM foreign_table; • INSERT 模式,步骤2 Ø PieCloudDB Formatter Ø 解析 Foreign Table产生的 raw 数据,转换为内部行格式,生成需要的各列 CREATE FUNCTION formatter(input formatter(raw); • INSERT 模式,步骤3 对解析出的列执行数据转换操作 SELECT r.a, r.b+r.c, func(r.d) … FROM (SELECT meta, raw FROM foreign_table LATERAL JOIN formatter(raw) AS r) sub; • INSERT 模式,步骤4 插入目标表 INSERT INTO table0 码力 | 29 页 | 5.24 MB | 1 年前3 云原生虚拟数仓 PieCloudDB ETL 方案设计与实现控制节点 • 收集执行结果,记录进度和错误信息 • INSERT/MERGE 模式 • INSERT 模式,支持单纯导入场景 • 与现有数据没有逻辑关联的时序数据流 • INSERT 模式,步骤1 Ø PieCloudDB Foreign Table,postgres扩展,需要为数据源单独开发 Ø 控制节点上读取数据源信息,决定是否拆分,生成任务信息 Ø 计算节点上根据任务信息读取数据源,返回raw数据和元信息 FOREIGN TABLE foreign_table(meta text, raw bytea); SELECT meta, raw FROM foreign_table; • INSERT 模式,步骤2 Ø PieCloudDB Formatter Ø 解析 Foreign Table产生的 raw 数据,转换为内部行格式,生成需要的各列 CREATE FUNCTION formatter(input formatter(raw); • INSERT 模式,步骤3 对解析出的列执行数据转换操作 SELECT r.a, r.b+r.c, func(r.d) … FROM (SELECT meta, raw FROM foreign_table LATERAL JOIN formatter(raw) AS r) sub; • INSERT 模式,步骤4 插入目标表 INSERT INTO table0 码力 | 29 页 | 5.24 MB | 1 年前3
 PieCloudDB Database 社区版集群安装部署手册 V2.1local;并注释掉 auths 相关内容,填写实际现场的 harbor 信息。具体如下: 3.6 创建 Harbor 仓库 注意:如果本地已经有 harbor 服务了,可以忽略此步骤,不用创建 harbor 仓库,直接使用本地已经存在 的 harbor 服务即可。 在 master 节点的 piedbinstaller 目录下执行如下命令: 1. export KKZONE=cn 方的 ,来到“注册 PieCloudDB 账户”界面。根据提示,作为注册新账户的用户,需要填写用户名、邮箱、账户名和密码, 点击即可,将自动成为超级管理员。 具体操作详见: 。也可以参照如下步骤: 4.1 注册账户 1. 在 PieCloudDB 登录界面,如果需要注册一个新账户,点击下方的 ,来到 “注册 PieCloudDB 账户”界面。 2. 根据提示 需要前往注册时使用的邮箱,查收激活账户请求的邮件,点击“激活账户”即可完成注 册,同时会返回 PieCloudDB 界面。这里需要注意的是,PieCloudDB 社区版默认不开 启激活认证功能,使用社区版可以跳过邮件验证步骤。 b. 点击 再次回到登录界面,输入邮箱和密码,点击 ,跳转进入 PieCloudDB 初始界面。 4.2 浏览界面 1. 在 PieCloudDB 初始界面,0 码力 | 42 页 | 1.58 MB | 1 年前3 PieCloudDB Database 社区版集群安装部署手册 V2.1local;并注释掉 auths 相关内容,填写实际现场的 harbor 信息。具体如下: 3.6 创建 Harbor 仓库 注意:如果本地已经有 harbor 服务了,可以忽略此步骤,不用创建 harbor 仓库,直接使用本地已经存在 的 harbor 服务即可。 在 master 节点的 piedbinstaller 目录下执行如下命令: 1. export KKZONE=cn 方的 ,来到“注册 PieCloudDB 账户”界面。根据提示,作为注册新账户的用户,需要填写用户名、邮箱、账户名和密码, 点击即可,将自动成为超级管理员。 具体操作详见: 。也可以参照如下步骤: 4.1 注册账户 1. 在 PieCloudDB 登录界面,如果需要注册一个新账户,点击下方的 ,来到 “注册 PieCloudDB 账户”界面。 2. 根据提示 需要前往注册时使用的邮箱,查收激活账户请求的邮件,点击“激活账户”即可完成注 册,同时会返回 PieCloudDB 界面。这里需要注意的是,PieCloudDB 社区版默认不开 启激活认证功能,使用社区版可以跳过邮件验证步骤。 b. 点击 再次回到登录界面,输入邮箱和密码,点击 ,跳转进入 PieCloudDB 初始界面。 4.2 浏览界面 1. 在 PieCloudDB 初始界面,0 码力 | 42 页 | 1.58 MB | 1 年前3
共 3 条
- 1













