TiDB 可观测性 的设计与实现 – 陈霜 About me ● 陈霜, TiDB Insight R&G Engineer, PingCAP ● chenshuang@pingcap.com ● Github: crazycs520 Agenda ● TopSQL: Bind SQL With CPU Resources ● System Table

reserved. OpenPie Confidential @2024 OpenPie. All rights reserved. OpenPie Confidential 云时代下多数据计算引擎的设计与实现 郭罡 CTO 拓数派（OpenPie） @2024 OpenPie. All rights reserved. OpenPie Confidential 关 于 拓 数 派 • 成立于2021年，以“Data Confidential @2024 OpenPie. All rights reserved. OpenPie Confidential janm 格式 行列混存（PAX） 为极致的数据计算而设计和优化 解析性能极致 (vs Parquet, etc) @2024 OpenPie. All rights reserved. OpenPie Confidential JANM： 大数据计算系 产品子功能 太多分支？ • 抽象的⽂件协议接⼝ • 抽象的⽂件格式接⼝ • 抽象的计算功能接⼝（e.g. data skipping） • 抽象的元数据存储接⼝ • …… 抽象和灵活的考虑贯穿所有的设计. Apache Arrow作为不少组件内存中间桥梁. @2024 OpenPie. All rights reserved. OpenPie Confidential Postgres 执行计算引擎

ETL方案设计与实现 邱培峰 拓数派 技术专家 云原生虚拟数仓PieCloudDB 大连理工大学软件工程本科 pgsql@qiupf.dev 邱培峰 拓数派技术专家 ETL解决方案及内核组件研发 PieCloudDB 分布式架构简介 ETL 简述 PieCloudDB ETL方案设计 Postgres -> PieCloudDB 增量数据实时 cdc 演示 01 02 03

…. pyH� un lytlcD r.p ur re 。 Rock.s 2014 2018 2022 云原⽣数据库 PieCloudDB eMPP架构设计与实现 郭罡 拓数派CTO 关于拓数派（OpenPie） • 成⽴于2021年，以“Data Computing for New Discoveries”「数据计算， 只为新发现」为使命。 临时状态存储（如lock等) 也放在FoundationDB • 依赖于FoundationDB的KV特性、可串⾏化事务、watcher机制 • 多个集群（虚拟数仓）可以共享⼀份元数据 • FoundationDB⾼可⽤设计、备份恢复保证元数据的可靠性和可 ⽤性 元数据管理缓存 • ⺫的： • 减轻FoundationDB集群负担 • 加速查询优化（⺴络延迟远⾼于内存延迟） • 以Postgres原⽣的元数据缓存概念为基础，优化重构实现适⽤于 以Postgres原⽣的元数据缓存概念为基础，优化重构实现适⽤于 多集群架构 ⽤户数据存储引擎 • PAX（⾏列混存）配以⾼效压缩 • Block⽂件为⼀个存储(MVCC)单位 • 辅助信息存储⽤于计算优化 • 设计考虑： • ⾼效和精准的统计信息收集 • 存储和计算成本 • 各种计算优化 • SIMD, Cache Line • Data Skipping (本地查询和远程读取） • 预聚集 • .....

大模型时代下向量数据库的设计与应用 个人简介 目前在拓数派负责向量数据库PieCloudVector产品，聚焦于大模型 与大数据领域。拥有多年数据库内核研发和配套解决方案架构经验， 在加入拓数派前曾就职于开源大数据平台Greenplum团队，担任外部 数据源访问框架，对象存储访问扩展，ETL工具等产品模块的研发， 并曾参与PostgreSQL多个版本的代码贡献，拥有丰富的存储模块核心 国内虚拟数仓和eMPP技术提出者，不断在数据计算引擎方向进 行创新，全面拥抱AI技术趋势。 目录 • 大模型应用和RAG • 向量近似搜索和向量数据库 • PieCloudVector架构设计与挑战 • 案例介绍 大模型 检索增强生成(RAG) 使用大模型可以构造问答，聊天等应用，但同时也存在以下问题 • 数据时效 - LLM训练数据有截止日期，不包含最新信息，无法准确回答相关信息

未来会扩展其他 API 接口，支持常见的数仓的 数据分析和人工智能、数据科学等功能。 PieCloudDB 产品概述 拓数派旗下旗舰产品PieCloudDB，是以对行业顶级数据库的抽象思考和设计原则复用为技术路线，可将物理数仓整合 到云原生数据计算平台，根据数据授权动态创建虚拟数仓，按需灵活计算，打破数据孤岛，支撑更大模型所需的数据 和计算。在云上，数据计算资源按需扩缩容，提升数仓的敏 上运行，从而避免了企业受制于供应商，帮助企业在控制业务风险的同时推动创 新。 PieCloudDB 采取存算分离的 eMPP（弹性大规模并行计算）设计架构。存储侧支持标准对象存储，可以充分利用云计 算平台的优势，让对象存储接近无限的容量，计算侧在设计上充分考虑无状态实现，计算节点可以充分利用云环境海 量的计算节点池，按需扩容和缩容。 PieCloudDB 能够根据业务需求进行横向、纵 高了数据分析的实时性。 此外，PieCloudDB 兼容 ORCA 优化器（ORCA 是一款开源的、基于 Cascades 模型的模块化查询优化器，可以帮助用 户对 SQL 进行优化，生成高效的查询计划）。 PieCloudDB 通过独特的设计，具备原生多租户能力，每个租户有自己的数据库和虚拟数仓。不同的租户互相隔离， 租户之间数据和元数据彼此都不可见。每个租户可以按需创建不同得

PiecloudDB 基于eMPP (弹性大规模并行计算) 的云原生虚拟数仓 产品白皮书 PiecloudDB 产品概述 拓数派旗下旗舰产品 PieCloudDB ，是以对行业顶级数据库的抽象思考和设计原则复用为技术路线，采用领先的数仓 虚拟化技术，可将多个数仓统一整合到一个高可用的云虚拟数仓，打通多云的数据管道，数据计算资源按需扩缩容， 提升数仓的敏捷性和弹性，助力企业降低数仓管理复杂度，实现数 从而避免了企业受制于供应商，帮助企业在控制业务风险的同时推动创 新。 。 多维度弹性扩缩容 pieCloudDB 采取存算分离的eMPP (弹性大规模并行计算) 设计架构。存储侧支持标准对象存储，可以充分利用云计 算平台的优势，让对象存情接近无限的容量，计算侧在设计上充分考虑无状态实现，计算节点可以充分利用云环境海 量的计算节点池，按需扩容和缩容。 PieCloudDB 能够根据业务需求进行横向、纵向以及集群 还支持查询优化器Orca。Orca是一款开源的、基于Cascades 模型的模块化查询优化器, 可以帮助用户对SQL进行优化，生成高效的查询计划。 此外，PieCloudDB 兼容 ORCA 优化器 (DORCA 是一款开源的、基于 Cascades 模型的模块化查询优化器，可以帮助用 户对 SQL 进行优化，生成高效的查询计划) 。 * 原生多租户支持 PieCloudDB 通过独特的设计，具备原生多租户能力，每个租户有自己的数据库和虚拟数仓。不同的租户互相隔离

PieCloudDB 实现极速 Analyze，更快的生 成精确的查询规划统计信息，从而在查询时可以生成更优的查询计划。 • 全新的缓存机制：在 PieCloudDB 的计算层，各个计算节点针对元数据都设计了 多层缓存结构。 其中，针对元数据，PieCloudDB 实现了元数据层全新的缓存机制，有效减少了访问元 数据服务器带来的网络通信开销和元数据服务器的负载，提高元数据访问的速度。 • 原生格式存储：在 HDFS/NAS 系统上支持原生存储格式。 • 对 Orca 的支持：PieCloudDB 支持查询优化器 Orca。Orca 是一款开源的、基 于 Cascades 模型的模块化查询优化器，帮助用户对 SQL 进行优化，生成高效的查询计 划。 • 支持超大数据量字段 • 支持快速 ETL/ELT： Kafka 流数据导入支持，copy 性能大幅提升。 模块，使用户可以访问包括但不限于 HDFS、MySQL 等数据源，同时支持用户自行开发 模块来访问新的存储数据源 。 管控平台 • 用户权限优化：通过更加清晰的 UI 设计，为用户提供一体化的权限管理 • 注册选项增加：增加了手机注册选项，用户现可选择通过手机或邮件进行用户注 册 • 稳定性优化： o SQL 结果集缓存优化

表创建 用户信任域 持久化存储区域 主密钥 租户密钥 表密钥 页密钥 用户创建 租户创建 表创建 数据写入 用户信任域 持久化存储区域 数据存储区域 透明加密实现细节 • 模块化实现 • 优化器、执行器不感知 • 模块完美支持自研存储 • 可插拔加密算法库 • 支持不同硬件加密算法 • 支持国密算法 • 不影响用户业务 • 原有业务无需变化 • 不影响ETL数据导入导出

传智播客——专注于 Java、.Net 和 Php、网页平面设计工程师的培训 北京市昌平区建材城西路金燕龙办公楼一层 电话：400-618-9090 Mybatis 框架课程第二天 第1章 回顾 1.1 自定义流程再分析 传智播客——专注于 Java、.Net 和 Php、网页平面设计工程师的培训 北京市昌平区建材城西路金燕龙办公楼一层 电话：400-618-9090 细节： resultType 属性： 用于指定结果集的类型。 parameterType 属性： 传智播客——专注于 Java、.Net 和 Php、网页平面设计工程师的培训 北京市昌平区建材城西路金燕龙办公楼一层 电话：400-618-9090 用于指定传入参数的类型。 sql 语句中使用#{}字符： 它代表占位符，相当于原来 的代理对象 userDao = session.getMapper(IUserDao.class); } 传智播客——专注于 Java、.Net 和 Php、网页平面设计工程师的培训 北京市昌平区建材城西路金燕龙办公楼一层 电话：400-618-9090 @After//在测试方法执行完成之后执行 public void destroy() throws