TiDB 可观测性 的设计与实现 – 陈霜 About me ● 陈霜, TiDB Insight R&G Engineer, PingCAP ● chenshuang@pingcap.com ● Github: crazycs520 Agenda ● TopSQL: Bind SQL With CPU Resources ● System Table

reserved. OpenPie Confidential @2024 OpenPie. All rights reserved. OpenPie Confidential 云时代下多数据计算引擎的设计与实现 郭罡 CTO 拓数派（OpenPie） @2024 OpenPie. All rights reserved. OpenPie Confidential 关 于 拓 数 派 • 成立于2021年，以“Data Confidential @2024 OpenPie. All rights reserved. OpenPie Confidential janm 格式 行列混存（PAX） 为极致的数据计算而设计和优化 解析性能极致 (vs Parquet, etc) @2024 OpenPie. All rights reserved. OpenPie Confidential JANM： 大数据计算系 产品子功能 太多分支？ • 抽象的⽂件协议接⼝ • 抽象的⽂件格式接⼝ • 抽象的计算功能接⼝（e.g. data skipping） • 抽象的元数据存储接⼝ • …… 抽象和灵活的考虑贯穿所有的设计. Apache Arrow作为不少组件内存中间桥梁. @2024 OpenPie. All rights reserved. OpenPie Confidential Postgres 执行计算引擎

ETL方案设计与实现 邱培峰 拓数派 技术专家 云原生虚拟数仓PieCloudDB 大连理工大学软件工程本科 pgsql@qiupf.dev 邱培峰 拓数派技术专家 ETL解决方案及内核组件研发 PieCloudDB 分布式架构简介 ETL 简述 PieCloudDB ETL方案设计 Postgres -> PieCloudDB 增量数据实时 cdc 演示 01 02 03

…. pyH� un lytlcD r.p ur re 。 Rock.s 2014 2018 2022 云原⽣数据库 PieCloudDB eMPP架构设计与实现 郭罡 拓数派CTO 关于拓数派（OpenPie） • 成⽴于2021年，以“Data Computing for New Discoveries”「数据计算， 只为新发现」为使命。 临时状态存储（如lock等) 也放在FoundationDB • 依赖于FoundationDB的KV特性、可串⾏化事务、watcher机制 • 多个集群（虚拟数仓）可以共享⼀份元数据 • FoundationDB⾼可⽤设计、备份恢复保证元数据的可靠性和可 ⽤性 元数据管理缓存 • ⺫的： • 减轻FoundationDB集群负担 • 加速查询优化（⺴络延迟远⾼于内存延迟） • 以Postgres原⽣的元数据缓存概念为基础，优化重构实现适⽤于 以Postgres原⽣的元数据缓存概念为基础，优化重构实现适⽤于 多集群架构 ⽤户数据存储引擎 • PAX（⾏列混存）配以⾼效压缩 • Block⽂件为⼀个存储(MVCC)单位 • 辅助信息存储⽤于计算优化 • 设计考虑： • ⾼效和精准的统计信息收集 • 存储和计算成本 • 各种计算优化 • SIMD, Cache Line • Data Skipping (本地查询和远程读取） • 预聚集 • .....

大模型时代下向量数据库的设计与应用 个人简介 目前在拓数派负责向量数据库PieCloudVector产品，聚焦于大模型 与大数据领域。拥有多年数据库内核研发和配套解决方案架构经验， 在加入拓数派前曾就职于开源大数据平台Greenplum团队，担任外部 数据源访问框架，对象存储访问扩展，ETL工具等产品模块的研发， 并曾参与PostgreSQL多个版本的代码贡献，拥有丰富的存储模块核心 国内虚拟数仓和eMPP技术提出者，不断在数据计算引擎方向进 行创新，全面拥抱AI技术趋势。 目录 • 大模型应用和RAG • 向量近似搜索和向量数据库 • PieCloudVector架构设计与挑战 • 案例介绍 大模型 检索增强生成(RAG) 使用大模型可以构造问答，聊天等应用，但同时也存在以下问题 • 数据时效 - LLM训练数据有截止日期，不包含最新信息，无法准确回答相关信息

传智播客——专注于 Java、.Net 和 Php、网页平面设计工程师的培训 北京市昌平区建材城西路金燕龙办公楼一层 电话：400-618-9090 Mybatis 框架课程第二天 第1章 回顾 1.1 自定义流程再分析 传智播客——专注于 Java、.Net 和 Php、网页平面设计工程师的培训 北京市昌平区建材城西路金燕龙办公楼一层 电话：400-618-9090 细节： resultType 属性： 用于指定结果集的类型。 parameterType 属性： 传智播客——专注于 Java、.Net 和 Php、网页平面设计工程师的培训 北京市昌平区建材城西路金燕龙办公楼一层 电话：400-618-9090 用于指定传入参数的类型。 sql 语句中使用#{}字符： 它代表占位符，相当于原来 的代理对象 userDao = session.getMapper(IUserDao.class); } 传智播客——专注于 Java、.Net 和 Php、网页平面设计工程师的培训 北京市昌平区建材城西路金燕龙办公楼一层 电话：400-618-9090 @After//在测试方法执行完成之后执行 public void destroy() throws

没有其他⼆二级 索引 • 所以只有按rowkey查询⽐比较快, 其他全表扫 • 除了了列列族要求是可打印字符, 别的都可以是任 意⼆二进制数据 数据模型 RowKey • ColumnFamily的设计是要求把相关的列列放在 同族 • 所有的各项配置, 都是指定到列列族上, 不不是列列, 同列列族数据, 物理理上存在同⽂文件 • ColumnFamily在建表时确定, 具体有哪些列列 是数据随意添加的 寻迹数据 场景 千亿级PV, 万亿个KV对 寻迹数据 对⽐比 这⾥里里先对⽐比 前两⾏行行. ⼀一个10列列⼀一个1列列. • ⼀一开始想吐槽这种模型设计, 后来看google论⽂文说⼈人家参考了了很多模型最终才决 定这样设计的…. • 简单⾼高效, 可以作为其他应⽤用的基础 • OpenTSDB: 时序数据库, 主要是监控数据这类的 • JanusGraph: 图数据库 Schema Design 如何设计表结构 • 合理理设计RowKey 和 Column • 根据查询需求决定schema • 单⼀一⼤大宽表, 避免跨表查询 • 必要的时候进⾏行行冗余, 反范式 • 相关的数据要存放在⼀一起 • 不不要有热点 • 将列列限定符视为数据通常是⼀一个合理理选择 Schema设计 在关于数据库⾥里里我们有各种范式来帮助设计, 在hbase⾥里里也要合理理设计⼀一下

灵活 进⾏扩缩容，随着负载的变化实现⾼效的伸缩，轻松应对 PB级海量数据。 全新的存储「简墨」和缓存架构设计 在计算层，各个计算节点针对元数据和用户数据都设计了多 层缓存结构，避免⽹络延迟和数据移动，提⾼计算效率，保 证用户的实时性需求。PieCloudDB针对底层对象存储设计了 ⾼效的⽂件格式，可在节省⽹络请求的同时提⾼计算效率。 全新的优化器「达奇」 PieCloudDB可以更智能⾼效地⽣成统计信息，并⽣成更⾼ 性保证了虚拟数仓永远在线可用，S3存储和跨云灾备 能⼒保证了永不丢数。 坚如磐⽯ | ⾼安全 ⾼在线 ⾼可靠 MPP πPG eMPP 内 核 存 算 分 离 重 写 云原⽣创新设计和专利 ⾏业顶级数据库的 抽象思考和设计原则复用 @2024 OpenPie. All rights reserved. OpenPie Confidential 云原⽣分布式优化器--达奇 多表连接的最优 顺序搜索 利用每个数据块内预计算的结果，提前过滤掉不符合条件的数据块，从⽽减少对数据的扫描和后续 的计算。 @2024 OpenPie. All rights reserved. OpenPie Confidential 分布式设计，保证可靠性 计算层： Ø eMPP：根据计算任务智能调度合适的资源，将⼀个单⼀计算 任务在⼤量独立的计算机上并⾏执⾏。 Ø 多租户，资源隔离。 Ø 弹性伸缩，支持多集群协同。 存储层：

Startup 公司，创始人家门口有 一棵青梅 ——greenplum，因此而得名）召集了十几位业界大咖（据 说来自 google、yahoo、ibm 和 TD），说干就干，花了一年多的时间 完成最初的版本设计和开发，用软件实现了在开放 X86 平台上的分布 式并行计算，不依赖于任何专有硬件，达到的性能却远远超过传统高 昂的专有系统。 Big Date2.indd 2 16-11-22 下午3:38 Postgresql 是单实例数据库，怎么能在多个 X86 服务器上运行多 个实例且实现并行计算呢？为了这，Interconnnect 大神器出现了。在 那一年多的时间里，大咖们很大一部分精力都在不断的设计、优化、 开发 Interconnect 这个核心软件组件。最终实现了对同一个集群中多 个 Postgresql 实例的高效协同和并行计算，Interconnect 承载了并行 查询计划生产和 Dispatch 这个问题大致引申出两个问题： 1) 为什么不从数据库底层进行重新设计研发？ 所谓术业有专攻，就像制造跑车的不会亲自生产车轮一样，我们只 要专注在分布式技术中最核心的并行处理技术上面，协调我们下面 的轮子跑的更快更稳才是我们的最终目标。而数据库底层组件就像 车轮一样，经过几十年磨砺，数据库引擎技术已经非常成熟，大可 不必去重新设计开发，而且把数据库底层交给其它专业化组织来开 发（对应到 Postgresql

读写性能都非常优秀 • 能够承载大数据量的存储和访问 能够承载大数据量的存储和访问 • 拥有自己独立的缓冲池，能够缓存数据和索引 拥有自己独立的缓冲池，能够缓存数据和索引 MySQL 架构设计—应用架构 强一致性 对读一致性的权衡，如果是对读写实时性要求非常高的话， 就将读写都放在 M1 上面， M2 只是作为 standby 。 比如，订单处理流程，那么对读需要强一致性，实时写实 力和 途径，实际中尽可能两者兼顾。 MySQL 架构设计—高可用架构  系统优化：硬件、架构 系统优化：硬件、架构  服务优化 服务优化  应用优化 应用优化 MySQL MySQL 优化方式 优化方式 影响性能的因素 影响性能的因素 应用程序 应用程序 查询 查询 事务管理 事务管理 数据库设计 数据库设计 数据分布 数据分布 网络 网络 操作系统 操作系统 使用好的硬件，更快的硬盘、大内存、多核 使用好的硬件，更快的硬盘、大内存、多核 CPU CPU ，专业的 ，专业的 存储服务器（ 存储服务器（ NAS NAS 、 、 SAN SAN ） ）  设计合理架构，如果 设计合理架构，如果 MySQL MySQL 访问频繁，考虑 访问频繁，考虑 Master/Slave Master/Slave 读写分离；数据库分表、数据库切片（分 读写分离；数据库分表、数据库切片（分