Postgres Conference China 2016 中国用户大会 实现PostgreSQL逻辑复制实战 王青松 神州飞象(北京)数据科技有限公司 Your Logo 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 简介 逻辑复制的功能是从PG的WAL日志中，读取数 据库更新信息，然后“翻译”（Decode）成逻 Pg的逻辑复制可以根据需求把WAL日志直接翻译成 可以直接解析的SQL语句，并通过槽技术向不同DB 进行传递，从而实现不同DB数据库的复制。 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 如何自定义输出插件 我们所要实现以下几个回调函数： LogicalDecodeStartupCB startup_cb; LogicalDecodeBeginCB

Yecheng Fu (@cofyc) PingCAP.com Agenda ● TiDB Operator 简介 ● 扩展 Kubernetes 的几种方式 ● TiDB Operator 实现 TiDB Operator 是什么 PingCAP.com Cloud Native Era: Portable, Scalable, Automated Full lifecycle management PingCAP.com Admission Webhook Able to intercept API requests and may change or deny it. TiDB Operator 实现 PingCAP.com TiDB Operator Implementation - The tidb-controller-manager - Initialization - Watch objects 的几种方式 - Custom Resource - Custom Controller - Scheduler Extender - Admission Webhook - TiDB Operator 实现 - the tidb-controller-manager - Full lifecycle management of a TiDB Cluster - Deploying, Upgrading

TiDB: HBase分布式事务与SQL实现 About me ● TiDB & Codis founder ● Golang expert ● Distributed database developer ● Currentlly, CEO and co-founder of PingCAP liuqi@pingcap.com https://github.com/pingcap/tidb

Confidential │ ©2021 VMware, Inc. 目录 Brin Index On Heap AppendOnly Table Brin在AppendOnly Table上的实现 性能测试 5 Confidential │ ©2021 VMware, Inc. Block Range Index 存储数据块中元组字段的最 大最小值，用于过滤不符合条 件的数据块 Brin在AppendOnly Table上的实现 性能测试 15 Confidential │ ©2021 VMware, Inc. AoTable AppendOnly Table是一种紧凑的 数据格式，适用于较少进行 Update/Delete的场景 Tuple以紧凑的方式存储在变长 的Block中，所以Block在写入磁 盘后不能修改，只能向后追加新 的Block 为了实现并发Insert，每个AO表 table Confidential │ ©2021 VMware, Inc. 目录 Brin Index AppendOnly Table Brin在AppendOnly Table上的实现 性能测试 19 Confidential │ ©2021 VMware, Inc. Revmap With AO Confidential │ ©2021 VMware, Inc

TiDB 可观测性 的设计与实现 – 陈霜 About me ● 陈霜, TiDB Insight R&G Engineer, PingCAP ● chenshuang@pingcap.com ● Github: crazycs520 Agenda ● TopSQL: Bind SQL With CPU Resources ● System Table

reserved. OpenPie Confidential @2024 OpenPie. All rights reserved. OpenPie Confidential 云时代下多数据计算引擎的设计与实现 郭罡 CTO 拓数派（OpenPie） @2024 OpenPie. All rights reserved. OpenPie Confidential 关 于 拓 数 派 • 成立于2021年，以“Data

ETL方案设计与实现 邱培峰 拓数派 技术专家 云原生虚拟数仓PieCloudDB 大连理工大学软件工程本科 pgsql@qiupf.dev 邱培峰 拓数派技术专家 ETL解决方案及内核组件研发 PieCloudDB 分布式架构简介 ETL 简述 PieCloudDB ETL方案设计 Postgres -> PieCloudDB 增量数据实时 cdc 演示 01 02 03

服务注册 @2022 OpenPie. All rights reserved. OpenPie Confidential • Master 节点和 FoundationDB 通过事务的方式协同实现了分布式的事务和锁 • 系统表以 mstore 的方式存储在 FoundationDB 上 • Master节点本地不持有任何全局状态 @2022 OpenPie. All rights reserved OpenPie Confidential PieCloudDB 云原生架构 @2022 OpenPie. All rights reserved. OpenPie Confidential 云原生特性的实现途径 • 弹性伸缩的集群 • 完全无状态的Segment节点 • Multi-cluster • 独立的系统表 • 分布式的锁和事务 @2022 OpenPie. All rights reserved rights reserved. OpenPie Confidential • 将元组以key-value的形式存储到 FoundationDB • 使用原有的机制实现mvcc • 使用foundationdb key的自然排序实现index • Xmin：创建这个tuple的事务 id • Xmax：删除这个tuple的事务id • ctid：指向update的下一个tuple @2022

pyH� un lytlcD r.p ur re 。 Rock.s 2014 2018 2022 云原⽣数据库 PieCloudDB eMPP架构设计与实现 郭罡 拓数派CTO 关于拓数派（OpenPie） • 成⽴于2021年，以“Data Computing for New Discoveries”「数据计算， 只为新发现」为使命。 • 现Pre-A轮融资，已完成数亿元融资。 毕业于中国科技⼤学，AI相关专业 • 毕业 1 年后到现在⼀直从事底层基础软件开发，10多年开发经验 • 领域涉及到： • 代码级/算法级/系统级性能优化 • Linux/Unix内核和系统开发、虚拟化（芯⽚KVM⽀持实现）和云计算架 构、⾼速⺴络开发（内核和应⽤层如DPDK） • 分布式系统（SQL/NoSQL/存储) • 最近 7+ 年⼀直从事开源分布式数据库开发 一个eMPP 云原生分布式SQL数据库 和⼀流的产品和⼈才⼀起成⻓ • 团队深度理解Postgres内核代码，在社区参与诸多贡献 PieCloudDB 架构 元数据管理 基于 MVCC 的事务隔离级别 使用 FoundationDB Key 的自然排序 实现索引 将元组以 key-value 的形式存储 到 FoundationDB 元数据管理 • 临时状态存储（如lock等) 也放在FoundationDB • 依赖于FoundationD

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 106 4.3.1 TiDB 和 Golang 的简单 CRUD 应用程序 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 106 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1147 12.7.2 实现原理 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1148 12.8.1 实现原理 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·