ETL建模 交互式分析 AnalyticDB for MySQL 实时数仓 ⚫ All In One数仓去O ⚫ 交互式分析 ⚫ 中小规模实时数仓 小烟枪在阿里的场景裂变 Greenplum发展史@Alibaba 产品云化-服务中小企业  IaaS、PaaS、SaaS皆云化-大势所趋  阿里云能够提供一站式的分析解决方案  PostgreSQL的生态发展迅猛  大数据发展势头放缓 构筑在线企业数据仓库。 • 应用易开发、适配 支持SQL 2003，部分兼容Oracle语法， 支持PL/SQL 存储过程，OLAP窗口函数，事务及数据库标准隔离级别 完备功能和生态，实现应用快速迁移或适配 • PB级数据秒级响应 MPP水平扩展架构，PB级数据查询秒级响应；向量化计算，及列存储智能索引，领先传统数据库引擎性能 3x； 新一代SQL优化器，实现复杂分析语句免调优 • 支持多模分析 通过PostGIS 分布式云存储服务 SQL Client/BI Tools 协调节点（Master Node） • 接收请求，制定分布式执行计划 计算组（Compute Groups） • 全并行分析计算 • 数据双副本存储 • 定期自动备份 OSS • 数据并行加载 • 水平扩展：Share-Nothing 架构水平扩展，海量数据在线分析 • 行/列存储模型：行存储支持高并发在线分析，列存储支持全表数据高性能关联聚合

2018年PostgreSQL中国技术大会 为什么我们抛弃MongoDB和 MySQL，选择PgSQL 张启程 qc@aochuang.cn 奥创软件研究院（上海）研发中心 2018年PostgreSQL中国技术大会 任何数据库都很好用 • 我不是一个专业的DBA ，对数据库的理解不够深入，也不 一定准确，在此抛砖引玉，只是结合我们团队业务场景来 分享下我们选择数据库的过程。 • 不是数据库不好用， • 而是我们不会用， • 是我们用的姿势不对！ 2018年PostgreSQL中国技术大会 主要业务场景 • IM工具+SCRM系统（高并发、低延迟、稳定） • 大量客户需要私有化云服务器部署（云更新） • 需求变更频繁，不适合关系型数据库 2018年PostgreSQL中国技术大会 目前服务器架构 2018年PostgreSQL中国技术大会 MySQL应用史 • 迫于无奈，分拆数据，将需要用到事务、调用频繁的数据 继续用MySQL,将IM中聊天记录等数据量大的数据，用 MongoDB存储，减轻MySQL负担； • 这种方式虽然可以暂时解决问题，我们自己用也没有任何 问题，可以结合各自数据库优点，发挥性能。但是我们有 很多客户是需要私有化部署数据库，让每家客户都接受这 种方式，会为甲方增加很多服务器以及运维成本，可能客 户数据量很少，也需要使用双数据库，更新运维都比较麻

initdb # systemctl enable postgresql-13 # systemctl start postgresql-13 ★第2章、设置数据存储路径 PostgreSQL 初始化数据库之后， 10版本的默认的数据目录是/var/lib/pgsql/ 13版本的默认的数据目录是/var/lib/pgsql/13/ 现在想修改为/data_pg/ 目录 ★PG-13版本 #若修改了存储路径，则在新的路径下/data_pg/data/postgresql.conf，默认监听 127.0.0.1:5432 listen_addresses = '*' port = 5432 # vi /var/lib/pgsql/13/data/pg_hba.conf #pg-13版本，添加以下一行表示允 许所有客户端ip远程连接 #若修改了存储路径，则在 #pg-10版本 #若修改了存储路径，则在新的路径下/data_pg/data/postgresql.conf listen_addresses = '*' port = 5432 # vi /var/lib/pgsql/data/pg_hba.conf #pg-10版本，添加以下一行表示允许 所有客户端ip远程连接 #若修改了存储路径，则在新的路径下/data_pg/data/pg_hba

Conference China 2016 中国用户大会  Write Ahead Log Files • WAL 日志一般存储在$PGDATA/pg_xlog内，他们一般以类似于 0000000100000002000000D4的文件存储。 00000001 00000002 000000D4 timeline

c-slaveN c-masterN MCluster Zk1 Zk… ZkN Monitor + Alert 如何保证数据的安全性 Kafka利用冗余、持久化、偏移量和校验、消息反馈 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 逻辑复制特点 它兼顾有基于触发器复制技术的灵活性 • DISK LOGICAL • understandably • application Slot • APPLY • Other SQL/tuple 逻辑解码 持久化WAL解析成便于理解的格式 不必知道内部细节 一个槽表示一个更改流 这些流可以根据需要更改成用户需要的状态 用户可以根据需要的状态 进行需要的操作 2016Postgres中国用户大会 LogicalDecodeShutdownCB shutdown_cb; 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 函数意义 复制槽初始化会调用 startup_cb 之前活跃的复制槽不再使用，就会调用 可选的 shutdown_cb 开始动作被解码，就会调用begin_cb回调。 被中止的事务及其内容不会被解码。 已提交事务的提交动作被解码，就会调

tbl where c1=?; -- hash value -> idx • update tbl set c1=xx; -- 更新非常频繁 • HOT , fillfactor • 全球化、字符集的选择 • 线性相关、范围查询，索引AM的选择。 • 数据类型的选择。 • big table 问题(备份、恢复、创建索引、索引深度），分区 2016Postgres中国用户大会