2018年PostgreSQL中国技术大会 为什么我们抛弃MongoDB和 MySQL，选择PgSQL 张启程 qc@aochuang.cn 奥创软件研究院（上海）研发中心 2018年PostgreSQL中国技术大会 任何数据库都很好用 • 我不是一个专业的DBA ，对数据库的理解不够深入，也不 一定准确，在此抛砖引玉，只是结合我们团队业务场景来 分享下我们选择数据库的过程。 • 大量客户需要私有化云服务器部署（云更新） • 需求变更频繁，不适合关系型数据库 2018年PostgreSQL中国技术大会 目前服务器架构 2018年PostgreSQL中国技术大会 MySQL应用史 • 最开始做的站群系统WEB端使用MySQL： • copy简单快速，批量复制，替换修改简单； • 每个网站一个库，单体数据量小，数据类型固定； • 后来做SCRM系统，也首选MySQL： • 需求经常改动，每次改需求先改数据库； 2018年PostgreSQL中国技术大会 MySQL+MongoDB • 迫于无奈，分拆数据，将需要用到事务、调用频繁的数据 继续用MySQL,将IM中聊天记录等数据量大的数据，用 MongoDB存储，减轻MySQL负担； • 这种方式虽然可以暂时解决问题，我们自己用也没有任何 问题，可以结合各自数据库优点，发挥性能。但是我们有 很多客户是需要私有化部署数据库，让每家客户都接受这 种方式，会

RAC 11G ODPS ETL建模 交互式分析 AnalyticDB for MySQL 实时数仓 ⚫ All In One数仓去O ⚫ 交互式分析 ⚫ 中小规模实时数仓 小烟枪在阿里的场景裂变 Greenplum发展史@Alibaba 产品云化-服务中小企业  IaaS、PaaS、SaaS皆云化-大势所趋  阿里云能够提供一站式的分析解决方案  PostgreSQL的生态发展迅猛 PostgreSQL 构筑云上数据仓库 1：实时数仓场景 通过 DTS/Kettle/rds_dbsync 实时同步交易库数据到 ADBPG MySQL/PG->DTS->ADBPG 2：离线数仓场景 数据集成按天/小时 批量同步交易库数据ADBPG MySQL/PG/SQLServer/Oracle –>DataX/OSS-> ADBPG 3：大数据计算场景 同步MaxCompute/Hadoop数据，ADBPG做在线分析 大数据平台->DataX/OSS/Blink/-> ADBPG 4：数据湖分析场景 数据按冷热分析，支持在线查询OSS分布式云存 储上的格式化数据 AnalyticDB for PostgreSQL 智能分析服务 DataV QuickBI 云上大数据计算平台 大数据平台 数据分析应用 制式化报表 个性化报表 仪表盘 自助查询 宏观分析 模型分析 MaxCompute 生产系统数据库 关系型数据

数据库总体架构 应用 逻辑复制 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 SQL语句 数据 MYSQL PG ORACLE LOGICAL Broker M1 M2 M3 Mn Master 逻辑解码 产生SQL+数据 MQ消息队列 DB重放语句 c-slaveN c-masterN MCluster Zk1 Zk… ZkN Monitor + Alert 如何保证数据的安全性 Kafka利用冗余、持久化、偏移量和校验、消息反馈 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 逻辑复制特点 它兼顾有基于触发器复制技术的灵活性 • DISK LOGICAL • understandably • application Slot • APPLY • Other SQL/tuple 逻辑解码 持久化WAL解析成便于理解的格式 不必知道内部细节 一个槽表示一个更改流 这些流可以根据需要更改成用户需要的状态 用户可以根据需要的状态 进行需要的操作 2016Postgres中国用户大会

systemctl enable postgresql-13 # systemctl start postgresql-13 ★第2章、设置数据存储路径 PostgreSQL 初始化数据库之后， 10版本的默认的数据目录是/var/lib/pgsql/ 13版本的默认的数据目录是/var/lib/pgsql/13/ 现在想修改为/data_pg/ 目录 ★PG-13版本 # systemctl #退出连接，用quit;也行（标准的sql语句） postgres=# \q #退出连接（pg内置命令）★不建议使用带\反斜 杠的内置命令 ②可视化客户端连接pg数据库 开源免费的客户端有HeidiSQL及pgAdmin HeidiSQL官网： h�ps://www.heidisql.com/ pgAdmin官网下载： h�ps://www.pgadmin

tbl where c1=?; -- hash value -> idx • update tbl set c1=xx; -- 更新非常频繁 • HOT , fillfactor • 全球化、字符集的选择 • 线性相关、范围查询，索引AM的选择。 • 数据类型的选择。 • big table 问题(备份、恢复、创建索引、索引深度），分区 2016Postgres中国用户大会

contrib/dbmirror improvements (Steven Singer) • New contrib/xml2 (John Gray, Torchbox) • Updated contrib/mysql • New version of contrib/btree_gist (Teodor) • New contrib/trgm, trigram matching for PostgreSQL pgcrypto (Marko Kreen) • Prevent crash in xml (John Gray, Michael Richards) • Update oracle • Update mysql • Update cube (Bruno Wolff III) • Update earthdistance to use cube (Bruno Wolff III) • Update btree_gist Allow inet arrays in /contrib/array (Neil) • GiST fixes (Teodor Sigaev, Neil) • Upgrade /contrib/mysql • Add /contrib/dbsize which shows table sizes without vacuum (Peter) • Add /contrib/intagg, integer

contrib/dbmirror improvements (Steven Singer) • New contrib/xml2 (John Gray, Torchbox) • Updated contrib/mysql • New version of contrib/btree_gist (Teodor) • New contrib/trgm, trigram matching for PostgreSQL pgcrypto (Marko Kreen) • Prevent crash in xml (John Gray, Michael Richards) • Update oracle • Update mysql • Update cube (Bruno Wolff III) • Update earthdistance to use cube (Bruno Wolff III) • Update btree_gist Allow inet arrays in /contrib/array (Neil) • GiST fixes (Teodor Sigaev, Neil) • Upgrade /contrib/mysql • Add /contrib/dbsize which shows table sizes without vacuum (Peter) • Add /contrib/intagg, integer

contrib/dbmirror improvements (Steven Singer) • New contrib/xml2 (John Gray, Torchbox) • Updated contrib/mysql • New version of contrib/btree_gist (Teodor) • New contrib/trgm, trigram matching for PostgreSQL pgcrypto (Marko Kreen) • Prevent crash in xml (John Gray, Michael Richards) • Update oracle • Update mysql • Update cube (Bruno Wolff III) • Update earthdistance to use cube (Bruno Wolff III) • Update btree_gist Allow inet arrays in /contrib/array (Neil) • GiST fixes (Teodor Sigaev, Neil) • Upgrade /contrib/mysql • Add /contrib/dbsize which shows table sizes without vacuum (Peter) • Add /contrib/intagg, integer

contrib/dbmirror improvements (Steven Singer) • New contrib/xml2 (John Gray, Torchbox) • Updated contrib/mysql • New version of contrib/btree_gist (Teodor) • New contrib/trgm, trigram matching for PostgreSQL pgcrypto (Marko Kreen) • Prevent crash in xml (John Gray, Michael Richards) • Update oracle • Update mysql • Update cube (Bruno Wolff III) • Update earthdistance to use cube (Bruno Wolff III) • Update btree_gist Allow inet arrays in /contrib/array (Neil) • GiST fixes (Teodor Sigaev, Neil) • Upgrade /contrib/mysql 1388 Appendix E. Release Notes • Add /contrib/dbsize which shows table sizes without vacuum (Peter)

contrib/dbmirror improvements (Steven Singer) • New contrib/xml2 (John Gray, Torchbox) • Updated contrib/mysql • New version of contrib/btree_gist (Teodor) • New contrib/trgm, trigram matching for PostgreSQL pgcrypto (Marko Kreen) • Prevent crash in xml (John Gray, Michael Richards) • Update oracle • Update mysql • Update cube (Bruno Wolff III) • Update earthdistance to use cube (Bruno Wolff III) • Update btree_gist Allow inet arrays in /contrib/array (Neil) • GiST fixes (Teodor Sigaev, Neil) • Upgrade /contrib/mysql • Add /contrib/dbsize which shows table sizes without vacuum (Peter) • Add /contrib/intagg, integer