 阿里云 AnalyticDB for PostgreSQL
- 打造更简单易用的Cloud SQL Data WarehouseRAC和Greenplum数据仓库 ⚫ 有幸参与了Oracle RAC到 Greenplum再到Hadoop以及最终到 ODPS的架构演进工作。 ⚫ 2012年起,转至阿里巴巴大数据团队,负责Hbase/OTS业务支 撑,期间多次负责阿里大数据双11架构和稳定性工作 ⚫ 2018年,在阿里云数据库负责OLAP产品管理团队。 1. Greenplum发展史 @Alibaba 2. AnalyticDB for Groups) • 全并行分析计算 • 数据双副本存储 • 定期自动备份 OSS • 数据并行加载 • 水平扩展:Share-Nothing 架构水平扩展,海量数据在线分析 • 行/列存储模型:行存储支持高并发在线分析,列存储支持全表数据高性能关联聚合 • 高可靠架构:支持分布式事务及ACID,双副本、主备切换透明,支持服务高可用 分 区 分 区 分 区 分 区 计算组 分 PostgreSQL 智能分析服务 DataV QuickBI 云上大数据计算平台 大数据平台 数据分析应用 制式化报表 个性化报表 仪表盘 自助查询 宏观分析 模型分析 MaxCompute 生产系统数据库 关系型数据 库A RDS …… 关系型数据 库B RDS 关系型数据 库C RDS 关系型数据 库D ECS自建 自建大数据计算平台 Hadoop0 码力 | 22 页 | 2.98 MB | 1 年前3 阿里云 AnalyticDB for PostgreSQL
- 打造更简单易用的Cloud SQL Data WarehouseRAC和Greenplum数据仓库 ⚫ 有幸参与了Oracle RAC到 Greenplum再到Hadoop以及最终到 ODPS的架构演进工作。 ⚫ 2012年起,转至阿里巴巴大数据团队,负责Hbase/OTS业务支 撑,期间多次负责阿里大数据双11架构和稳定性工作 ⚫ 2018年,在阿里云数据库负责OLAP产品管理团队。 1. Greenplum发展史 @Alibaba 2. AnalyticDB for Groups) • 全并行分析计算 • 数据双副本存储 • 定期自动备份 OSS • 数据并行加载 • 水平扩展:Share-Nothing 架构水平扩展,海量数据在线分析 • 行/列存储模型:行存储支持高并发在线分析,列存储支持全表数据高性能关联聚合 • 高可靠架构:支持分布式事务及ACID,双副本、主备切换透明,支持服务高可用 分 区 分 区 分 区 分 区 计算组 分 PostgreSQL 智能分析服务 DataV QuickBI 云上大数据计算平台 大数据平台 数据分析应用 制式化报表 个性化报表 仪表盘 自助查询 宏观分析 模型分析 MaxCompute 生产系统数据库 关系型数据 库A RDS …… 关系型数据 库B RDS 关系型数据 库C RDS 关系型数据 库D ECS自建 自建大数据计算平台 Hadoop0 码力 | 22 页 | 2.98 MB | 1 年前3
 PostgresChina 2018 张启程 为什么我们抛弃MongoDB和MySQL,选择PgSQL我不是一个专业的DBA ,对数据库的理解不够深入,也不 一定准确,在此抛砖引玉,只是结合我们团队业务场景来 分享下我们选择数据库的过程。 • 不是数据库不好用, • 而是我们不会用, • 是我们用的姿势不对! 2018年PostgreSQL中国技术大会 主要业务场景 • IM工具+SCRM系统(高并发、低延迟、稳定) • 大量客户需要私有化云服务器部署(云更新) • 需求变更频繁,不适合关系型数据库 2018年PostgreSQL中国技术大会 目前服务器架构 2018年PostgreSQL中国技术大会 MySQL应用史 • 最开始做的站群系统WEB端使用MySQL: • copy简单快速,批量复制,替换修改简单; • 每个网站一个库,单体数据量小,数据类型固定; • 后来做SCRM系统,也首选MySQL: • 需求经常改动,每次改需求先改数据库; • 数据量越来越大,越来越不了解这只海豚; 2018年PostgreSQL中国技术大会 我们团队没有大量专业的DBA运维人员,业务迭代也非常 快,需求变更频繁,对数据库非常依赖,用了PgSQL之后, 感觉可以充分满足我们的需求。 2018年PostgreSQL中国技术大会 关于PgSQL运维 • 由于我们团队没有大量特别专业的DBA,我们服务的客户 甚至连运维人员都没有!而我们的业务又必须保障绝对稳 定,经过反复尝试,我们放弃了自建数据库的方式(坑太 多!填不完) • 目前所有业务全部使用阿里云的PgSQL,针对不同客户的业0 码力 | 9 页 | 563.82 KB | 1 年前3 PostgresChina 2018 张启程 为什么我们抛弃MongoDB和MySQL,选择PgSQL我不是一个专业的DBA ,对数据库的理解不够深入,也不 一定准确,在此抛砖引玉,只是结合我们团队业务场景来 分享下我们选择数据库的过程。 • 不是数据库不好用, • 而是我们不会用, • 是我们用的姿势不对! 2018年PostgreSQL中国技术大会 主要业务场景 • IM工具+SCRM系统(高并发、低延迟、稳定) • 大量客户需要私有化云服务器部署(云更新) • 需求变更频繁,不适合关系型数据库 2018年PostgreSQL中国技术大会 目前服务器架构 2018年PostgreSQL中国技术大会 MySQL应用史 • 最开始做的站群系统WEB端使用MySQL: • copy简单快速,批量复制,替换修改简单; • 每个网站一个库,单体数据量小,数据类型固定; • 后来做SCRM系统,也首选MySQL: • 需求经常改动,每次改需求先改数据库; • 数据量越来越大,越来越不了解这只海豚; 2018年PostgreSQL中国技术大会 我们团队没有大量专业的DBA运维人员,业务迭代也非常 快,需求变更频繁,对数据库非常依赖,用了PgSQL之后, 感觉可以充分满足我们的需求。 2018年PostgreSQL中国技术大会 关于PgSQL运维 • 由于我们团队没有大量特别专业的DBA,我们服务的客户 甚至连运维人员都没有!而我们的业务又必须保障绝对稳 定,经过反复尝试,我们放弃了自建数据库的方式(坑太 多!填不完) • 目前所有业务全部使用阿里云的PgSQL,针对不同客户的业0 码力 | 9 页 | 563.82 KB | 1 年前3
 PostgreSQL 开发最佳实践begin; explain analyze query; rollback; • create index CONCURRENTLY idx on tbl(id); • 密码复杂度、认证方法 • 业务系统,开发测试账号,不要使用数据库超 级用户。 • 长连接relcache , syscache • 数据隔离(cluster -> database -> schema) • 主备切换(prewarm) '%a%' • 递归查询一定要有跳出递归的条件 • 估值计算,HLL代替count(distinct xx) • 频繁更新的字段与不频繁更新的字段建议拆成多个表, 提高更新效率。 • 业务层避免死锁 • 根据业务需求调整表级autovacuum相关参数 • 内存足够时,UDF中尽量使用数组代替临时表 • JOIN的固化、子查询的固化。(plan hint OR query写法 +patameter)0 码力 | 16 页 | 381.36 KB | 1 年前3 PostgreSQL 开发最佳实践begin; explain analyze query; rollback; • create index CONCURRENTLY idx on tbl(id); • 密码复杂度、认证方法 • 业务系统,开发测试账号,不要使用数据库超 级用户。 • 长连接relcache , syscache • 数据隔离(cluster -> database -> schema) • 主备切换(prewarm) '%a%' • 递归查询一定要有跳出递归的条件 • 估值计算,HLL代替count(distinct xx) • 频繁更新的字段与不频繁更新的字段建议拆成多个表, 提高更新效率。 • 业务层避免死锁 • 根据业务需求调整表级autovacuum相关参数 • 内存足够时,UDF中尽量使用数组代替临时表 • JOIN的固化、子查询的固化。(plan hint OR query写法 +patameter)0 码力 | 16 页 | 381.36 KB | 1 年前3
 实现PostgreSQL逻辑复制实战2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 逻辑复制特点 它兼顾有基于触发器复制技术的灵活性 同时又有基于日志复制技术的高效性 它使用发布/订阅模型对选择性的数据 复制相对物理复制来说是非常方便 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 特性 逻 辑 解 码0 码力 | 17 页 | 1.90 MB | 1 年前3 实现PostgreSQL逻辑复制实战2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 逻辑复制特点 它兼顾有基于触发器复制技术的灵活性 同时又有基于日志复制技术的高效性 它使用发布/订阅模型对选择性的数据 复制相对物理复制来说是非常方便 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 特性 逻 辑 解 码0 码力 | 17 页 | 1.90 MB | 1 年前3
 postgresql操作手册postgresql 如果想安装其他版本,可到官网查询安装方法 h�ps://www.postgresql.org/download/linux/redhat/ 本文档选择PG-13版本作为讲解,使用el8系列的系统,x86_64平台 # yum install -y h�ps://download.postgresql.org/pub/repos/yum/reporpms/EL-8-x86_64/pgdg-redhat- gcc (GCC) 8.5.0 20210514 (Red Hat 8.5.0-18)... postgres=# select usename from pg_user; #查看系统用户 usename ---------- postgres postgres=# exit; #退出连接,用quit;也行(标准的sql语句)0 码力 | 17 页 | 445.84 KB | 1 年前3 postgresql操作手册postgresql 如果想安装其他版本,可到官网查询安装方法 h�ps://www.postgresql.org/download/linux/redhat/ 本文档选择PG-13版本作为讲解,使用el8系列的系统,x86_64平台 # yum install -y h�ps://download.postgresql.org/pub/repos/yum/reporpms/EL-8-x86_64/pgdg-redhat- gcc (GCC) 8.5.0 20210514 (Red Hat 8.5.0-18)... postgres=# select usename from pg_user; #查看系统用户 usename ---------- postgres postgres=# exit; #退出连接,用quit;也行(标准的sql语句)0 码力 | 17 页 | 445.84 KB | 1 年前3
共 5 条
- 1














