 阿里云 AnalyticDB for PostgreSQL
- 打造更简单易用的Cloud SQL Data WarehouseRAC和Greenplum数据仓库 ⚫ 有幸参与了Oracle RAC到 Greenplum再到Hadoop以及最终到 ODPS的架构演进工作。 ⚫ 2012年起,转至阿里巴巴大数据团队,负责Hbase/OTS业务支 撑,期间多次负责阿里大数据双11架构和稳定性工作 ⚫ 2018年,在阿里云数据库负责OLAP产品管理团队。 1. Greenplum发展史 @Alibaba 2. AnalyticDB 语法生态、既支持在线交互分析,也支持离线数据处理。 AnalyticDB for PostgreSQL (云Greenplum)低成本,快速 构筑在线企业数据仓库。 • 应用易开发、适配 支持SQL 2003,部分兼容Oracle语法, 支持PL/SQL 存储过程,OLAP窗口函数,事务及数据库标准隔离级别 完备功能和生态,实现应用快速迁移或适配 • PB级数据秒级响应 MPP水平扩展架构,PB 传统数据库引擎性能 3x; 新一代SQL优化器,实现复杂分析语句免调优 • 支持多模分析 通过PostGIS 插件支持 地理信息数据分析;MADlib 库内置100+ 机器学习算法库,实现数据智能探索;高性 能向量检索算法,支持视频/图像检索 以图搜图 AnalyticDB for PostgreSQL 产品架构 协调节点 OSS 分布式云存储服务 SQL Client/BI Tools0 码力 | 22 页 | 2.98 MB | 1 年前3 阿里云 AnalyticDB for PostgreSQL
- 打造更简单易用的Cloud SQL Data WarehouseRAC和Greenplum数据仓库 ⚫ 有幸参与了Oracle RAC到 Greenplum再到Hadoop以及最终到 ODPS的架构演进工作。 ⚫ 2012年起,转至阿里巴巴大数据团队,负责Hbase/OTS业务支 撑,期间多次负责阿里大数据双11架构和稳定性工作 ⚫ 2018年,在阿里云数据库负责OLAP产品管理团队。 1. Greenplum发展史 @Alibaba 2. AnalyticDB 语法生态、既支持在线交互分析,也支持离线数据处理。 AnalyticDB for PostgreSQL (云Greenplum)低成本,快速 构筑在线企业数据仓库。 • 应用易开发、适配 支持SQL 2003,部分兼容Oracle语法, 支持PL/SQL 存储过程,OLAP窗口函数,事务及数据库标准隔离级别 完备功能和生态,实现应用快速迁移或适配 • PB级数据秒级响应 MPP水平扩展架构,PB 传统数据库引擎性能 3x; 新一代SQL优化器,实现复杂分析语句免调优 • 支持多模分析 通过PostGIS 插件支持 地理信息数据分析;MADlib 库内置100+ 机器学习算法库,实现数据智能探索;高性 能向量检索算法,支持视频/图像检索 以图搜图 AnalyticDB for PostgreSQL 产品架构 协调节点 OSS 分布式云存储服务 SQL Client/BI Tools0 码力 | 22 页 | 2.98 MB | 1 年前3
 实现PostgreSQL逻辑复制实战Conference China 2016 中国用户大会 数据库总体架构 PostgreSQL 主库 数据库中间件 备1 消息队列 对数据的写操作 PostgreSQL 动态节点管理 … 核心库 查询库 对数据库的读操作 备2 备份 归档 运维监控 数据库总体架构 应用 逻辑复制 2016Postgres中国用户大会 Postgres ORACLE LOGICAL Broker M1 M2 M3 Mn Master 逻辑解码 产生SQL+数据 MQ消息队列 DB重放语句 逻辑复制架构图 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 MQ-Prototype KAFKA-MQ-Solution Cluster 会被 消费,即在未来的调用中还会返回这些改变。 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 使用限制 目前不支持DDL的解析, 只有DML的解析 如:create,drop TEMPORARY表和UNLOGGED表不会被复制 表必须有主键或者唯一约束,否则像update或 者delete这样的操作无法被复制0 码力 | 17 页 | 1.90 MB | 1 年前3 实现PostgreSQL逻辑复制实战Conference China 2016 中国用户大会 数据库总体架构 PostgreSQL 主库 数据库中间件 备1 消息队列 对数据的写操作 PostgreSQL 动态节点管理 … 核心库 查询库 对数据库的读操作 备2 备份 归档 运维监控 数据库总体架构 应用 逻辑复制 2016Postgres中国用户大会 Postgres ORACLE LOGICAL Broker M1 M2 M3 Mn Master 逻辑解码 产生SQL+数据 MQ消息队列 DB重放语句 逻辑复制架构图 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 MQ-Prototype KAFKA-MQ-Solution Cluster 会被 消费,即在未来的调用中还会返回这些改变。 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 使用限制 目前不支持DDL的解析, 只有DML的解析 如:create,drop TEMPORARY表和UNLOGGED表不会被复制 表必须有主键或者唯一约束,否则像update或 者delete这样的操作无法被复制0 码力 | 17 页 | 1.90 MB | 1 年前3
 PostgresChina 2018 张启程 为什么我们抛弃MongoDB和MySQL,选择PgSQL• IM工具+SCRM系统(高并发、低延迟、稳定) • 大量客户需要私有化云服务器部署(云更新) • 需求变更频繁,不适合关系型数据库 2018年PostgreSQL中国技术大会 目前服务器架构 2018年PostgreSQL中国技术大会 MySQL应用史 • 最开始做的站群系统WEB端使用MySQL: • copy简单快速,批量复制,替换修改简单; • 每个网站一个库,单体数据量小,数据类型固定; 2018年PostgreSQL中国技术大会 关于PgSQL运维 • 由于我们团队没有大量特别专业的DBA,我们服务的客户 甚至连运维人员都没有!而我们的业务又必须保障绝对稳 定,经过反复尝试,我们放弃了自建数据库的方式(坑太 多!填不完) • 目前所有业务全部使用阿里云的PgSQL,针对不同客户的业 务量大小,选择不同配置的数据库,开通简单,拓展扩容 方便。我们的客户也不需要太专业的运维人员就可以直接 使用,(稳如死狗!)0 码力 | 9 页 | 563.82 KB | 1 年前3 PostgresChina 2018 张启程 为什么我们抛弃MongoDB和MySQL,选择PgSQL• IM工具+SCRM系统(高并发、低延迟、稳定) • 大量客户需要私有化云服务器部署(云更新) • 需求变更频繁,不适合关系型数据库 2018年PostgreSQL中国技术大会 目前服务器架构 2018年PostgreSQL中国技术大会 MySQL应用史 • 最开始做的站群系统WEB端使用MySQL: • copy简单快速,批量复制,替换修改简单; • 每个网站一个库,单体数据量小,数据类型固定; 2018年PostgreSQL中国技术大会 关于PgSQL运维 • 由于我们团队没有大量特别专业的DBA,我们服务的客户 甚至连运维人员都没有!而我们的业务又必须保障绝对稳 定,经过反复尝试,我们放弃了自建数据库的方式(坑太 多!填不完) • 目前所有业务全部使用阿里云的PgSQL,针对不同客户的业 务量大小,选择不同配置的数据库,开通简单,拓展扩容 方便。我们的客户也不需要太专业的运维人员就可以直接 使用,(稳如死狗!)0 码力 | 9 页 | 563.82 KB | 1 年前3
 PostgreSQL WAL日志解析与应用• 逻辑复制 • 误操作恢复 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会  Logminter • 利用多版本特性,尽可能恢复数据。 • 打开pg_log,查找误操作信息,进行还原。 • 利用pg_xlogdump查看wal日志信息,确定时 间点,然后恢复。 2016Postgres中国用户大会0 码力 | 16 页 | 705.31 KB | 1 年前3 PostgreSQL WAL日志解析与应用• 逻辑复制 • 误操作恢复 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会  Logminter • 利用多版本特性,尽可能恢复数据。 • 打开pg_log,查找误操作信息,进行还原。 • 利用pg_xlogdump查看wal日志信息,确定时 间点,然后恢复。 2016Postgres中国用户大会0 码力 | 16 页 | 705.31 KB | 1 年前3
 postgresql操作手册pg_size_pre�y(pg_rela�on_size('table_name')); #以方便阅读的单位列 出表的大小 ★不建议使用带\反斜杠的内置命令,有些sql终端工具不支持发送带有\反斜杠 的命令 ★第7章、表 字段操作 ★第8章、表 数据操作 db_test=# \d tablexx;0 码力 | 17 页 | 445.84 KB | 1 年前3 postgresql操作手册pg_size_pre�y(pg_rela�on_size('table_name')); #以方便阅读的单位列 出表的大小 ★不建议使用带\反斜杠的内置命令,有些sql终端工具不支持发送带有\反斜杠 的命令 ★第7章、表 字段操作 ★第8章、表 数据操作 db_test=# \d tablexx;0 码力 | 17 页 | 445.84 KB | 1 年前3
共 5 条
- 1














