 PostgresChina 2018 张启程 为什么我们抛弃MongoDB和MySQL,选择PgSQL任何数据库都很好用 • 我不是一个专业的DBA ,对数据库的理解不够深入,也不 一定准确,在此抛砖引玉,只是结合我们团队业务场景来 分享下我们选择数据库的过程。 • 不是数据库不好用, • 而是我们不会用, • 是我们用的姿势不对! 2018年PostgreSQL中国技术大会 主要业务场景 • IM工具+SCRM系统(高并发、低延迟、稳定) • 大量客户需要私有化云服务器部署(云更新) • 需求变更频繁,不适合关系型数据库 我们团队没有大量专业的DBA运维人员,业务迭代也非常 快,需求变更频繁,对数据库非常依赖,用了PgSQL之后, 感觉可以充分满足我们的需求。 2018年PostgreSQL中国技术大会 关于PgSQL运维 • 由于我们团队没有大量特别专业的DBA,我们服务的客户 甚至连运维人员都没有!而我们的业务又必须保障绝对稳 定,经过反复尝试,我们放弃了自建数据库的方式(坑太 多!填不完) • 目前所有业务全部使用阿里云的PgSQL,针对不同客户的业0 码力 | 9 页 | 563.82 KB | 1 年前3 PostgresChina 2018 张启程 为什么我们抛弃MongoDB和MySQL,选择PgSQL任何数据库都很好用 • 我不是一个专业的DBA ,对数据库的理解不够深入,也不 一定准确,在此抛砖引玉,只是结合我们团队业务场景来 分享下我们选择数据库的过程。 • 不是数据库不好用, • 而是我们不会用, • 是我们用的姿势不对! 2018年PostgreSQL中国技术大会 主要业务场景 • IM工具+SCRM系统(高并发、低延迟、稳定) • 大量客户需要私有化云服务器部署(云更新) • 需求变更频繁,不适合关系型数据库 我们团队没有大量专业的DBA运维人员,业务迭代也非常 快,需求变更频繁,对数据库非常依赖,用了PgSQL之后, 感觉可以充分满足我们的需求。 2018年PostgreSQL中国技术大会 关于PgSQL运维 • 由于我们团队没有大量特别专业的DBA,我们服务的客户 甚至连运维人员都没有!而我们的业务又必须保障绝对稳 定,经过反复尝试,我们放弃了自建数据库的方式(坑太 多!填不完) • 目前所有业务全部使用阿里云的PgSQL,针对不同客户的业0 码力 | 9 页 | 563.82 KB | 1 年前3
 阿里云 AnalyticDB for PostgreSQL
- 打造更简单易用的Cloud SQL Data WarehouseRAC和Greenplum数据仓库 ⚫ 有幸参与了Oracle RAC到 Greenplum再到Hadoop以及最终到 ODPS的架构演进工作。 ⚫ 2012年起,转至阿里巴巴大数据团队,负责Hbase/OTS业务支 撑,期间多次负责阿里大数据双11架构和稳定性工作 ⚫ 2018年,在阿里云数据库负责OLAP产品管理团队。 1. Greenplum发展史 @Alibaba 2. AnalyticDB for 客户案例 – 阿里妈妈数据银行广告业务 生成 roaring bitmap 在线bitmap 圈人 业务痛点:广告圈人,分析师面对海量数据,进行随机 探索,数据库传统JOIN方案为分钟/小时级任务。 方案及价值:通过 ADB/PG 高压缩比稀疏位图索引 (roaring bitmap),人群碰撞关联速度提升 10X+,广告圈人从离线变在线,最大化数据业务价 值。 数据银行依托阿里数据资源,为品牌商家提供数据分析 PARQUET。 Jul Nov Oct Sep 冷热数据统一管理,基于OSS云存储构筑数据湖分析(规划中) ...... 热数据:需要高性能分析计算的数据存放在本地 盘,可设为行存或列存适合不同业务的实时分析 冷数据:存储在OSS外部存储 保存价格低廉,数据在线可查询 Year - 3 非结构化数据向量检索, “以图搜图” (规划中) 场景应用: 1、Web App把图片或者视频等非结构化数据0 码力 | 22 页 | 2.98 MB | 1 年前3 阿里云 AnalyticDB for PostgreSQL
- 打造更简单易用的Cloud SQL Data WarehouseRAC和Greenplum数据仓库 ⚫ 有幸参与了Oracle RAC到 Greenplum再到Hadoop以及最终到 ODPS的架构演进工作。 ⚫ 2012年起,转至阿里巴巴大数据团队,负责Hbase/OTS业务支 撑,期间多次负责阿里大数据双11架构和稳定性工作 ⚫ 2018年,在阿里云数据库负责OLAP产品管理团队。 1. Greenplum发展史 @Alibaba 2. AnalyticDB for 客户案例 – 阿里妈妈数据银行广告业务 生成 roaring bitmap 在线bitmap 圈人 业务痛点:广告圈人,分析师面对海量数据,进行随机 探索,数据库传统JOIN方案为分钟/小时级任务。 方案及价值:通过 ADB/PG 高压缩比稀疏位图索引 (roaring bitmap),人群碰撞关联速度提升 10X+,广告圈人从离线变在线,最大化数据业务价 值。 数据银行依托阿里数据资源,为品牌商家提供数据分析 PARQUET。 Jul Nov Oct Sep 冷热数据统一管理,基于OSS云存储构筑数据湖分析(规划中) ...... 热数据:需要高性能分析计算的数据存放在本地 盘,可设为行存或列存适合不同业务的实时分析 冷数据:存储在OSS外部存储 保存价格低廉,数据在线可查询 Year - 3 非结构化数据向量检索, “以图搜图” (规划中) 场景应用: 1、Web App把图片或者视频等非结构化数据0 码力 | 22 页 | 2.98 MB | 1 年前3
 PostgreSQL 开发最佳实践begin; explain analyze query; rollback; • create index CONCURRENTLY idx on tbl(id); • 密码复杂度、认证方法 • 业务系统,开发测试账号,不要使用数据库超 级用户。 • 长连接relcache , syscache • 数据隔离(cluster -> database -> schema) • 主备切换(prewarm) '%a%' • 递归查询一定要有跳出递归的条件 • 估值计算,HLL代替count(distinct xx) • 频繁更新的字段与不频繁更新的字段建议拆成多个表, 提高更新效率。 • 业务层避免死锁 • 根据业务需求调整表级autovacuum相关参数 • 内存足够时,UDF中尽量使用数组代替临时表 • JOIN的固化、子查询的固化。(plan hint OR query写法 +patameter)0 码力 | 16 页 | 381.36 KB | 1 年前3 PostgreSQL 开发最佳实践begin; explain analyze query; rollback; • create index CONCURRENTLY idx on tbl(id); • 密码复杂度、认证方法 • 业务系统,开发测试账号,不要使用数据库超 级用户。 • 长连接relcache , syscache • 数据隔离(cluster -> database -> schema) • 主备切换(prewarm) '%a%' • 递归查询一定要有跳出递归的条件 • 估值计算,HLL代替count(distinct xx) • 频繁更新的字段与不频繁更新的字段建议拆成多个表, 提高更新效率。 • 业务层避免死锁 • 根据业务需求调整表级autovacuum相关参数 • 内存足够时,UDF中尽量使用数组代替临时表 • JOIN的固化、子查询的固化。(plan hint OR query写法 +patameter)0 码力 | 16 页 | 381.36 KB | 1 年前3
共 3 条
- 1













