PostgresChina 2018 张启程 为什么我们抛弃MongoDB和MySQL,选择PgSQL,对数据库的理解不够深入,也不 一定准确,在此抛砖引玉,只是结合我们团队业务场景来 分享下我们选择数据库的过程。 • 不是数据库不好用, • 而是我们不会用, • 是我们用的姿势不对! 2018年PostgreSQL中国技术大会 主要业务场景 • IM工具+SCRM系统(高并发、低延迟、稳定) • 大量客户需要私有化云服务器部署(云更新) • 需求变更频繁,不适合关系型数据库 2018年PostgreSQL中国技术大会 将IM中聊天记录等数据量大的数据,用 MongoDB存储,减轻MySQL负担; • 这种方式虽然可以暂时解决问题,我们自己用也没有任何 问题,可以结合各自数据库优点,发挥性能。但是我们有 很多客户是需要私有化部署数据库,让每家客户都接受这 种方式,会为甲方增加很多服务器以及运维成本,可能客 户数据量很少,也需要使用双数据库,更新运维都比较麻 烦。 2018年PostgreSQL中国技术大会 PgSQL≈MySQL+MongoDB 我们团队没有大量专业的DBA运维人员,业务迭代也非常 快,需求变更频繁,对数据库非常依赖,用了PgSQL之后, 感觉可以充分满足我们的需求。 2018年PostgreSQL中国技术大会 关于PgSQL运维 • 由于我们团队没有大量特别专业的DBA,我们服务的客户 甚至连运维人员都没有!而我们的业务又必须保障绝对稳 定,经过反复尝试,我们放弃了自建数据库的方式(坑太 多!填不完) • 目前所有业务全部使用阿里云的PgSQL,针对不同客户的业0 码力 | 9 页 | 563.82 KB | 1 年前3
阿里云 AnalyticDB for PostgreSQL
- 打造更简单易用的Cloud SQL Data WarehouseRAC和Greenplum数据仓库 ⚫ 有幸参与了Oracle RAC到 Greenplum再到Hadoop以及最终到 ODPS的架构演进工作。 ⚫ 2012年起,转至阿里巴巴大数据团队,负责Hbase/OTS业务支 撑,期间多次负责阿里大数据双11架构和稳定性工作 ⚫ 2018年,在阿里云数据库负责OLAP产品管理团队。 1. Greenplum发展史 @Alibaba 2. AnalyticDB for 十分钟 集群创建部署 • 图形化实例管理及自动监控报警 实例SQL安全审计 实例实时监控 实例配置信息 • 云上多种生态工具配套: DTS数据传输 QuickBI DataV 数据集成 阿里云数据工 具服务 阿里云第三方 服务 … … Kettel 客户案例 – 阿里妈妈数据银行广告业务 生成 roaring bitmap 在线bitmap 圈人 业务痛点:广告圈人,分析师面对海量数据,进行随机 探索,数据库传统JOIN方案为分钟/小时级任务。 方案及价值:通过 ADB/PG 高压缩比稀疏位图索引 (roaring bitmap),人群碰撞关联速度提升 10X+,广告圈人从离线变在线,最大化数据业务价 值。 数据银行依托阿里数据资源,为品牌商家提供数据分析 服务的平台,商家通过分析用户的购买行为等数据,以 提升商家的运营效率和效果,将蕴藏在数据中的价值挖 掘出来,持续催化品牌和消费者关系。0 码力 | 22 页 | 2.98 MB | 1 年前3
PostgreSQL 开发最佳实践begin; explain analyze query; rollback; • create index CONCURRENTLY idx on tbl(id); • 密码复杂度、认证方法 • 业务系统,开发测试账号,不要使用数据库超 级用户。 • 长连接relcache , syscache • 数据隔离(cluster -> database -> schema) • 主备切换(prewarm) '%a%' • 递归查询一定要有跳出递归的条件 • 估值计算,HLL代替count(distinct xx) • 频繁更新的字段与不频繁更新的字段建议拆成多个表, 提高更新效率。 • 业务层避免死锁 • 根据业务需求调整表级autovacuum相关参数 • 内存足够时,UDF中尽量使用数组代替临时表 • JOIN的固化、子查询的固化。(plan hint OR query写法 +patameter)0 码力 | 16 页 | 381.36 KB | 1 年前3
共 3 条
- 1













