 HBase最佳实践及优化Hadoop database and NoSQL database • 基本的数据库操作CRUD • 强一致性 • 无SQL语言支持 • 稀疏的多维映射表 – 列存储 – 只用row key来定位行 – 每行可以有不同的列 – 数据有多个版本(在不同的时间点的快照信息) • 分布式的多层次映射表结构(key-value形式,value有多个) – 固定一个数据模型(固定数据模型能得到高性能,同时满足应用 20MB文件) – 对联机分析必须提供标准编程接口,支持SQL/JDBC/ODBC等 • 高可扩展和高可用 – 用户程序查询数据不需要知道底层细节,比如数据分布细节 – 可以水平扩展 – 允许多台机器故障的场景下,业务不中断 Postgres Conference China 2016 中国用户大会 原有方案:小型机+存储+Oracle • 成本高、扩展性差 – 价格昂贵 • 服务器采用P0 码力 | 45 页 | 4.33 MB | 1 年前3 HBase最佳实践及优化Hadoop database and NoSQL database • 基本的数据库操作CRUD • 强一致性 • 无SQL语言支持 • 稀疏的多维映射表 – 列存储 – 只用row key来定位行 – 每行可以有不同的列 – 数据有多个版本(在不同的时间点的快照信息) • 分布式的多层次映射表结构(key-value形式,value有多个) – 固定一个数据模型(固定数据模型能得到高性能,同时满足应用 20MB文件) – 对联机分析必须提供标准编程接口,支持SQL/JDBC/ODBC等 • 高可扩展和高可用 – 用户程序查询数据不需要知道底层细节,比如数据分布细节 – 可以水平扩展 – 允许多台机器故障的场景下,业务不中断 Postgres Conference China 2016 中国用户大会 原有方案:小型机+存储+Oracle • 成本高、扩展性差 – 价格昂贵 • 服务器采用P0 码力 | 45 页 | 4.33 MB | 1 年前3
 HBase基本介绍Memstore • 写操作⽇日志: WAL • 数据⽂文件: HFile 系统组成 RegionServer 深⼊入RegionServer内部. 有两个Cache和两种⽂文件 • 先写WAL做故障恢复⽤用 • 写到Memstore中 • ⾜足够⼤大时flush到HFile • Compaction (Minor/Major) 系统组成 RegionServer写操作 ⼀一个R0 码力 | 33 页 | 4.86 MB | 1 年前3 HBase基本介绍Memstore • 写操作⽇日志: WAL • 数据⽂文件: HFile 系统组成 RegionServer 深⼊入RegionServer内部. 有两个Cache和两种⽂文件 • 先写WAL做故障恢复⽤用 • 写到Memstore中 • ⾜足够⼤大时flush到HFile • Compaction (Minor/Major) 系统组成 RegionServer写操作 ⼀一个R0 码力 | 33 页 | 4.86 MB | 1 年前3
共 2 条
- 1













