HBase基本介绍所有的各项配置, 都是指定到列列族上, 不不是列列, 同列列族数据, 物理理上存在同⽂文件 • ColumnFamily在建表时确定, 具体有哪些列列 是数据随意添加的 数据模型 Column 数据模型 物理理视图 • 逻辑视图 不不等于 物理理视图 • 伪装起来的KV存储 接下来我们说⼀一下数据模型的物理理视图, 什什么叫物理理视图, 就是逻辑上HBase是刚才的表⾏行行列列的结构, 使⽤用的时候也可以这么想 使⽤用的时候也可以这么想, 但是实际HBase存储数据的时候, 不不是这么存 的! ⽤用⼀一句句话总结物理理视图, 就是伪装起来的KV存储 这⾥里里我想了了好久如何给⼤大家讲HBase数据模型的物理理视图 数据模型 物理理视图 数据模型 物理理视图 或者换⼀一个⽅方式来看 • 设备id作为rowkey • ⽇日志时间作为version时间 • 其余作为10列列 1个ID, 100条⾏行行为(100个版本)0 码力 | 33 页 | 4.86 MB | 1 年前3
HBase最佳实践及优化尽量将所有常用查询所使用的域放入RK » 优先使用RK filter,其次使用value filter • 保持RK值得唯一性 (添加序列号) • RK长度越短越好 (通用数据定义规则,适用于其他) » 考虑KeyValue的物理存储规则 • 一般建议RK长度 < 50B • RK的设计首要考虑便于能将最常用的查询转 化为HBase的get或者基于RK范围的scan操作 • 最重要的域放在首位,依次… 30 Postgres = 0.5 (缺省值 为半周) • 执行过程非常长,且非常耗资源 – 无法控制只在合适的时间执行 • 建议在生产环境禁用计划Major Compaction, 通过命令行手工触发或自己进行物理数据删除 Postgres Conference China 2016 中国用户大会 Compaction • 检测:通过HBase管理页面查看CompactionQueue长度以及 Regi0 码力 | 45 页 | 4.33 MB | 1 年前3
共 2 条
- 1













