架构组成. 知道了了存的数据样⼦子, 我们接下来看点实际的 • HMaster • RegionServer • Zookeeper • NameNode/DataNode 系统组成 如图有这么⼏几个组成部分, 前两个是HBase的 Master是负责管理理的, RegionServer是实际⼲干活的 zookeeper作为协调信息存储的地⽅方, ⽐比如节点健康状态 然后HBase的数据都要存放在hdfs上, 就要有node. 如图可以看出RegionServer和Datanode尽量量在同⼀一台机器器上. • ⽔水平 按rowkey分开 region • Pre-split: 0-5 6-10 • Auto-split: size • 垂直 按CF分开 系统组成 Region ⽔水平按rowkey分. 这个分两步, 第⼀一个是在建表的时候指定分的⽅方式 WAL • 数据⽂文件: HFile 系统组成 RegionServer 深⼊入RegionServer内部. 有两个Cache和两种⽂文件 • 先写WAL做故障恢复⽤用 • 写到Memstore中 • ⾜足够⼤大时flush到HFile • Compaction (Minor/Major) 系统组成 RegionServer写操作 ⼀一个Region多个CF就多个Memstore

核心交换机 核心交换机 负载均衡器 负载均衡器 防火墙 防火墙 DCN网络接入 路由器 核心交换机 核心交换机 防火墙 防火墙 接入路由器 查询接口服务器 DataNode and RegionServer 核心交换机 核心交换机 FTP传输及入库 NameNode节点 Zookeeper X 省 客服系统 GGSN SGSN Gn口 产创平台 采集系统 Postgres Conference 写？ – 读需要合并HFile，因此文件越少越好 – 写需要减少Compaction操作，因此文件越多越好 – 优化读或者写之一，而不是全部 • 顺序 vs. 随机？ • 参考值——每个RegionServer吞吐率>20MB/s – 读吞吐率>3000ops/s, 写吞吐率>10000ops/s • 尽量在HBase表结构设计时就考虑解决性能问题， 而不是通过设置参数来调整HBase性能！ some CPU cycles in between GC epochs Postgres Conference China 2016 中国用户大会 RegionServer硬件建议 • 服务器硬盘空间不大于6TB*RegionServer • 足够的内存堆大小（约等于硬盘空间/200） • HBase对于CPU要求高，越多core越好 • 磁盘与网络的速度匹配 – 比如如果是24块硬盘，吞吐率约2