HBase 集群Master和Zookeeper 节点 IBM 3650 PC，双路六核，Intel X5650处理器， 2.66GHz主频，48GB内存，6*1TB SATA硬盘 5台 DataNode/TaskTracker/Region Server IBM 3650 PC，双路六核，Intel X5650处理器， 2.66GHz主频，48GB内存，6*1TB SATA硬盘 69台 用户访问查询页面的时间） – 支持并发查询数目：1000请求/秒 Postgres Conference China 2016 中国用户大会 系统部署 • NameNode节点：3台 • DataNode（数据存储节点）： 178台 • Zookeeper节点：7台 • 集群监控节点：1台 • 入库服务节点：24台 • Web查询应用服务节点：20台 • 机架间通过万兆交换机连接 • 网络冗余 产创平台 采集系统 核心交换机 核心交换机 负载均衡器 负载均衡器 防火墙 防火墙 DCN网络接入 路由器 核心交换机 核心交换机 防火墙 防火墙 接入路由器 查询接口服务器 DataNode and RegionServer 核心交换机 核心交换机 FTP传输及入库 NameNode节点 Zookeeper X 省 客服系统 GGSN SGSN Gn口 产创平台 采集系统

• NameNode/DataNode 系统组成 如图有这么⼏几个组成部分, 前两个是HBase的 Master是负责管理理的, RegionServer是实际⼲干活的 zookeeper作为协调信息存储的地⽅方, ⽐比如节点健康状态 然后HBase的数据都要存放在hdfs上, 就要有node. 如图可以看出RegionServer和Datanode尽量量在同⼀一台机器器上.

failure since each datanode need to handle too many streams. Number of streams = number of Log * number of region * number of replica * number of regionserver Streams each datanode need to handle = Number