HBase最佳实践及优化底层通过78台X3650 PC服务器组构建Hadoop集群,有效容量 138TB • 数据的分发、复制、任务调度、容错都是由系统软件来控制, 同时具备线性的横向扩展能力 • 3份冗余的数据保证对硬件的容错和读处理的支持 设备 硬件设备 数量 Hadoop 集群管理节点 IBM 3650 PC,双路六核,Intel X5650处理器, 2.66GHz主频,48GB内存,6*1TB SATA硬盘 1台 Hadoop集群 Alleged to save some CPU cycles in between GC epochs Postgres Conference China 2016 中国用户大会 RegionServer硬件建议 • 服务器硬盘空间不大于6TB*RegionServer • 足够的内存堆大小(约等于硬盘空间/200) • HBase对于CPU要求高,越多core越好 • 磁盘与网络的速度匹配 – 比如如果是24块硬盘,吞吐率约2 Conference China 2016 中国用户大会 写性能 • HBase理论平均写延时<10ms,时间复杂度O(1) • 没有可用的handler响应 – 考虑增加handler数目或硬件资源 • 更常见的情况是95%-99%的写入都很快,但有些 写入非常慢,甚至慢上万倍,一般问题在服务器端: – 写入Memstore慢 • HLog写入超时——考虑HDFS及硬盘异常 • GC0 码力 | 45 页 | 4.33 MB | 1 年前3
共 1 条
- 1













