• 去除了MapReduce的overhead，大大减少了数据传输 • 性能有3X~10X的提升 HBase的性能优化 预分配region 启用压缩已减少HDFS数据量，可提高读性能 Region Server迚程配置大内存（>16G） 每个Region Server拥有的region数量<300 优化表结构设计，防止少数几个region成为瓶颈 • 一个简单的经验公式：每台region NVM 65µs IO Processing 典型应用消耗的时间示意：CPU vs. IO Application • 性能增强 - 顺序读/写 : 2.0/1.0 GB/s - 随机读/写: 180/75 KIOPS - 读/写延迟 : 65/65µs • 高耐久技术(HET)的25nm MLC - 写入次数提升10倍 - 相对传统MLC寿命提升30倍t Intel®

如果实测速度远远小于网络，并且实测速度不能满足工作需求，可以考虑采用固态硬盘 或者增加磁盘个数。 （2）如果客户端不在集群节点，那就三个副本都参与计算 2.2 测试 HDFS 读性能 1）测试内容：读取 HDFS 集群 10 个 128M 的文件 [atguigu@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop- 一般出现慢磁盘现象，会影响到 DataNode 与 NameNode 之间的心跳。正常情况心跳时 间间隔是 3s。超过 3s 说明有异常。 2）fio 命令，测试磁盘的读写性能 （1）顺序读测试 [atguigu@hadoop102 ~]# sudo yum install -y fio [atguigu@hadoop102 ~]# sudo fio - filename=/home/atguigu/test (378MB/s), 360MiB/s-360MiB/s (378MB/s-378MB/s), io=20.0GiB (21.5GB), run=56885-56885msec 结果显示，磁盘的总体顺序读速度为 360MiB/s。 （2）顺序写测试 [atguigu@hadoop102 ~]# sudo fio - filename=/home/atguigu/test.log -direct=1

架，Spark 基于 map reduce 算法实现的分布式计算，拥有 Hadoop MapReduce 所具有的 优点；但不同于 MapReduce 的是 Job 中间输出和结果可以保存在内存中，从而不再需要读 写 HDFS，因此 Spark 能更好地适用于数据挖掘与机器学习等需要迭代的 map reduce 的算 法。 1.2 Spark 核心概念 1.2.1 弹性分布数据集（RDD） RDD