Scheduling / Monitoring) 比較沒人知道的事： Hadoop 2.x 也默默地做了四五年了 ... 雖然是大修，但是 Backward Compatibility 做的很棒 Yahoo! 去年就已經把 Hadoop 2.x 部署在 35,000+ Node 跑了六 個月以上 ... 21 / 74 1. Submit Job 2. 建構特定 AM 3. 向 RM 註冊 AM 4. 送 Microsoft HDInsight MapR 有 MapR Distribution for Apache Hadoop (M3, M5, M7) ... 喜歡 Make (自造者運動) 的人還是可以去 Apache BigTop 網站自行下載組裝。 40 / 74 Cloudera Distribution for Hadoop 2014 年獲得 900M 的資金挹注，其中 740M 來自 Intel。

1）ssh-key-gen 生成密钥对 公钥（A） 授权key Authorized_keys 2）拷贝 3）ssh 访问B（数 据用私钥A加密） A服务器 B服务器 4）接收到数据后，去授 权key中查找A的公钥， 并解密数据。 5）采用A公钥加 密的数据返回给A 6 接收到数 据后，用A的 私钥解密数 据 （2）生成公钥和私钥 [atguigu@hadoop102 4）在集群上分发配置好的 Hadoop 配置文件 [atguigu@hadoop102 hadoop]$ xsync /opt/module/hadoop- 3.1.3/etc/hadoop/ 5）去 103 和 104 上查看文件分发情况 [atguigu@hadoop103 ~]$ cat /opt/module/hadoop- 3.1.3/etc/hadoop/core-site

容错是有效的，否则无效，因为 无法重试，需要向上其祖先追溯看是否可以重试（这就是 lineage，血统的意思），Narrow Dependencies 对于数据的重算开销要远小于 Wide Dependencies 的数据重算开销。 1.2.4 容错 在 RDD 计算，通过 checkpint 进行容错，做 checkpoint 有两种方式，一个是 checkpoint data，一个是

reduce.cpu.vcores默认ReduceTask的CPU核数1个。可 以提高到2-4个 1）mapreduce.reduce.shuffle.parallelcopies每个Reduce去Map 中拉取数据的并行数，默认值是5。可以提高到10。 3）mapreduce.reduce.shuffle.merge.percent Buffer中的数据达到多少比例 开始写入磁盘，默认值0.66。可以提高到0 mapreduce.map.maxattempts 4 mapreduce.reduce.shuffle.parallelcopies

的多种可用产品和大量供应商提供的将 Hadoop 与企 业工具相集成的解决方案为基础，Hadoop 的开放源码和企业生态系 统还在不断成长。HDFS是该生态系统的主要组成部分。由于Hadoop 有着低廉的商业成本，因此很容易去探索 Hadoop 的特性，无论是 通过虚拟机，还是在现有环境建立混合生态系统。使用 Hadoop 解 决方案来审查当前的数据方法以及日渐增长的供应商阵营是一种非 Hadoop 大数据解决方案