all nodes. NameNode 有一个工作线程池，用来处理不同 DataNode 的并发心跳以及客户端并发 的元数据操作。 对于大集群或者有大量客户端的集群来说，通常需要增大该参数。默认值是 10。 dfs.namenode.handler.count 21 namenode.handler.count=20 × ??????????? ????，比如集群规模（DataNode 台 数）为 3 台时，此参数设置为 21。可通过简单的 python 代码计算该值，代码如下。 [atguigu@hadoop102 ~]$ sudo yum install -y python [atguigu@hadoop102 ~]$ python Python 2.7 人工智能资料下载，可百度访问：尚硅谷官网 2）开启回收站功能参数说明 （1）默认值 fs.trash.interval = 0，0 表示禁用回收站；其他值表示设置文件的存活时间。 （2）默认值 fs.trash.checkpoint.interval = 0，检查回收站的间隔时间。如果该值为 0，则该 值设置和 fs.trash.interval 的参数值相等。 （3）要求 fs.trash

输入的键值对会被转换成零到多个键值对输出。其中输入和输出的键必须完全不 同，而输入和输出的值则可能完全不同。  reduce： 某个键的所有键值对都会被分发到同一个 reduce 操作中。确切的说，这个键 和这个键所对应的所有值都会被传递给同一个 Reducer。reduce 过程的目的是将值的集合转换成一个值（例如求和或者求平均），或者转换成另 一个集合。这个 Reducer 最终会产生一个键值对。需要说明的是，如果

大量的磁盘 IO 操作。这对 于迭代运算比较常见的机器学习算法, 交互式数据挖掘来说，效率提升比较大。 1.2.2 RDD 的转换与操作 对于 RDD 可以有两种计算方式：转换（返回值还是一个 RDD）与操作（返回值不是一个 RDD） 1. 转换(Transformations) (如：map, filter, groupBy, join 等)，Transformations 操作是 Lazy

ResourceManager NodeManager NodeManager 2）配置文件说明 Hadoop 配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认 配置值时，才需要修改自定义配置文件，更改相应属性值。 （1）默认配置文件： 要获取的默认文件 文件存放在 Hadoop 的 jar 包中的位置 [core-default.xml] hadoop-common-3