MapReduce (MRv1) 只有一個 JobTracker (Master)，可是要管理多個 TaskTracker (Slave)！ 10 / 74 Hadoop 1.x 架構與限制 比較基本的模組： Hadoop HDFS (Storage) Hadoop MapReduce (Computing Engine + Resource Management + Job Scheduling / Availability 可以有多個 Namespace 可以做 Snapshot I/O 速度快 2.5-5 倍 ... 改造 HDFS -> HDFS2 20 / 74 Hadoop 2.x 架構 比較基本的模組： Hadoop Common (Core Libraries) Hadoop HDFS (Storage) Hadoop MapReduce (Computing Engine) Hadoop YARN

功能 MaxCompute 产品组件 特性介绍 数据存储 MaxCompute 表 (基于盘古分布式存储) MaxCompute 支持大规模计算存储，适用于 TB 以上规 模的存储及计算需求，最大可达 EB 级别。同一个 MaxCompute 项目支持企业从创业团队发展到独角兽的 数据规模需求； 数据分布式存储，多副本冗余，数据存储对外仅开放表的 操作接口，不提供文件系统访问接口 (MB/s): 58.82 Alibaba Cloud MaxCompute 解决方案 28 6.3.2 资源评估  评 估 系 统 会 根 据 客 户 的 集 群 规 模 、 服 务 器 配 置 、 数 据 量 和 作 业 量 等 信 息 ， 估 算 出 在 MaxCompute 相应的资源购买规格建议：1）计费模式：预付费/后付费；2）规格：CU 数和 存储规格等。

11 08:03 name1 drwxrwxr-x. 3 atguigu atguigu 4096 12 月 11 08:03 name2 检查 name1 和 name2 里面的内容，发现一模一样。 3.2 DataNode 多目录配置 1）DataNode 可以配置成多个目录，每个目录存储的数据不一样（数据不是副本） 2）具体配置如下 在 hdfs-site.xml namenode.safemode.extension:稳定时间，默认值 30000 毫秒，即 30 秒 4）基本语法 集群处于安全模式，不能执行重要操作（写操作）。集群启动完成后，自动退出安全模 式。 （1）bin/hdfs dfsadmin -safemode get （功能描述：查看安全模式状态） （2）bin/hdfs dfsadmin -safemode enter （功能描述：进入安全模式状态）

—————— 更多 Java –大数据 –前端 –python 人工智能资料下载，可百度访问：尚硅谷官网 ➢ 伪分布式模式：也是单机运行，但是具备 Hadoop 集群的所有功能，一台服务器模 拟一个分布式的环境。个别缺钱的公司用来测试，生产环境不用。 ➢ 完全分布式模式：多台服务器组成分布式环境。生产环境使用。 3.1 本地运行模式（官方 WordCount） 1）创建在