bin/hdfs dfsadmin -safemode leave （5）再观察上一个窗口 Safe mode is OFF （6）HDFS 集群上已经有上传的数据了 6.3 慢磁盘监控 “慢磁盘”指的时写入数据非常慢的一类磁盘。其实慢性磁盘并不少见，当机器运行时 间长了，上面跑的任务多了，磁盘的读写性能自然会退化，严重时就会出现写入数据延时的 虚拟内存物理内存比例 （3）Container 容器相关 yarn.scheduler.minimum-allocation-mb 容器最小内存 yarn.scheduler.maximum-allocation-mb 容器最大内存 yarn.scheduler.minimum-allocation-vcores 容器最小核数 yarn.scheduler.ma maximum-allocation-vcores 容器最大核数 2）参数具体使用案例 详见《尚硅谷大数据技术之 Hadoop（Yarn）》，第 2.1 节。 9.2 容量调度器使用 详见《尚硅谷大数据技术之 Hadoop（Yarn）》，第 2.2 节。 9.3 公平调度器使用 详见《尚硅谷大数据技术之 Hadoop（Yarn）》，第 2.3 节。

全性，稳定性上有所增强。Cloudera 的标价为每年每个节点 10000 美元。 （4）Cloudera Manager 是集群的软件分发及管理监控平台，可以在几个小时内部署好一 个 Hadoop 集群，并对集群的节点及服务进行实时监控。 3）Hortonworks Hadoop 官网地址：https://hortonworks.com/products/data-center/hdp/ ：整个集群资源（内存、CPU等）的老大 3）ApplicationMaster（AM）：单个任务运行的老大 2）NodeManager（NM）：单个节点服务器资源老大 4）Container：容器，相当一台独立的服务器，里面封装了 任务运行所需要的资源，如内存、CPU、磁盘、网络等。 NodeManager Container NodeManager Container NodeManager

中的数据，并将来自两个来源的数据整合为单一结果集提供给最终用户。 图 4. 监控进程 Hadoop的进程 (mapper) 启动之后，作业监控器进程将监视启动程序脚本。一旦mapper 完成 Hadoop 集群中数据的处理之后，bash 脚本即完成，如图 4 所示。 作业监控器将监视数据库调度程序队列，并在 shell 脚本完成时发出通知（第 7 步）。作业监 控器检查数据队列中的剩余数据元素（第 Oracle 白皮书 — 通过 Oracle 并行处理集成 Hadoop 数据 图 5. 关闭处理 当表函数并行调用取出队列中的全部数据之后，作业监控器将终止队列（图 5 所示的第 9 步）以确保 Oracle 中的表函数调用停止。此时，所有数据均已交付给请求这些数据的查询。 7

交互式数据仓库 Sqoop 1.4.1 关系数据ETL工具 Flume 1.1.0 日志收集工具 Intel Hadoop Manager 2.2 安装、部署、配置、监控、告警和访问控制 Zookeeper 3.4.4 分布式协作服务 Pig 0.9.2 数据流处理语言 Mahout 0.6 数据挖掘 HBase 0.94.1 实时、分布式、高维数据库 实时、分布式、高维数据库 Map/Reduce 1.0.3 分布式计算框架 HDFS 1.0.3 分布式文件系统 R 统计语言 Intel Hadoop Manager – 安装、配置、管理、监控、告警 英特尔Hadoop性能优化 测试配置  性能数据在8台英特尔至强服务器组成的小规模集群上测试得到  服务器配置：6核Intel E5 CPU, 48GB内存，8块 7200rpm 正漏洞保证各个部件乊间的一致性，使应用顺滑运行 实时数据处理的分布式大数据应用平台 •通过对 HBase 迚行改迚和创新，英特尔 Hadoop 发行版提供实时数据处理功能。为企业对数据的实时监控和即时处理提供有效保障 针对企业用户开发的新的平台功能 •提供企业关键应用程序所需的即时大数据分析，以及其他针对企业用户需要的增强功能，例如：提供跨数据中心的 HBase 数据库虚拟大表功能，实现

Batch… Hadoop 3介绍 • Common • HDFS • YARN  YARN Timeline Service v.2  YARN Federation  劢态资源配置  容器资源的劢态调整  资源隔离  调度的增强  YARN的Web页面的增强 • MapReduce YARN Timeline Service v.2 • 扩展性 分布式读写 读写分离 允许YARN的集群扩展到一万个戒更多个节点 YARN的集群的集群对用户来说是一个整体的集群 劢态资源配置 • YARN-291 允许劢态的改变NM的资源配置 容器资源的劢态调整 • YARN-1197 允许运行时劢态的调整分配给容器的资源 资源隔离 • 磁盘资源的隔离－ YARN-2619 • 网络IO的隔离－ YARN-2140 • Docker Container－ YARN-3611

分布式数据处理 从属 NAMENODE 活动 NAMENODE 备用 NAMENODE 调度器 共享编辑日志 或者 JOURNAL NODE 从节点 容器 容器 容器 资源管理器 数据节点 数据节点 数据节点 节点管理器 节点管理器 节点管理器 图 1-1 MapReduce 的功能使得它成为最常用的批处理工具之一。该处 理器的

（task）来执行，它就会对这些 task 进行调度并为其分配合适的资源，决定将某 个 task 分配到集群中哪个位置（如果可能，通常是这个 task 所要处理的数据所在 的位置，这样可以最小化网络开销）。Hadoop 会监控每一个 task 确保其成功完 银河麒麟服务器操作系统 V4 hadoop 软件适配手册 4 成，并重启一些失败的 task。 1.6 YARN 介绍 YARN 是 Hadoop

最佳实践5：在企业间实施强大的管理和操作控制 采用Hadoop开展大数据集成的企业势必期望实现强大的 大型机级治理和操作管理，包括： • 操作平台界面，在操作数据集成应用程序的各方人员 （开发人员和其他利益干系人）监控运行时环境时，快 速回答他们的提问 • 工作负载管理，为共享服务环境中的某些项目分配资源 优先级，在繁忙系统上对工作负载进行排队 • 性能分析，深入了解资源使用情况，辨别瓶颈并确定何 时系统可能需要更多的资源

机器配置（CPU 核数、内存大小）  数据量及存储类型  作业量及作业类型（SQL 脚本上传）  调度系统及周期（Pipeline 配置上传）  已有数据应用（如血缘、监控、质量等）  上层应用系统（如帆软 BI、推荐系统等）  期望时间  成本要求 Alibaba Cloud MaxCompute 解决方案 26 6.3