种名为 HiveQL 的类 SQL 语言进行数据查询。 Hive Thrift 服务器 驱动程序 解析器 执行 Hive Web 接口 计划器 优化器 MS 客户端 元存储 图 1-3 1.4 与其他系统集成 如果在科技领域工作，你一定清楚地知道集成是任何成功实现 中必不可少的部分。一般来说，通过一些发现流程或计划会议，组 织可以更高效地确 Hadoop 的主要贡献者之一。这便开启了在多种数据库资源上使 用 Hadoop 的大门。 应用* 源 *请向供应商确认。资源可能会有所不同。 HADOOP 数据访问 YARN 数据管理 开发和数据工具* 数据系统* 治理与集成 安全操作 操作工具* 基础设施* 图 1-4 HDP 被视为一个生态系统，因为它创造了一个数据社区，将 第 1 章 图 1-6 这并不意味着 Hadoop 或者其他数据平台的解决方案无法在非 Windows 环境下运行。你应该细心检查现有的或者计划使用的环境 以决定最优解决方案。数据平台或者数据管理平台正如其名。它是 一个集中式计算系统，用于收集、集成和管理大型结构化和非结构 化数据集。 从理论上讲，无论 HortonWorks，还是 Cloudera，均是可供选 择的平台，包括用于与现有数据环境和

可在RDBMS、Hadoop和ETL网格中执行的适当流程。 2. 避免手动编码：手动编码费用昂贵，而且无法有效适应快速 频繁的调整。另外，手动编码不支持自动收集对数据治理至关 重要的设计和操作元数据。 3. 不要为RDBMS、Hadoop和ETL网格创建单独的集成开 发环境：这种做法没有任何实际意义，而且支持费用非常昂 贵。您应该能够构建一次作业，然后即可在三个环境中的任意 一个环境内运行它。 数据转换相对简单，因为无法使用ETL工具将较为复杂 的逻辑推送到RDBMS。 • 数据质量受到影响。 • 关键任务（如数据剖析）无法实现自动化-在很多情况下 根本无法执行。 • 未实施有效的数据治理（数据管理、数据沿袭、影响分 析），因而响应法规要求变得更加困难且非常昂贵，对 关键业务数据的信心更无从谈起。 相反，采用海量可扩展数据集成平台来优化大数据集成工作 负载的企业，则可最大限度降低潜在的负面影响，更有效地通 均可实现这些工作 • 支持各种数据集成范式，包括批量处理、联盟、更改数 据捕获、为数据集成任务启用SOA、与事务完整性实时 集成和/或企业用户自助数据集成 另外，还可以建立世界级的数据治理工作，包括数据管理、数 据沿袭和跨工具影响分析。 最佳实践3：可在需要运行海量可扩展数据集成的任何位置提 供该功能 Hadoop能以极低的成本对数据集成工作负载实施大规模 分布式处理。但是，客户需要的是海量可扩展数据集成解决方

2.2 MaxCompute 特性介绍 MaxCompute 是阿里云提供高效能、低成本，完全托管的“EB 级”大数据计算服务，利用 MaxCompute 可以构建敏捷、高效的企业数据管理平台。 Alibaba Cloud MaxCompute 解决方案 11 2.2.1 MaxComptue 的逻辑架构 2.2.2 MaxCompute 产品特性

server threads listen to requests from all nodes. NameNode 有一个工作线程池，用来处理不同 DataNode 的并发心跳以及客户端并发 的元数据操作。 对于大集群或者有大量客户端的集群来说，通常需要增大该参数。默认值是 10。 dfs.namenode.handler.count -safemode leave Safe mode is OFF （5）观察 http://hadoop102:9870/dfshealth.html#tab-overview （6）将元数据删除 尚硅谷大数据技术之 Hadoop（生产调优手册） ——————————————————————————————————————— 更多 run=60001-60001msec 结果显示，磁盘的总体混合随机读写，读速度为 220MiB/s，写速度 94.6MiB/s。 6.4 小文件归档 1）HDFS 存储小文件弊端 每个文件均按块存储，每个块的元数据存储在 NameNode 的内存中，因此 HDFS 存储 小文件会非常低效。因为大量的小文件会耗尽 NameNode 中的大部分内存。但注意，存储小 文件所需要的磁盘容量和数据块的大小无关。例如，一个

–python 人工智能资料下载，可百度访问：尚硅谷官网 1.4 Hadoop 优势（4 高） Hadoop优势（4高） 1）高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元 素或存储出现故障，也不会导致数据的丢失。 2）高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。 Hadoop102 Hadoop103 Hadoop104 Hadoop105 Hadoop106 HDFS架构概述 1）NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、 文件权限），以及每个文件的块列表和块所在的DataNode等。 2）DataNode(dn)：在本地文件系统存储文件块数据，以及块数据的校验和。 3）Secondary NameNode(2nn)：每隔一段时间对NameNode元数据备份。 1.5.2 YARN 架构概述

dir /usr/local/hadoop-2.7.7/hdfs/name namenode 上存储 hdfs 名字空间元数据 dfs.data.dir /usr/local/hadoop-2

Metadata Metadata Servers 数据中心 网络 Storage Network 应用接口 • REST • PUT/GET/DELETE 元数据服务 • Encode/Decode • Distribution • Location 存储节点 • Houses data • Maintains data 对象存储架构