片”通常为64MB或128MB。通常情况下，除非应用程序加载 数据来管理相关任务，否则不会对HDFS文件进行分区或排 序。即使应用程序可以对生成的数据切片进行分区和排序， 也无法保证数据切片在HDFS系统中的位置正确。这意味着， 无法在该环境中有效管理数据搭配工作。数据搭配（Data collocation）至关重要，因为它可确保将联接（join）键相同的 数据整合到相同的节点，因此该流程不仅性能高，而且很准确。 系统。POSIX文件系统允许ETL作业直接访问Hadoop中存 储的数据，而无需使用HDFS接口。该环境支持将ETL工作 负载迁移到运行Hadoop的硬件环境，从而帮助将处理工 作移到数据存储位置，并充分利用Hadoop和ETL处理 硬件。 资源管理系统（如IBM Platform™ Symphony）还可用 于管理Hadoop环境内外的数据集成工作负载。 这意味着，虽然InfoSphere 结了5个基础大数据集成最佳实践。这5个原则体现了成功实 施大数据集成措施的最佳方法： 1. 避免出于任何目的在任何位置进行手动编码 2. 整个企业采用一个数据集成和治理平台 3. 可在需要运行海量可扩展数据集成的任何位置提供该功能 4. 在企业间实施世界级数据治理 5. 在企业间实施强大的管理和操作控制 最佳实践1：避免出于任何目的在任何位置进行手动编码 在过去的二十年中，大型企业认识到使用商业数据集成工具 替换手动

分解为多个独立的 map 和 reduce 任务 （task）来执行，它就会对这些 task 进行调度并为其分配合适的资源，决定将某 个 task 分配到集群中哪个位置（如果可能，通常是这个 task 所要处理的数据所在 的位置，这样可以最小化网络开销）。Hadoop 会监控每一个 task 确保其成功完 银河麒麟服务器操作系统 V4 hadoop 软件适配手册 4 成，并重启一些失败的 2.7.7/hdfs/data 银河麒麟服务器操作系统 V4 hadoop 软件适配手册 6 datanode 上数据块的物理存储位置 dfs.replication 1

配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认 配置值时，才需要修改自定义配置文件，更改相应属性值。 （1）默认配置文件： 要获取的默认文件 文件存放在 Hadoop 的 jar 包中的位置 [core-default.xml] hadoop-common-3.1.3.jar/core-default.xml [hdfs-default.xml] hadoop-hdfs-3 [atguigu@hadoop102 ~]$ hadoop fs -put /opt/software/jdk-8u212- linux-x64.tar.gz / （2）上传文件后查看文件存放在什么位置 ➢ 查看 HDFS 文件存储路径 [atguigu@hadoop102 subdir0]$ pwd /opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1436128598-

HDFS and RDBMS Hadoop Ecosystem 30 / 74 HCatalog Hadoop 裡頭的 Naming Service 讓各種不同技術，不需要知道資料真實存放的位置，也能夠很方便 地存取資料 31 / 74 Yahoo! 做出了 Pig，把 PigLatin 翻成一堆 MapReduce Job Facebook 做出了 Hive，把 HiveQL 翻成一堆

源管理器和节点管理器。让我们来勾勒 YARN 的框架。首先考虑一 个两层的群集，其中资源管理器在顶层(每个群集中只有一个)。资 Hadoop 大数据解决方案 6 源管理器是主节点。它了解从节点所在的位置(较底层)以及它们拥 有多少资源。它运行了多种服务，其中最重要的是用于决定如何分 配资源的资源调度器。节点管理器(每个群集中有多个)是此基础设 施的从节点。当开始运行时，它向资源管理器声明自己。此类节点