........................................................... 22 6.2.2 MaxCompute DDL 与 Hive UDTF 生成 .......................................................................... 22 6.2.3 MaxCompute 表创建 meta-carrier 的输出，调整 hive 与 odps 的映射 ................................................... 46 7.1.5 生成 ODPS DDL、Hive SQL 以及兼容性报告 ................................................................. 48 7 查看兼容性报告，调整直到兼容性报告符合预期 ............................................................. 49 7.1.7 运行 odps_ddl_runner.py 生成 odps 表和分区 .............................................................. 50 7.1.8 运行 hive_udtf_sql_runner

2021-02-09 10:43:16,854 INFO fs.TestDFSIO: 注意：nrFiles n 为生成 mapTask 的数量，生产环境一般可通过 hadoop103:8088 查看 CPU 核数，设置为（CPU 核数 - 1） ➢ Number of files：生成 mapTask 数量，一般是集群中（CPU 核数-1），我们测试虚 拟机就按照实际的物理内存-1 分配即可 processed：单个 map 处理的文件大小 ➢ Throughput mb/sec:单个 mapTak 的吞吐量 计算方式：处理的总文件大小/每一个 mapTask 写数据的时间累加 集群整体吞吐量：生成 mapTask 数量*单个 mapTak 的吞吐量 ➢ Average IO rate mb/sec::平均 mapTak 的吞吐量 计算方式：每个 mapTask 处理文件大小/每一个 deviation: 143.12 2021-02-09 11:34:15,848 INFO fs.TestDFSIO: Test exec time sec: 20.83 2）删除测试生成数据 [atguigu@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop- 3.1.3/share/hadoop/mapreduce/had

Hadoop Distributed File System，简称 HDFS，是一个分布式文件系统。 HDFS架构概述 1）NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、 文件权限），以及每个文件的块列表和块所在的DataNode等。 2）DataNode(dn)：在本地文件系统存储文件块数据，以及块数据的校验和。 3）Secondary Nam 私钥（A） 1）ssh-key-gen 生成密钥对 公钥（A） 授权key Authorized_keys 2）拷贝 3）ssh 访问B（数 据用私钥A加密） A服务器 B服务器 4）接收到数据后，去授 权key中查找A的公钥， 并解密数据。 5）采用A公钥加 密的数据返回给A 6 接收到数 据后，用A的 私钥解密数 据 （2）生成公钥和私钥 [atguigu@hadoop102 [atguigu@hadoop102 .ssh]$ pwd /home/atguigu/.ssh [atguigu@hadoop102 .ssh]$ ssh-keygen -t rsa 然后敲（三个回车），就会生成两个文件 id_rsa（私钥）、id_rsa.pub（公钥） （3）将公钥拷贝到要免密登录的目标机器上 [atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop102

—Intel Corporation，“使用 Apache Hadoop 抽取、转换和加载大数据”1 有效的大数据集成解决方案可实现简便性、高速度、可扩展 性、功能和治理，从Hadoop沼泽中生成可使用的数据。没有 有效的集成，势必形成“垃圾进垃圾出”的情况－这不是出色 的受信任数据使用方法，更谈不上准确完整的洞察或转型 成果。 IBM软件 3 随着Hadoop市场的不断发展，顶级技术分析师一致认为， HDFS平台十分适合处理大型顺序操作，其中的数据读取“切 片”通常为64MB或128MB。通常情况下，除非应用程序加载 数据来管理相关任务，否则不会对HDFS文件进行分区或排 序。即使应用程序可以对生成的数据切片进行分区和排序， 也无法保证数据切片在HDFS系统中的位置正确。这意味着， 无法在该环境中有效管理数据搭配工作。数据搭配（Data collocation）至关重要，因为它可确保将联接（join）键相同的 结构迁 移至各映射节点，以便执行某些验证和增强操作。因此，会将 整个引用文件迁移至各映射节点，这使其更适合较小的引用 数据结构。如果进行手动编码，必须考虑这些处理流，因此 最好采用一些工具来生成代码，从而将数据集成逻辑下推到 MapReduce（也称为ETL pushdown）。 8 大数据集成与 Hadoop 在Hadoop中使用ETL pushdown处理方法（无论采用哪

1. 转换(Transformations) (如：map, filter, groupBy, join 等)，Transformations 操作是 Lazy 的，也就是说从一个 RDD 转换生成另一个 RDD 的操作不是马上执行，Spark 在遇 到 Transformations 操作时只会记录需要这样的操作，并不会去执行，需要等到有 Actions 操作的时候才会真正启动计算过程进行计算。 logging the updates。用户可以控制采用哪种方式来实现容错，默认是 logging the updates 方式，通过记录跟踪所有生成 RDD 的转换（transformations）也就是记录每 个 RDD 的 lineage（血统）来重新计算生成丢失的分区数据。 2 Spark 与 Hadoop 对比 2.1 快速 Spark 的中间数据放到内存中，对于迭代运算效率更高。Spark logging the updates。用户可以控制采用哪种方式来实现容错，默认是 logging the updates 方式，通过记录跟踪所有生成 RDD 的转换（transformations）也就是记录每 个 RDD 的 lineage（血统）来重新计算生成丢失的分区数据。