Hadoop 迁移到阿里云 MaxCompute 技术方案 （V2.8.5） 编写人：MaxCompute 产品团队 日 期：2019.05 Alibaba Cloud MaxCompute 解决方案 2 目录 1 概要 .................................. .............. 6 2 阿里云大数据与开源生态对比 .................................................................................................................. 7 2.1 Hadoop 及开源生态与阿里云大数据生态对比 ................ ..................... 8 2.1.3 阿里云大数据组件架构 ......................................................................................................... 9 2.1.4 阿里云大数据与 Hadoop 生态的产品映射 ................

的开放源码和企业生态系 统还在不断成长。HDFS是该生态系统的主要组成部分。由于Hadoop 有着低廉的商业成本，因此很容易去探索 Hadoop 的特性，无论是 通过虚拟机，还是在现有环境建立混合生态系统。使用 Hadoop 解 决方案来审查当前的数据方法以及日渐增长的供应商阵营是一种非 Hadoop 大数据解决方案 10 常好的方法。借助这些服务和工具，Hadoop 生态系统将继续发展， 计算 图 1-10 1.5 小结 通过使用 Hadoop Stack，你利用 Hadoop 在企业中实现最优方 第 1 章 Hadoop 概述 17 案，并且与混合编程和高级工具相结合。如今大多数群集都在你的 本地，但服务提供商给予了更多选择，使得数据也可以存储在云端。 目前，SQL、关系型和非关系型数据存储均可使用 Hadoop 的功能。 当涉及数据时，Hadoop

309MiB/s-309MiB/s (324MB/s-324MB/s), io=18.1GiB (19.4GB), run=60001-60001msec 结果显示，磁盘的总体随机写速度为 309MiB/s。 （4）混合随机读写： [atguigu@hadoop102 ~]# sudo fio - filename=/home/atguigu/test.log -direct=1 -iodepth 1 -thread 2MB/s), 94.6MiB/s-94.6MiB/s (99.2MB/s-99.2MB/s), io=5674MiB (5950MB), run=60001-60001msec 结果显示，磁盘的总体混合随机读写，读速度为 220MiB/s，写速度 94.6MiB/s。 6.4 小文件归档 1）HDFS 存储小文件弊端 每个文件均按块存储，每个块的元数据存储在 NameNode 的内存中，因此

• 加入ebay前，在intel工作6年，大数据架构师，负责领导大数据的 开源贡献、基于Intel平台的开源顷目优化以及一些基于Spark的大 规模机器／深度学习顷目。 • 超过9年的互联网、云计算、大数据的工作经验。 概要 • Hadoop的历叱 • Hadoop 3介绍  Common  HDFS  YARN  MapReduce • Hadoop的未来发展方向 Hadoop的历叱 Hadoop 3介绍 • Common • HDFS  纠错码(Erasure Coding)  多个Standby Namenode  Datanode内部balance工具  云计算平台的支持 • YARN • MapReduce HDFS纠错码(Erasure Coding) • 一个简单的例子 1备份: 1,0 需要额外的2位 XOR编码: 1,0 需要额外的1位 Journal Node Journal Node Journal Node Write edit logs Read edit logs Block reports HDFS-6440 云计算－存储虚拟化 Hadoop 文件系统API SQL, 机器学习, 流处理, Batch… Hadoop 3介绍 • Common • HDFS • YARN  YARN Timeline

构建的丰富高效、安全可靠的功能 特性，兼容适配长城、联想、浪潮、华为、曙光等国内主流厂商的服务器整机产 品，以及达梦、金仓、神通等主要国产数据库和中创、金蝶、东方通等国产中间 件，满足虚拟化、云计算和大数据时代，服务器业务对操作系统在性能、安全性 及可扩展性等方面的需求，是一款具有高安全、高可用、高可靠、高性能的自主 可控服务器操作系统。 1.2 环境概述 服务器型号 长城信安擎天

*文中涉及的其它名称及商标属于各自所有者资产。 关注产业应用，产研相互促进 • 英特尔®中国于计算创新中心 • Intel Hadoop研发团队 • 行业应用 英特尔®中国云计算创新中心 数据中心: • 11 个机柜，其中网络机柜1个，服务 器机柜10个 • 电气容量：6 kW/机柜 • 配电：一路220V AC 市电 + 一路 240V DC 直流