atform （1）2011 年成立的 Hortonworks 是雅虎与硅谷风投公司 Benchmark Capital 合资组建。 （2）公司成立之初就吸纳了大约 25 名至 30 名专门研究 Hadoop 的雅虎工程师，上述 工程师均在 2005 年开始协助雅虎开发 Hadoop，贡献了 Hadoop80%的代码。 （3）Hortonworks 的主打产品是 Hortonworks （5）share 目录：存放 Hadoop 的依赖 jar 包、文档、和官方案例 第 3 章 Hadoop 运行模式 1）Hadoop 官方网站：http://hadoop.apache.org/ 2）Hadoop 运行模式包括：本地模式、伪分布式模式以及完全分布式模式。 ➢ 本地模式：单机运行，只是用来演示一下官方案例。生产环境不用。 $pdir/$fname $user@$host:$pdir/$fname 命令 递归 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称 （3）案例实操 ➢ 前提：在 hadoop102、hadoop103、hadoop104 都已经创建好的/opt/module、 /opt/software 两个目录，并且已经把这两个目录修改为

這些年，我們一起追的 Hadoop Hadoop, the Apple of Our Eyes 蘇國鈞 monster.supreme@gmail.com 資訊工業策進會 數位教育研究所 資訊技術訓練中心 1 / 74 在 Java SE 與 Java EE 領域有十多 年的講師教學經驗，熟悉 SOAP/RESTful Services、Design Patterns、EJB/JPA directed acyclic graph (DAG) of nodes 能夠 讓 Query Plan 更簡單、更有效率 48 / 74 UC Berkeley AMPLab 2009 年的研究計畫，2010 年 Open Source，由 DataBricks 負責 架在 HDFS 之上的 General- Purpose Cluster Computing System In-Memory that none of this really matters for designing massive data systems. 53 / 74 Google 2010 年發表了 Dremel 研究論文，是一個具有 Interactive Analysis of Web- Scale Datasets 能力的系統 Apache Drill 是 Dremel 的 Open Source 版本，號稱可以

Hadoop环境内部 案例 1： 对所有传统数据源运行 InfoSphere Information Server 并行引擎 案例 2： 将处理任务推送到并行 数据库 案例 4： 将处理任务推送到 MapReduce 案例 5： 对 HDFS（不含 MapReduce）运行 InfoSphere Information Server 并行引擎 案例 3： 在环境间 并行移动和 Inc.。JEOPARDY!是 Jeopardy Productions, Inc. 的注册商标。保留所有权利。 本出版物中对IBM产品和服务的引用不代表它们可用于所有IBM运营的国家。客 户成功案例可从ibm.com/software/success/cssdb.nsf获得 本文中包含的信息仅供参考。虽然在检查本文信息时尽量保证其完整性和准确 性，但它是“按原样”提供的，没有任何隐含或者明确的担保。此外，本文包含的信 据。”2013年7月。http://intel.ly/UX1Umk 2 测量结果由IBM现场进行客户部署时生成。 3 International Technology Group。“企业数据集成战略业务案例：IBM InfoSphere Information Server与开源工具比较。”2013年2月。ibm. com/common/ssi/cgi-bin/ ssialias?infotype=

个单元中，只要有任意的 2 个单元存在（不管是数据 单元还是校验单元，只要总数= 2），就可以得到原始数据。每个单元的大小是 1024k=1024*1024=1048576。 5.1.2 纠删码案例实操 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件，都会执行此策略。 默认只开启对 RS-6-3-1024k 策略的支持，如要使用别的策略需要提前启用。 1）需求：将/input [atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -put /opt/module/hadoop- 3.1.3/NOTICE.txt /hdfsdata 5.2.3 HOT 存储策略案例 （1）最开始我们未设置存储策略的情况下，我们获取该目录的存储策略 [atguigu@hadoop102 hadoop-3.1.3]$ hdfs storagepolicies -getStoragePolicy （功能描述：等待安全模式状态） 5）案例 1：启动集群进入安全模式 （1）重新启动集群 [atguigu@hadoop102 subdir0]$ myhadoop.sh stop [atguigu@hadoop102 subdir0]$ myhadoop.sh start （2）集群启动后，立即来到集群上删除数据，提示集群处于安全模式 6）案例 2：磁盘修复 需求：数据块损坏，进入安全模式，如何处理

工作。这些系统都已经开发了用于对接 Hadoop 框架的连接组件。 我们将在本章介绍这些组件中的一部分，并且展示它们如何与 Hadoop 进行交互。 1.1 商业分析与大数据 商业分析通过统计和业务分析对数据进行研究。Hadoop 允许你 在其数据存储中进行业务分析。这些结果使得组织和公司能够做出 有利于自身的更好商业决策。 为加深理解，让我们勾勒一下大数据的概况。鉴于所涉及数据 的规模，它们会分布于大量存储和计算节点上，而这得益于使用 并不是你能够应付的任务。建议在尝试安装 Hadoop 之前，你需要 先熟悉此类环境。 1.1.2 Hadoop 分布式文件系统(HDFS) 在 Hadoop Common 安装完成后，是时候该研究 Hadoop Stack 的其余组件了。HDFS(Hadoop Distributed File System)提供一个分布 式文件系统，设计目标是能够运行在基础硬件组件之上。大多数企 业被

深圳分公司 地址：深圳市南山区高新南一道飞亚达大厦16层 邮编：518057 电话：(86.755) 8396-5000 传真：(86.755) 8601-3837 甲骨文软件研究开发中心（北京）有限公司 地址：北京市海淀区中关村软件园孵化器2号楼A座一层 邮编：100094 电话：(86.10) 8278-6000 传真：(86.10) 8282-6455