 尚硅谷大数据技术之Hadoop(入门)ttl=128 time=7.72 ms (2)安装 epel-release 注:Extra Packages for Enterprise Linux 是为“红帽系”的操作系统提供额外的软件包, 适用于 RHEL、CentOS 和 Scientific Linux。相当于是一个软件仓库,大多数 rpm 包在官方 repository 中是找不到的) [root@hadoop100 -y epel-release (3)注意:如果 Linux 安装的是最小系统版,还需要安装如下工具;如果安装的是 Linux 桌面标准版,不需要执行如下操作 ➢ net-tool:工具包集合,包含 ifconfig 等命令 [root@hadoop100 ~]# yum install -y net-tools ➢ vim:编辑器 [root@hadoop100 ~]# [root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps ➢ rpm -qa:查询所安装的所有 rpm 软件包 ➢ grep -i:忽略大小写 ➢ xargs -n1:表示每次只传递一个参数 ➢ rpm -e –nodeps:强制卸载软件 7)重启虚拟机 [root@hadoop1000 码力 | 35 页 | 1.70 MB | 1 年前3 尚硅谷大数据技术之Hadoop(入门)ttl=128 time=7.72 ms (2)安装 epel-release 注:Extra Packages for Enterprise Linux 是为“红帽系”的操作系统提供额外的软件包, 适用于 RHEL、CentOS 和 Scientific Linux。相当于是一个软件仓库,大多数 rpm 包在官方 repository 中是找不到的) [root@hadoop100 -y epel-release (3)注意:如果 Linux 安装的是最小系统版,还需要安装如下工具;如果安装的是 Linux 桌面标准版,不需要执行如下操作 ➢ net-tool:工具包集合,包含 ifconfig 等命令 [root@hadoop100 ~]# yum install -y net-tools ➢ vim:编辑器 [root@hadoop100 ~]# [root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps ➢ rpm -qa:查询所安装的所有 rpm 软件包 ➢ grep -i:忽略大小写 ➢ xargs -n1:表示每次只传递一个参数 ➢ rpm -e –nodeps:强制卸载软件 7)重启虚拟机 [root@hadoop1000 码力 | 35 页 | 1.70 MB | 1 年前3
 Hadoop 迁移到阿里云MaxCompute 技术方案.................................................................................. 44 7.1.2 解压工具包,并配置 MaxCompute 连接信息 ................................................................. 45 7.1.3 运行 3.1 迁移评估信息收集 6.3.1.1 使用 MMA Agent 自动采集 Hive Metadata 1. 工具运行环境要求:JDK8.0、Python3 以上版本。 2. 解压工具包:odps-data-carrier.zip,工具目录结构如下: Alibaba Cloud MaxCompute 解决方案 23 其中,bin 目录下是迁移工具所需的可执行文件,libs https://help.aliyun.com/document_detail/57195.html?spm=a2c4g.11174283.6.579.3 3513a79ZnTEsX 6.4.1.2 下载和编译工具包 ⚫ MMA 官方文档地址: https://help.aliyun.com/document_detail/121023.htm?spm=a2o8d.corp_prod_req_list.00 码力 | 59 页 | 4.33 MB | 1 年前3 Hadoop 迁移到阿里云MaxCompute 技术方案.................................................................................. 44 7.1.2 解压工具包,并配置 MaxCompute 连接信息 ................................................................. 45 7.1.3 运行 3.1 迁移评估信息收集 6.3.1.1 使用 MMA Agent 自动采集 Hive Metadata 1. 工具运行环境要求:JDK8.0、Python3 以上版本。 2. 解压工具包:odps-data-carrier.zip,工具目录结构如下: Alibaba Cloud MaxCompute 解决方案 23 其中,bin 目录下是迁移工具所需的可执行文件,libs https://help.aliyun.com/document_detail/57195.html?spm=a2c4g.11174283.6.579.3 3513a79ZnTEsX 6.4.1.2 下载和编译工具包 ⚫ MMA 官方文档地址: https://help.aliyun.com/document_detail/121023.htm?spm=a2o8d.corp_prod_req_list.00 码力 | 59 页 | 4.33 MB | 1 年前3
 Hadoop开发指南安装完成后,请重新登录客⼾机或执⾏source ~/.bashrc 1.2.2 ⾃⾏安装 ⾃⾏安装 安装jdk,从集群master1节点上拷⻉安装包到UHost: scp -r root@master_ip:/usr/java /usr/ 安装hadoop客⼾端,从集群master1节点上拷⻉安装包到UHost: 注解: hadoop-为hadoop具体对应的版本,可查看master的/home/hadoop/bin的软连接指向的版本,下同 versions/hadoop- Hadoop开发指南安装完成后,请重新登录客⼾机或执⾏source ~/.bashrc 1.2.2 ⾃⾏安装 ⾃⾏安装 安装jdk,从集群master1节点上拷⻉安装包到UHost: scp -r root@master_ip:/usr/java /usr/ 安装hadoop客⼾端,从集群master1节点上拷⻉安装包到UHost: 注解: hadoop-为hadoop具体对应的版本,可查看master的/home/hadoop/bin的软连接指向的版本,下同 versions/hadoop-- /root/ #hive scp -r root@master_ip:/home/hadoop/hive /root/ #修改hive-site.xml jar包相对路径 sed -i 's/home\/hadoop/root/g' /root/hive/conf/hive-site.xml sed -i 's/home\/hadoop/root/g' / 0 码力 | 12 页 | 135.94 KB | 1 年前3
 這些年,我們一起追的Hadoop前情提要 1. 進擊的 Hadoop 2. Hadoop 家族 3. Hadoop 戰隊 4. Hadoop 富二代 5. Hadoop 小圈圈 6. 喝咖啡騎大象建議 因為這個題目其實包山包海,所以我們今天只把焦點放在 Hadoop 身上。 3 / 74 前情提要 4 / 74 由創建 Lucene 與 Nutch 的 Doug Cutting 主導開發 Lucene 是個全文檢索的程式 NoSQL Salesforce 主導 其實就是在 HBase 上頭提供一個 JDBC Wrapper,把 Client 端提 供的 SQL Query,翻譯成一連串的 HBase Scan,再把結果包裝成 JDBC ResultSet 傳回 號稱小的 Query 只要幾個 ms,幾個 Million 的資料筆數也只要幾秒 就可以 65 / 74 使用熟悉的 JDBC API 存取 HBase0 码力 | 74 页 | 45.76 MB | 1 年前3 這些年,我們一起追的Hadoop前情提要 1. 進擊的 Hadoop 2. Hadoop 家族 3. Hadoop 戰隊 4. Hadoop 富二代 5. Hadoop 小圈圈 6. 喝咖啡騎大象建議 因為這個題目其實包山包海,所以我們今天只把焦點放在 Hadoop 身上。 3 / 74 前情提要 4 / 74 由創建 Lucene 與 Nutch 的 Doug Cutting 主導開發 Lucene 是個全文檢索的程式 NoSQL Salesforce 主導 其實就是在 HBase 上頭提供一個 JDBC Wrapper,把 Client 端提 供的 SQL Query,翻譯成一連串的 HBase Scan,再把結果包裝成 JDBC ResultSet 傳回 號稱小的 Query 只要幾個 ms,幾個 Million 的資料筆數也只要幾秒 就可以 65 / 74 使用熟悉的 JDBC API 存取 HBase0 码力 | 74 页 | 45.76 MB | 1 年前3
 Hadoop 概述本进程,例如对底层操作系统及其文件系统的抽象。Hadoop Common 还包含必要的 Java 归档(Java Archive,JAR)文件和用于启 动 Hadoop 的脚本。Hadoop Common 包甚至提供了源代码和文档, 以及贡献者的相关内容。如果没有 Hadoop Common,你无法运行 Hadoop。 与任何软件栈一样,Apache 对于配置 Hadoop Common 有一定0 码力 | 17 页 | 583.90 KB | 1 年前3 Hadoop 概述本进程,例如对底层操作系统及其文件系统的抽象。Hadoop Common 还包含必要的 Java 归档(Java Archive,JAR)文件和用于启 动 Hadoop 的脚本。Hadoop Common 包甚至提供了源代码和文档, 以及贡献者的相关内容。如果没有 Hadoop Common,你无法运行 Hadoop。 与任何软件栈一样,Apache 对于配置 Hadoop Common 有一定0 码力 | 17 页 | 583.90 KB | 1 年前3
共 5 条
- 1













