升级  Classpath隔离  Shell脚本的重构 • HDFS • YARN • MapReduce Classpath隔离 • HADOOP-11656, HDFS-6200 问题：依赖性地狱(Dependency Hell)，版本冲突 解决方案：客户端(client-side)和服务器端(server-side)的隔离 Shell脚本的重构 - HADOOP-9902 • • 脚本重构，提升可维护性和易用性 • 修正一些长期存在的bugs • 加入一些改进 • 加入一些新功能 • 带来一些不兼容性 • Shell脚本现在更易于调试: --debug Hadoop 3介绍 • Common • HDFS  纠错码(Erasure Coding)  多个Standby Namenode  Datanode内部balance工具  云计算平台的支持 •

从 Hadoop 中获取数据的替代方法。本文附带的示例展示了一种这样的方法。更深入地来 讲，我们用一个表函数来实现，这个表函数使用 DBMS_SCHEDULER 框架异步调用外部shell 脚本，然后由这个shell脚本提交一个Hadoop Map-Reduce 作业。该表函数与映射器 (mapper) 之 间使用 Oracle 高级队列特性进行通信。Hadoop mapper 将数据排入一个公共队列，而表函数则 启动之后，作业监控器进程将监视启动程序脚本。一旦mapper 完成 Hadoop 集群中数据的处理之后，bash 脚本即完成，如图 4 所示。 作业监控器将监视数据库调度程序队列，并在 shell 脚本完成时发出通知（第 7 步）。作业监 控器检查数据队列中的剩余数据元素（第 8 步）。只要队列中存在数据，表函数调用就会继 续处理数据（第 6 步）。 6

文件，在%wheel 这行下面添加一行，如下所示： ## Allow root to run any commands anywhere root ALL=(ALL) ALL ## Allows people in group wheel to run all commands %wheel ALL=(ALL) ALL

作业。 * 支持原生多版本 Spark 作业：Spark1.x/Spark2.x 作业 都可运行； * 开源系统的使用体验：Spark-submit 提交方式（暂不 支持 spark-shell/spark-sql 的交互式），提供原生的 Spark WebUI 供用户查看； * 通过访问 OSS、OTS、database 等外部数据源，实现 更复杂的 ETL 处理，支持对 OSS

Hot：所有副本保存在磁盘中，这也是默认的存储策略。 一个副本保存在磁盘上，其余副本保存在归档存储上。 所有副本都保存在归档存储上。 存储类型和存储策略 5.2.1 异构存储 Shell 操作 （1）查看当前有哪些存储策略可以用 [atguigu@hadoop102 hadoop-3.1.3]$ hdfs storagepolicies -