外部 Hadoop 数据的访问方法 要从 Oracle 数据库里访问某个文件系统中的外部文件或外部数据，最简单的方法莫过于使用 外部表。请参阅这里了解外部表。 外部表以表的形式展示存储在文件系统中的数据，并且可在 SQL 查询中完全透明地使用。 因此，可以考虑用外部表从 Oracle 数据库中直接访问 HDFS（Hadoop 数据。遗憾的是，常规的操作系统无法调用外部表驱动直接访问 HDFS 文件。FUSE（File System in Userspace）项目针对这种情况提供了解决方法。有多种 FUSE 驱动程序支持用户挂 载 HDFS 存储，并将其作为常规文件系统处理。通过使用一个此类驱动程序，并在数据库实 例上挂载 HDFS（如果是 RAC 数据库，则在其所有实例上挂载 HDFS），即可使用外部表基 础架构轻松访问 HDFS 用数据库内置的 MapReduce 通过外部表进行访问 在图 1 中，我们利用 Oracle Database 11g 实现本文所述的数据库内的 mapreduce。通常情况 下，Oracle Database 11g 中的并行执行框架足以满足针对外部表大多数的并行操作。 在有些情况下（例如，如果 FUSE 不可用），外部表方法可能不适用。Oracle 表函数提供了 从 Hadoop 中

MaxCompute 解决方案 13 Defined Type、GROUPING SET(CUBE/rollup/GROUPING SET)、脚本运行模式、参 数化视图 * 支持外表(外部数据源+StorageHandler 支持非结构化 数据） MapReduce MaxCompute MR 支持 MapReduce 编程接口(提供优化增强的 MaxCompute MapReduce spark-shell/spark-sql 的交互式），提供原生的 Spark WebUI 供用户查看； * 通过访问 OSS、OTS、database 等外部数据源，实现 更复杂的 ETL 处理，支持对 OSS 非结构化进行处理； * 使用 Spark 面向 MaxCompute 内外部数据开展机器 学习，扩展应用场景； 机器学习 PAI MaxCompute 内建支持的上百种机器学习算法，目前 MaxCompute 2 UDF、MR 迁移 支持相同逻辑的 UDF、MR 输入、输出参数的映射转换，但 UDF 和 MR 内部逻辑需要客户自己 维护。【注意】：不支持在 UDF、MR 中直接访问文件系统、网络访问、外部数据源连接。 6.5.3 Spark 作业迁移 1. 【作业无需访问 MaxCompute 表和 OSS】用户 jar 包可直接运行，参照《MaxCompute Spark 开发指南》第二节准备开发环境和修改配置。注意，对于

数据平台，以及 Informatica，使得 企业能够优化 ETL(抽取、转换、加载)工作流程，以便在 Hadoop 中长期存储和处理大规模数据。 Hadoop 与企业工具的集成使得组织能够将内部和外部的所有数 据用于获得完整的分析能力，并以此推动现代数据驱动业务的成功。 另一个例子，Hadoop Applier 提供了 MySQL 和 Hadoop 分布式 文件系统之间的实时连接，可以用于大数据分析——例如情绪分析、 中的数据。Oracle SQL Connector for HDFS 将数据放入数据 库，数据移动是由 Oracle 数据库中的 SQL 进行数据选择所发起。 用户可将数据加载到数据库，或者通过外部表使用 Oracle SQL 在 Hadoop 中就地查询数据。Oracle SQL Connector for HDFS 能够查询 或者加载数据到文本文件或者基于文本文件的 Hive 表中。分区也可 SQL 查询 在 HDFS 上就地访问和分析数据 查询和连接 HDFS 数据库中的常驻 数据 在需要时使用 SQL 加载到数据库中 自动负载均衡，从而最大限度地提高 性能 外部表 使用外部表机制 并行访问或加载 到数据库中 ORACLE 客户端 图 1-8 日志文件 更多… 文本 压缩文件 序列文件 并行负载，针对 Hadoop 做优化 自动负载均衡

用于处理数据规模超过单个机器或群集的内存承载能力的数据集合 ▪ 使用方式等同于MATLAB 数组(array) – 支持数据类型包括数值型、字符串、时间类型、表等… – 支持众多基本的数学函数、统计函数、索引函数等. – 支持机器学习算法包括分类、聚类和回归 7 tall array Single Machine Memory tall arrays ▪ 自动将数据分解成适合内存的小

分布式处理。但是，客户需要的是海量可扩展数据集成解决方 案，从而实现Hadoop可以提供的各种潜在优势。 图5. 可扩展大数据集成必须适用于任何环境。 设计一次作业 随时随地运行和扩展该作业 Hadoop环境外部 Hadoop环境内部 案例 1： 对所有传统数据源运行 InfoSphere Information Server 并行引擎 案例 2： 将处理任务推送到并行 数据库 案例 4： 将处理任务推送到