通过Oracle 并行处理集成 Hadoop 数据FUSE 不可用),外部表方法可能不适用。Oracle 表函数提供了 从 Hadoop 中获取数据的替代方法。本文附带的示例展示了一种这样的方法。更深入地来 讲,我们用一个表函数来实现,这个表函数使用 DBMS_SCHEDULER 框架异步调用外部shell 脚本,然后由这个shell脚本提交一个Hadoop Map-Reduce 作业。该表函数与映射器 (mapper) 之 间使用 Oracle 高级队列特性进行通信。Hadoop mapper 将数据排入一个公共队列,而表函数则 从该队列中取出数据。由于该表函数能够并行运行,因此使用额外的逻辑来确保仅有一个服 务进程提交外部作业。 3 Oracle 白皮书 — 通过 Oracle 并行处理集成 Hadoop 数据 图 2. 利用表函数进行并行处理 由于表函数可以并行运行,Hadoop 流作业也可以不同程度地并行运行,并且后者不受 查询协调器的控制,这种情况下,队列能提供负载平衡。 4 Oracle 白皮书 — 通过 Oracle 并行处理集成 Hadoop 数据 利用表函数的示例 下面我们将以一个实际示例展示图 2 的架构。请注意,我们的示例仅展示了使用表函数访问 Hadoop 中存储的数据的一个模板实现。显然可能存在其他的甚至可能更好的实现。 下图是图 2 中原始示意图在技术上更准确、更具体的展示,解释了我们要在何处、如何使用0 码力 | 21 页 | 1.03 MB | 1 年前3
MATLAB与Spark/Hadoop相集成:实现大数据的处理和价值挖
用于处理数据规模超过单个机器或群集的内存承载能力的数据集合 ▪ 使用方式等同于MATLAB 数组(array) – 支持数据类型包括数值型、字符串、时间类型、表等… – 支持众多基本的数学函数、统计函数、索引函数等. – 支持机器学习算法包括分类、聚类和回归 7 tall array Single Machine Memory tall arrays ▪ 自动将数据分解成适合内存的小0 码力 | 17 页 | 1.64 MB | 1 年前3
共 2 条
- 1













