通过Oracle 并行处理集成 Hadoop 数据DBMS_SCHEDULER 框架异步调用外部shell 脚本,然后由这个shell脚本提交一个Hadoop Map-Reduce 作业。该表函数与映射器 (mapper) 之 间使用 Oracle 高级队列特性进行通信。Hadoop mapper 将数据排入一个公共队列,而表函数则 从该队列中取出数据。由于该表函数能够并行运行,因此使用额外的逻辑来确保仅有一个服 务进程提交外部作业。 3 中存储的数据的一个模板实现。显然可能存在其他的甚至可能更好的实现。 下图是图 2 中原始示意图在技术上更准确、更具体的展示,解释了我们要在何处、如何使用 后文给出的部分实际代码: 图 3. 启动 Mapper 作业并检索数据 第 1 步是确定由谁作为查询协调器。对此我们采用一种将具有相同键值的记录写入表的简单 机制。首个插入胜出,作为此进程的查询协调器 (QC)。请注意,QC 表函数调用同时也承担 bash 脚本。这个 bash 脚本就是图 3 中的启动程 序 (launcher),它在 Hadoop 集群上启动 mapper 进程(第 3 步)。 5 Oracle 白皮书 — 通过 Oracle 并行处理集成 Hadoop 数据 mapper 进程处理数据,并在第 5 步写入一个队列。在本文的示例中,我们选择了一个在集群 范围内可用的队列。现在,我们0 码力 | 21 页 | 1.03 MB | 1 年前3
尚硅谷大数据技术之Hadoop(入门)举例说明 (1)修改克隆虚拟机的静态 IP [root@hadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg- ens33 改成 DEVICE=ens33 TYPE=Ethernet 尚硅谷大数据技术之 Hadoop(入门) —————————————————————————————0 码力 | 35 页 | 1.70 MB | 1 年前3
共 2 条
- 1













