................................................. 50 7.1.8 运行 hive_udtf_sql_runner.py，将 hive 的数据同步到 odps ........................................ 51 7.2 进阶功能..................................... 统一的命令行工具和 JAVA/PYTHON SDK 开发&诊断 Dataworks/Studio/Logview 配套的数据同步、作业开发、工作流编排调度、作业运维 及诊断工具。开源社区常见的 Sqoop、Kettle、Ozzie 等 实现数据同步和调度。 整体 不是孤立的功能，完整的企 业服务 不需要多组件集成、调优、定制，开箱即用。 3 MaxCompute 迁移场景分析 于规模较大的用户，建 议您选择部分试点业务先行进行迁移验证，待迁移验证通过后，再扩展更大的业务范围以降低迁 移风险、提高迁移质量。 5.3 阶段 3：并行测试，割接 迁移完成后，建议基于增量数据与当前系统进行并行测试，待并行一段时间后，对并行测试 结果进行对比验证，符合业务预期即可将业务全部切换至 MaxCompute 平台。 对于规模较小的系统迁移，一般迁移上线周期不超过 2 周。但更多的情况下，我们建议您

物化，控制中间结果的存储、分区等。可以说编程模型比 Hadoop 更灵活。 3. 由于 RDD 的特性，Spark 不适用那种异步细粒度更新状态的应用，例如 web 服务的存 储或者是增量的 web 爬虫和索引。就是对于那种增量修改的应用模型不适合。 2.3 容错性 在RDD计算，通过checkpoint进行容错，做checkpoint有两种方式，一个是checkpoint data，一个是

统计，不必开 发专门的 MapReduce 应用，十分适合数据仓库的统计分析。 9）ZooKeeper：它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、 名字服务、分布式同步、组服务等。 1.7 推荐系统框架图 推荐系统项目框架 数据库（结构化数据） 文件日志（半结构化数据） 视频、ppt等（非结构化数据） Sqoop数据传递 Flume日志收集 Kafka消息队列 [atguigu@hadoop103 opt]$ scp -r atguigu@hadoop102:/opt/module/* atguigu@hadoop104:/opt/module 2）rsync 远程同步工具 rsync 主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。 rsync 和 scp 区别：用 rsync 做文件的复制要比 scp 的速度快，rsync 只对差异文件做更 hadoop103 中/opt/module/hadoop-3.1.3/wcinput [atguigu@hadoop103 hadoop-3.1.3]$ rm -rf wcinput/ （b）同步 hadoop102 中的/opt/module/hadoop-3.1.3 到 hadoop103 [atguigu@hadoop102 module]$ rsync -av hadoop-3

表函数调用同时也承担 着处理角色。 在第 2 步中，该表函数调用 (QC) 使用 dbms_scheduler（图 3 中的作业控制器）启动一个异步 作业，该作业接着在 Hadoop 集群上运行同步 bash 脚本。这个 bash 脚本就是图 3 中的启动程 序 (launcher)，它在 Hadoop 集群上启动 mapper 进程（第 3 步）。 5 Oracle 白皮书 — 通过 END; / Bash 脚本 下面这个简短的脚本是图 3 的第 3 步和第 4 步所示的数据库外控制器。只要 Hadoop mapper 保持运行，系统就会持续执行这个同步步骤。 #!/bin/bash cd –HADOOP_HOME- A="/net/scratch/java/jdk1.6.0_16/bin/java -classpath /home/