 Hadoop 迁移到阿里云MaxCompute 技术方案SQL 语法转换,参见 6.5.1.2。 3. 转换后的 SQL 会根据 workflow.xml 中的配置,自动生成项目空间下开发环境的工作流节 点。 4. 客户可以运行测试实例,验证后发布到生产环境。 7 经典用例 7.1 基本功能 7.1.1 准备工具和环境 预先下载好工具包:odps-data-carrier.zip Alibaba Cloud MaxCompute MaxCompute 解决方案 58 2. 配置完成并上传打包文件后,Dataworks 服务会自动转换并生成 Dataworks 的工作流和节 点任务。【注意】:仅支持发布到开发环境,需要客户自己测试验证后,发布到生产环境。 8.1.6.2 创建 Dataworks 标准工作流 1. 参见 6.4.2,如果您使用其他调度引擎,需要在 6.4.2.2 中按照 Dataworks 的标准模板配置 MaxCompute 解决方案 59 2. 配置完成并上传打包文件后,Dataworks 服务会自动转换并生成 Dataworks 的工作流和节 点任务。【注意】:仅支持发布到开发环境,需要客户自己测试验证后,发布到生产环境。 8.1.6.3 Dataworks 服务支持 Oozie+Dataworks 混乱模式的工作流迁移 即:支持 7.5.1.1 和 7.5.1.2 两种混合配置模式,Dataworks0 码力 | 59 页 | 4.33 MB | 1 年前3 Hadoop 迁移到阿里云MaxCompute 技术方案SQL 语法转换,参见 6.5.1.2。 3. 转换后的 SQL 会根据 workflow.xml 中的配置,自动生成项目空间下开发环境的工作流节 点。 4. 客户可以运行测试实例,验证后发布到生产环境。 7 经典用例 7.1 基本功能 7.1.1 准备工具和环境 预先下载好工具包:odps-data-carrier.zip Alibaba Cloud MaxCompute MaxCompute 解决方案 58 2. 配置完成并上传打包文件后,Dataworks 服务会自动转换并生成 Dataworks 的工作流和节 点任务。【注意】:仅支持发布到开发环境,需要客户自己测试验证后,发布到生产环境。 8.1.6.2 创建 Dataworks 标准工作流 1. 参见 6.4.2,如果您使用其他调度引擎,需要在 6.4.2.2 中按照 Dataworks 的标准模板配置 MaxCompute 解决方案 59 2. 配置完成并上传打包文件后,Dataworks 服务会自动转换并生成 Dataworks 的工作流和节 点任务。【注意】:仅支持发布到开发环境,需要客户自己测试验证后,发布到生产环境。 8.1.6.3 Dataworks 服务支持 Oozie+Dataworks 混乱模式的工作流迁移 即:支持 7.5.1.1 和 7.5.1.2 两种混合配置模式,Dataworks0 码力 | 59 页 | 4.33 MB | 1 年前3
 大数据时代的Intel之Hadoop英特尔可以随时在丌发布声明的情冴下修改规格和产品说明。设计者丌应信赖仸何英特产品所丌具有的特性,设计者亦丌应信赖仸何标有保留权利摂戒未定义摂说明戒特性描述。英特尔保 留今后对其定义的权利,对亍因今后对其迚行修改所产生的冲突戒丌兼容性概丌负责。此处提供的信息可随时改变而毋需通知。请勿使用本信息来对某个设计做出最终决定。 文中所述产品可能包含设计缺陷戒错误,已在勘误表中注明,这可能会使产品偏离已经发布的技术规范。英特尔提供最新的勘误表备索。0 码力 | 36 页 | 2.50 MB | 1 年前3 大数据时代的Intel之Hadoop英特尔可以随时在丌发布声明的情冴下修改规格和产品说明。设计者丌应信赖仸何英特产品所丌具有的特性,设计者亦丌应信赖仸何标有保留权利摂戒未定义摂说明戒特性描述。英特尔保 留今后对其定义的权利,对亍因今后对其迚行修改所产生的冲突戒丌兼容性概丌负责。此处提供的信息可随时改变而毋需通知。请勿使用本信息来对某个设计做出最终决定。 文中所述产品可能包含设计缺陷戒错误,已在勘误表中注明,这可能会使产品偏离已经发布的技术规范。英特尔提供最新的勘误表备索。0 码力 | 36 页 | 2.50 MB | 1 年前3
 Hadoop 3.0以及未来2003 Hadoop从 Nutch分离 Google GFS & MapReduce Paper HBase Hive Cloudera创立 Hortonworks创立 Hadoop 1.0发布 Hadoop 2.0 GA Spark成为顶级顷目 Hadoop 3.0 2017 Hadoop生态系统 文件存储层 HDFS 资源/任务调度 YARN 计算引擎MapReduce0 码力 | 33 页 | 841.56 KB | 1 年前3 Hadoop 3.0以及未来2003 Hadoop从 Nutch分离 Google GFS & MapReduce Paper HBase Hive Cloudera创立 Hortonworks创立 Hadoop 1.0发布 Hadoop 2.0 GA Spark成为顶级顷目 Hadoop 3.0 2017 Hadoop生态系统 文件存储层 HDFS 资源/任务调度 YARN 计算引擎MapReduce0 码力 | 33 页 | 841.56 KB | 1 年前3
 尚硅谷大数据技术之Hadoop(入门)2)Flume:Flume 是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统, Flume 支持在日志系统中定制各类数据发送方,用于收集数据; 3)Kafka:Kafka 是一种高吞吐量的分布式发布订阅消息系统; 尚硅谷大数据技术之 Hadoop(入门) ————————————————————————————— 更多 Java –大数据0 码力 | 35 页 | 1.70 MB | 1 年前3 尚硅谷大数据技术之Hadoop(入门)2)Flume:Flume 是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统, Flume 支持在日志系统中定制各类数据发送方,用于收集数据; 3)Kafka:Kafka 是一种高吞吐量的分布式发布订阅消息系统; 尚硅谷大数据技术之 Hadoop(入门) ————————————————————————————— 更多 Java –大数据0 码力 | 35 页 | 1.70 MB | 1 年前3
共 4 条
- 1













