MaxCompute 解决方案 8  实时消息采集：用于实时数据采集，可扩展、高吞吐、可靠的消息服务。如 Kafka。  流处理：对实时数据进行低延迟流式计算的服务。如 Flink、Spark Streaming、Storm 等。  机器学习：满足机器学习工作负载的服务。如当前流行的 Spark MLib/ML、Tensorflow 等。  分析型数据存储： MaxCompute Spark 实时消息采集 Kafka Datahub 日志服务(LogHub 组件) 消息队列 Kafka 流处理 Spark Streaming Flink Storm 实时计算(原流计算) EMR(开源流计算组件） 分析型数据存储 数据仓库： GreenPlum/Impala/Presto/Hive NoSQL：Hbase GraphX MaxCompute Graph 流式采集 Kafka Datahub，流式数据投递至 MaxCompute 日志服务，流式数据投递至 MaxCompute 流计算 Flink/Storm/Spark Streaming 不支持，需迁移至阿里云实时计算、EMR 流计算 组件或自建流计算服务 存储 HDFS/Hive 数据存储 MaxCompute Table

Z o o k e e p e r 数 据 平 台 配 置 和 调 度 数据来源层 数据传输层 数据存储层 资源管理层 数据计算层 任务调度层 业务模型层 Storm实时计算 Flink 图中涉及的技术名词解释如下： 1）Sqoop：Sqoop 是一款开源的工具，主要用于在 Hadoop、Hive 与传统的数据库（MySQL） 间进行数据的传递，可以将一个关系型数据库（例如 –python 人工智能资料下载，可百度访问：尚硅谷官网 4）Spark：Spark 是当前最流行的开源大数据内存计算框架。可以基于 Hadoop 上存储的大数 据进行计算。 5）Flink：Flink 是当前最流行的开源大数据内存计算框架。用于实时计算的场景较多。 6）Oozie：Oozie 是一个管理 Hadoop 作业（job）的工作流程调度管理系统。 7）Hbase：HBase 任务调度层 Storm实时计算 Ss购买海狗人参丸 Nginx Tomcat 收集访 问日志 Tomcat 收集访 问日志 Tomcat 推荐业务 分析结果数据库 分析结果文件 Flink 第 2 章 Hadoop 运行环境搭建（开发重点） 2.1 模板虚拟机环境准备 0）安装模板虚拟机，IP 地址 192.168.10.100、主机名称 hadoop100、内存 4G、硬盘