解决方案 8  实时消息采集：用于实时数据采集，可扩展、高吞吐、可靠的消息服务。如 Kafka。  流处理：对实时数据进行低延迟流式计算的服务。如 Flink、Spark Streaming、Storm 等。  机器学习：满足机器学习工作负载的服务。如当前流行的 Spark MLib/ML、Tensorflow 等。  分析型数据存储：对数据进行处理加工后，面向应用场景，将数据以结构化的方式进行存储， 机器学习平台 MaxCompute Spark 实时消息采集 Kafka Datahub 日志服务(LogHub 组件) 消息队列 Kafka 流处理 Spark Streaming Flink Storm 实时计算(原流计算) EMR(开源流计算组件） 分析型数据存储 数据仓库： GreenPlum/Impala/Presto/Hive NoSQL：Hbase GraphX MaxCompute Spark GraphX MaxCompute Graph 流式采集 Kafka Datahub，流式数据投递至 MaxCompute 日志服务，流式数据投递至 MaxCompute 流计算 Flink/Storm/Spark Streaming 不支持，需迁移至阿里云实时计算、EMR 流计算 组件或自建流计算服务 存储

Cluster 有這麼大？Task 有這麼 多？ 11 / 74 我們對 Hadoop 的期許： Batch Job Interactive Query Real-Time Processing Graph Processing Iterative Modeling 人心不足蛇吞象 Hadoop 的體質 (Batch Processing) 問題： 每次就是一個 Batch Job，一個接著一個 processing Inspired by Microsoft Dryad，是 Stinger Initiative 的一部分 Dataflow model on a directed acyclic graph (DAG) of nodes 能夠 讓 Query Plan 更簡單、更有效率 48 / 74 UC Berkeley AMPLab 2009 年的研究計畫，2010 年 Open Source，由 現在是 YARN 裡面眾多語言的之一 Hadoop MapReduce Examples 是最基本的範例 popcorny 提供了一個方便好用的 Gradle 環境組態 因為支援 Hadoop Streaming 的關係，其實要抓蛇的、開珠寶店的也都可以喔： 61 / 74 Dataflow 是 MapReduce 的繼 承者，由數個 Google 內部使用 的技術為基礎，包括資料平行 處理管道技術

adoop/ojdbc6.jar StreamingEq" bin/hadoop fs -rmr output bin/hadoop jar ./contrib/streaming/hadoop-0.20.0-streaming.jar - input input/nolist.txt -output output -mapper "$A" -jobconf mapred.reduce.tasks=0

HDFS文件存储 HBase非关系型数据库 YARN资源管理 MapReduce离线计算 Spark Core内存计算 Hive 数据查询 Spark Mlib 数据挖掘 Spark Streaming 实时计算 Spark Sql 数据查询 Oozie任务调度 Azkaban任务调度 业务模型、数据可视化、业务应用 Z o o k e e p e r 数 据 平 台 配 置 和 调 HDFS文件存储 HBase非关系型数据库 YARN资源管理 MapReduce离线计算 Spark Core内存计算 Hive 数据查询 Spark Mlib 数据挖掘 Spark Streaming 实时计算 Spark Sql 数据查询 Oozie任务调度 Azkaban任务调度 Z o o k e e p e r 数 据 平 台 配 置 和 调 度 数据来源层 数据传输层

采用新的工具或重写算法会对现有生产力产生影响； ▪ 数据处理与分析所需时间增长 – 数据规模增大、数据复杂度增加，增加处理难度和所需时间； 5 MATLAB的大数据处理 ▪ 编程 ▪ Streaming ▪ Block Processing ▪ Parallel-for loops ▪ GPU Arrays ▪ SPMD and Distributed Arrays ▪ MapReduce

上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有 着超大数据集（large data set）的应用程序。HDFS 放宽了（relax）POSIX 的要求， 可以以流的形式访问（streaming access）文件系统中的数据。 Hadoop 的框架最核心的设计就是：HDFS 和 MapReduce。HDFS 为海量的数 据提供了存储，而 MapReduce 则为海量的数据提供了计算。