MathWorks, Inc. MATLAB与Spark/Hadoop相集成：实现大 数据的处理和价值挖 马文辉 2 内容 ▪ 大数据及其带来的挑战 ▪ MATLAB大数据处理 ➢ tall数组 ➢ 并行与分布式计算 ▪ MATLAB与Spark/Hadoop集成 ➢ MATLAB访问HDFS(Hadoop分布式文件系统） ➢ 在Spark/Hadoop集群上运行MATLAB代码 ▪ tall arrays ▪ tall array – 一种新的数据类型，专门用于处理大数据. – 用于处理数据规模超过单个机器或群集的内存承载能力的数据集合 ▪ 使用方式等同于MATLAB 数组(array) – 支持数据类型包括数值型、字符串、时间类型、表等… – 支持众多基本的数学函数、统计函数、索引函数等. – 支持机器学习算法包括分类、聚类和回归 7 tall array Memory tall arrays ▪ 自动将数据分解成适合内存的小 “块”(chunk) ▪ 计算过程中，一次处理一个“块”(chunk) 的数据 ▪ 对tall数组(tall array)的编程方式与MATLAB 标准数组 编程方式一致 Single Machine Memory Process 8 ▪ MATLAB本地多核并行计算计 (PCT, Parallel Computing

的大规模企业数据的最佳实 践。企业以及 IT 社区都非常关注各种数据类型的可扩展性。使用 Hadoop，公司便不再局限于昂贵的企业级解决方案或者价格不菲的 数据仓库设备。 Hadoop 并不是大多数组织现有富数据环境的替代品。在考虑使 用 Hadoop 时，也要同样重视其他方面，例如 MapReduce 或 YARN， 它们在做深度数据分析和高级分析方面取得了重大进步。Hadoop 提供对