File System （用于存储大型文件）和Hadoop分布式并行处理框架（称为 MapReduce）。 但是，Hadoop基础架构本身并没有提供完整的大数据集成解 决方案，摆在人们面前的既有挑战，也有机遇，只有处理好这些 问题，才能安享各项优势，最大限度提高投资回报率 (ROI)。 大数据集成对于Hadoop措施的重要性 Hadoop的迅速崛起推动企业在如何抽取、管理、转换、存储和 话、误导或矛盾信息来渗透市场。 为彻底切断这种误导，并开发适合您的Hadoop大数据项目的 采用计划，必须遵循最佳实践方法，充分考虑各种新兴技术、可 扩展性需求以及当前的资源和技能水平。面临的挑战：创建最佳 的大数据集成方法和架构，同时避免各种实施缺陷。 海量数据可扩展性：总体要求 如果您的大数据集成解决方案无法支持海量数据可扩展性， 那么很可能无法达到预期的效果。为发挥大数据措施的整体 大数据集成最佳实践为成功奠定了坚实的基础 企业正在纷纷转向大数据措施，期望帮助自己削减成本、提高收 益并实现先发优势。Hadoop技术支持新的流程和架构，有助于 推动业务转型，但必须先行解决所面临的某些大数据挑战并把 握相关机遇才能实现各项目标。 IBM建议构建一个大数据集成架构，该架构足够灵活，可充分利 用RDBMS、ETL网格和Hadoop环境的优势。用户应能够构建 一次集成工作流，即可在上述三个环境中的任意一个环境中运

1 © 2015 The MathWorks, Inc. MATLAB与Spark/Hadoop相集成：实现大 数据的处理和价值挖 马文辉 2 内容 ▪ 大数据及其带来的挑战 ▪ MATLAB大数据处理 ➢ tall数组 ➢ 并行与分布式计算 ▪ MATLAB与Spark/Hadoop集成 ➢ MATLAB访问HDFS(Hadoop分布式文件系统） ➢ 在Spark/Hadoop集群上运行MATLAB代码 Value - 数据价值，数据价值密度低 价值密度的高低与数据总量的大小成反比 ▪ Velocity - 数据处理速度，数据处理速度需要快速 数据处理速度是决定大数据应用的关键 4 大数据带来的挑战 ▪ 传统的工具和方法不能有效工作 – 访问和处理数据变得困难； – 需要学习使用新的工具和新的编程方式； – 不得不重写算法以应对数据规模的增大； ▪ 现有处理或计算方法下的结果质量受到影响 –

AC 市电 + 一路 240V DC 直流 • 况源采用况冶水系统，末端采用行间 送风 • 封闭热走廊 Intel Hadoop研发团队 推劢产业应用 交通指挥的挑战 ——典型中国二线城市 • 机劢车的迅速增加 • 复杂数据分析 • 数据挖掘不预测 • 突发事件应对 • 公众服务 • 公众访问高幵发

数据节点 数据节点 数据节点 节点管理器 节点管理器 节点管理器 图 1-1 MapReduce 的功能使得它成为最常用的批处理工具之一。该处 理器的灵活性使其能利用自身的影响力来挑战现有系统。通过将数 据处理的工作负载分为多个并行执行的任务，MapReduce 允许其用 户处理存储于 HDFS 上不限数量的任意类型的数据。因此，MapReduce 让 Hadoop 成为了一款强大工具。