................................................................................. 18 4.2.3 分析任务兼容性分析及转换.............................................................................................. .............. 46 7.1.5 生成 ODPS DDL、Hive SQL 以及兼容性报告 ................................................................. 48 7.1.6 查看兼容性报告，调整直到兼容性报告符合预期 ............................................ 具或应用使用默认驱动都可以轻松地连接到 MaxCompute 项目。支持主流 BI 及 SQL 客户端工具的 连接访问，如 Tableau、帆软 BI、Navicat、SQL Workbench/J 等。 显著提升的查询性能：提升了一定数据规模下的查询性 能，查询结果秒级可见，支持 BI 分析、Ad-hoc、在线服 务等场景。 Alibaba Cloud MaxCompute 解决方案 14 Spark

英特尔可以随时在丌发布声明的情冴下修改规格和产品说明。设计者丌应信赖仸何英特产品所丌具有的特性，设计者亦丌应信赖仸何标有保留权利摂戒未定义摂说明戒特性描述。英特尔保 留今后对其定义的权利，对亍因今后对其迚行修改所产生的冲突戒丌兼容性概丌负责。此处提供的信息可随时改变而毋需通知。请勿使用本信息来对某个设计做出最终决定。 文中所述产品可能包含设计缺陷戒错误，已在勘误表中注明，这可能会使产品偏离已经发布的技术规范。英特尔提供最新的勘误表备索。 迚行更新。相关应用软件可能无法不所有的操作系统兼容。请咨询您的应用厂商以了解具体信息。 *文中涉及的其它名称及商标属亍各自所有者资产。 英特尔所列的厂商仅为方便英特尔客户。但英特尔对亍这些设备的质量、可靠性、功能戒兼容性丌提供仸何担保戒保证。本列表和/戒这些设备可随时更改，恕丌另行通知。 版权所有 © 2012 英特尔公司。所有权保留。 提纲 • 大数据时代的新挑戓 • 大数据时代的Intel on • 将图片存入HDFS，管理使用麻烦 IDH引入了表外存储以解决大对象的高效存储问题 • 类似Oracle的BLOB存储 • 对用户透明 • 2X以上的写入性能，还有迚一步提升的空间 • 2X的随机访问性能 • 1.3X的Scan性能 • 接近直接写入HDFS性能 Interactive Hive over HBase 可通过Hive来访问HBase，迚行SQL查询

解决方案：客户端(client-side)和服务器端(server-side)的隔离 Shell脚本的重构 - HADOOP-9902 • 脚本重构，提升可维护性和易用性 • 修正一些长期存在的bugs • 加入一些改进 • 加入一些新功能 • 带来一些不兼容性 • Shell脚本现在更易于调试: --debug Hadoop 3介绍 • Common • HDFS  纠错码(Erasure Coding) Task层次的Native优化 MapReduce Task层次Native优化 • 对map output collector的Native实现，对于shuffle密集型的task能 带来30%的性能提升。 Hadoop 的未来 HDFS的未来 • 对象存储 - HDFS-7240 • 更高性能的Namenode：更高效的内存使用，锁的改进等 • Erasure Coding的完善 YARN的未来

数据集的操作之后的结果，都可以存放到 内存中，下一个操作可以直接从内存中输入，省去了 MapReduce 大量的磁盘 IO 操作。这对 于迭代运算比较常见的机器学习算法, 交互式数据挖掘来说，效率提升比较大。 1.2.2 RDD 的转换与操作 对于 RDD 可以有两种计算方式：转换（返回值还是一个 RDD）与操作（返回值不是一个 RDD） 1. 转换(Transformations) 的部分分区数据丢失时，它可以通过 Lineage 获取足够的信息来重新运算和恢复丢失的数据分区。这种粗颗粒的数据模型，限制了 Spark 的运用场合，但同时相比细颗粒度的数据模型，也带来了性能的提升。 RDD 在 Lineage 依赖方面分为两种 Narrow Dependencies 与 Wide Dependencies 用 来解决数据容错的高效性。Narrow Dependencies

产品主 要为 CDH，Cloudera Manager，Cloudera Support （3）CDH 是 Cloudera 的 Hadoop 发行版，完全开源，比 Apache Hadoop 在兼容性，安 全性，稳定性上有所增强。Cloudera 的标价为每年每个节点 10000 美元。 （4）Cloudera Manager 是集群的软件分发及管理监控平台，可以在几个小时内部署好一 个

节点间，单个作业对所有 分区数据执行相同的应用 程序逻辑。 形成设计隔离的环境 设计一个数据处理作业， 并且无需重新设计和重新 调整作业，即可在任何硬 件配置中使用它。 使用它。这些功能对于通过提升效率来降低成本至关重要。没 有它们，该平台将无法处理大量的大数据。 InfoSphere Information Server数据集成产品组合 支持4大海量数据可扩展性架构特征。请在Forrester报 000 行代码 • 71,000 个字符 • 无文档 • 难以重用 • 难以维护 运用数据集成工具开发 • 只需 2 日编写 • 图形格式 • 自我记录 • 可重用性 • 可管理性更高 • 性能提升 手动编码和工具成果来源：IBM制药客户示例 12 大数据集成与 Hadoop 最佳实践2：整个企业采用一个数据集成和治理平台 过度依赖向RDBMS推送ETL（由于缺乏可扩展数据集成软