Hadoop 的 MapReduce 版本) 不暴露文件系统，输入输出都是表 通过 MaxCompute 客户端工具、Dataworks 提交作业 交互式分析 MaxCompute Lightning MaxCompute 产品的交互式查询服务，特性如下： 兼容 PostgreSQL：兼容 PostgreSQL 协议的 JDBC/ODBC 接口，所有支持 PostgreSQL 数据库的工 Spark 作业：Spark1.x/Spark2.x 作业 都可运行； * 开源系统的使用体验：Spark-submit 提交方式（暂不 支持 spark-shell/spark-sql 的交互式），提供原生的 Spark WebUI 供用户查看； * 通过访问 OSS、OTS、database 等外部数据源，实现 更复杂的 ETL 处理，支持对 OSS 非结构化进行处理； * 使用 MapReduce MaxCompute MR Apache Spark MaxCompute Spark 交互式分析 Impala Presto Hawk GreenPlum 等交互式分析 MaxCompute Lightning，提供只读的交互式查 询服务 图计算 Spark GraphX MaxCompute Spark GraphX MaxCompute

到内存中，每次对 RDD 数据集的操作之后的结果，都可以存放到 内存中，下一个操作可以直接从内存中输入，省去了 MapReduce 大量的磁盘 IO 操作。这对 于迭代运算比较常见的机器学习算法, 交互式数据挖掘来说，效率提升比较大。 1.2.2 RDD 的转换与操作 对于 RDD 可以有两种计算方式：转换（返回值还是一个 RDD）与操作（返回值不是一个 RDD） 1. 转换(Transformations)

稳定的企业级hadoop发行版 利用硬件新技术迚行优化 HBase改迚和创新，为Hadoop提供实时数据处理能力 针对行业的功能增强，应对丌同行业的大数据挑戓 Hive 0.9.0 交互式数据仓库 Sqoop 1.4.1 关系数据ETL工具 Flume 1.1.0 日志收集工具 Intel Hadoop Manager 2.2 安装、部署、配置、监控、告警和访问控制

基于Web的集成式安装程序，用于执行所有功能 • 高可用性配置，用于满足全天候需求 • 灵活的部署选项，用于部署新实例或展开经过优化的专 家硬件系统上的现有实例 • 集中实现身份验证、授权和会话管理 • 审核安全相关事件的日志记录，推动满足《萨班斯奥克 斯利法案》合规性要求 • 实验室认证，针对各种Hadoop发行版 IBM软件 15 大数据集成最佳实践为成功奠定了坚实的基础