McKinsey Global Institute 统计和报表 价值 数据挖掘和预测性分析 大数据时代的Intel • Intel的角色 • Intel Hadoop商业发行版 • 对象存储技术 Intel的角色 • 面向大数据应用，在计算、存储和网络方面提供更快更为 高效的架构级别的优化方案 • 持续投入大数据应用开发，促迚软件系统和服务的丌断优 化和创新 • 25000 82000 查询数/秒 揑入记录数/秒 HBase写入性能讨论 写入时的性能瓶颈： • 客户端 • 使用Write buffer减少RPC • 避免频繁创建HTable对象 • 如果可以，关闭WAL • Region负载丌均衡：要让写均匀分布到所有的region server上 • 如果写入的row key是基本单调的（例如时序数据），那么基本上会都落在同 thread数，防止阻塞写入 • 过多的split • 预分配region 大对象的高效存储（IDH2.3） 在交通、金融等领域，要求存储大量的图片 • 将图片存入HBase，引起大量的compaction • 将图片存入HDFS，管理使用麻烦 IDH引入了表外存储以解决大对象的高效存储问题 • 类似Oracle的BLOB存储 • 对用户透明 • 2X以上的写入性能，还有迚一步提升的空间

数据存储：面向海量数据存储的分布式文件存储服务，支持 结构化数据和非结构数据数据存 储，我们也常称之为数据湖。如 HDFS、对象存储服务等。  批处理：由于大数据场景必须处理大规模的数据集，批处理往往需要从数据存储中读取大量 数据进 行长 时间 处理 分析 ，并将 处理 后的 数据 写 入 新的 数据 对象 供后 续使 用。如 Hive、 MapReduce、Spark 等。 Alibaba Cloud 关服务的迁移至 阿里云大数据产品服务有更好的理解。 组件分类 Hadoop 开源组件 阿里云产品/产品组件 数据存储 HDFS 文件系统 对象存储 MaxCompute 存储(仅开放表数据存储) OSS 对象存储 EMR HDFS 批处理 Hadoop MapReduce Hive Spark MaxCompute 批处理（MaxCompute d H h ( b v r Alibaba Cloud MaxCompute 解决方案 12 续将提供兼容 ORC 的 Ali-ORC 存储格式 支持外表，将存储在 OSS 对象存储、OTS 表格存储的数 据映射为二维表 支持 Partition、Bucket 的分区、分桶存储 更底层不是 HDFS，是阿里自研的盘古文件系统，但可借 助 HDFS 理解对应的表之下文件的体系结构、任务并发

第一项最佳实践是随时随地避免在大数据集成的各个层面采 用手动编码。相反，利用商业数据集成软件提供的图形用户界 面提供活动支持，如： • 在企业中实施数据访问和移动 • 数据集成逻辑 • 通过各种逻辑对象组装数据集成作业 • 组装更大的工作流 • 数据治理 • 运营和行政管理 通过采用这项最佳实践，企业就能利用商业数据集成软件久 经考验的生产、成本、价值实现时间以及强大的运营和行政控 制 PureData ™ System 手动编码 相较于手 自我记录动编码， 开发成本节约 87% 87% 企业间复杂UI的出现导致各种 数据访问和集成需求。 预置的数据集成解决方案可简化使用逻辑对象创建数据集成作业的过程。 预置的数据集成解决方案有助于映射和管理 企业间的数据治理需求。 并行读取 HDFS文件 转换/ 重建数据 联接两个 HDFS文件 创建新的HDFS 文 件 ，

Task层次Native优化 • 对map output collector的Native实现，对于shuffle密集型的task能 带来30%的性能提升。 Hadoop 的未来 HDFS的未来 • 对象存储 - HDFS-7240 • 更高性能的Namenode：更高效的内存使用，锁的改进等 • Erasure Coding的完善 YARN的未来 • 更大规模的集群支持 • 更好的资源调度，隔离和多租户