这得益于使用 Hadoop。由于 Hadoop 是分布式的(而非集中式的)，因而不具备关系 型数据库管理系统(RDBMS)的特点。这使得你能够使用 Hadoop 所 提供的大型数据存储和多种数据类型。 第 1 章 Hadoop 概述 3 例如，让我们考虑类似 Google、Bing 或者 Twitter 这样的大型 数据存储。所有这些数据存储都会随着诸如查询和庞大用户基数等 Cloudera(CDH)为其数据平台创建了一个类似的生态系统。 Cloudera 为集成结构化和非结构化的数据创造了条件。通过使用平 台交付的统一服务，Cloudera 开启了处理和分析多种不同数据类型 的大门(见图 1-5)。 处理、分析和服务 安全 文件系统 (HDFS) 关系型 非结构化 批处理 流 搜索 统一服务 资源管理(YARN) 存储 结构化 集成 Hadoop 将数据推送到 数据库中。如图 1-9 所示。Oracle Loader for Hadoop 利用 Hadoop 计 算资源进行排序、分区并在加载之前将数据转换成适配于 Oracle 的 数据类型。当加载数据时，在 Hadoop 上进行的数据预处理降低了 数据库 CPU 的使用率。这样就减少了对数据库应用程序的影响，减 第 1 章 Hadoop 概述 15 轻了对资源的竞

compiler，语言功能开发更灵活，迭 代快，语法语义检查更加灵活高效 * 基于代价的优化器，更智能，更强大，更适合复杂的查 询 * 基于 LLVM 的代码生成，让执行过程更高效 * 支持复杂数据类型(array,map,struct) * 支持 Java、Python 语言的 UDF/UDAF/UDTF * 语法：Values、CTE、SEMIJOIN、FROM 倒装、 Subquery RISK)。高风险 意味着必须人工介入，例如出现了表名冲突， ODPS 完全不支持的类型等问题。中等风险意 味着迁移过程中可以自动处理，但是需要告知用户的潜在风险，例如 Hive 数据类型到 ODPS 数据类型会带来的精度损失等问题。以下是一个报告的例子： Alibaba Cloud MaxCompute 解决方案 29 【说明】：报告中对于 String 类型的 8M

Datastore ▪ ImageDatastore 6 tall arrays ▪ tall array – 一种新的数据类型，专门用于处理大数据. – 用于处理数据规模超过单个机器或群集的内存承载能力的数据集合 ▪ 使用方式等同于MATLAB 数组(array) – 支持数据类型包括数值型、字符串、时间类型、表等… – 支持众多基本的数学函数、统计函数、索引函数等. – 支持机器学习算法包括分类、聚类和回归