统的数据库或数据结构进行对比。它也不能取代现有的 RDBMS 环 Hadoop 大数据解决方案 8 境。Hive 提供了一种为数据赋予结构的渠道，并且通过一种名为 HiveQL 的类 SQL 语言进行数据查询。 Hive Thrift 服务器 驱动程序 解析器 执行 Hive Web 接口 计划器 优化器 MS 客户端 元存储 图 1-3 1.4 的客户，那么这将很好地适 配于你的环境。Oracle 公司的套件中有很多工具，但我们在本章中 只会讲述其中的一部分。 Oracle XQuery for Hadoop 运行一个处理流程，它基于 XQuery 语言中表达的转换，将其转化成一系列 MapReduce 作业，这些作业 在 Apache Hadoop 群集上并行执行。输入数据可以位于文件系统上， 通过 Hadoop 分布式文件系统(HDFS)访问，或者存储在 Oracle R Connector for Hadoop 能够快速开发，并通过模拟并行 的支持，在用户桌面对并行 R 代码使用 R 语言风格的调试功能(见 图 1-10)。此连接器允许分析师将来自多种环境(客户桌面、HDFS、 Hive、Oracle 数据库和内存中的 R 语言数据结构)的数据组合到单个 分析任务执行的上下文中，从而简化数据的组装和准备。Oracle R Connector for

Zookeeper 3.4.4 分布式协作服务 Pig 0.9.2 数据流处理语言 Mahout 0.6 数据挖掘 HBase 0.94.1 实时、分布式、高维数据库 Map/Reduce 1.0.3 分布式计算框架 HDFS 1.0.3 分布式文件系统 R 统计语言 Intel Hadoop Manager – 安装、配置、管理、监控、告警 英特尔Hadoop性能优化

背景开发者直接上手，特别在大数据规模下性能强大。 * 完全自主开发的 compiler，语言功能开发更灵活，迭 代快，语法语义检查更加灵活高效 * 基于代价的优化器，更智能，更强大，更适合复杂的查 询 * 基于 LLVM 的代码生成，让执行过程更高效 * 支持复杂数据类型(array,map,struct) * 支持 Java、Python 语言的 UDF/UDAF/UDTF * 语法：Values、CTE、SEMIJOIN、FROM

1.4 HDFS 架构原理 HDFS 是 Hadoop 分布式文件系统（Hadoop Distributed File System）的缩写， 为分布式计算存储提供了底层支持。采用 Java 语言开发，可以部署在多种普通的 廉价机器上，以集群处理数量积达到大型主机处理性能。 银河麒麟服务器操作系统 V4 hadoop 软件适配手册 3 HDFS 采用 master/slave