Hadoop 三大发行版本：Apache、Cloudera、Hortonworks。 Apache 版本最原始（最基础）的版本，对于入门学习最好。2006 Cloudera 内部集成了很多大数据框架，对应产品 CDH。2008 Hortonworks 文档较好，对应产品 HDP。2011 Hortonworks 现在已经被 Cloudera 公司收购，推出新的品牌 CDP。 2）Cloudera Hadoop 官网地址：https://www.cloudera.com/downloads/cdh 下载地址：https://docs.cloudera.com/documentation/enterprise/6/release- notes/topics/rg_cdh_6_download.html （1）2008 年成立的 Cloudera 是最早将 Cutting 也加盟 Cloudera 公司。Cloudera 产品主 要为 CDH，Cloudera Manager，Cloudera Support （3）CDH 是 Cloudera 的 Hadoop 发行版，完全开源，比 Apache Hadoop 在兼容性，安 全性，稳定性上有所增强。Cloudera 的标价为每年每个节点 10000 美元。 （4）Cloudera Manager

Postgres Conference China 2016 中国用户大会 HBase最佳实践及优化 陈飚 cb@cloudera.com Cloudera Postgres Conference China 2016 中国用户大会 关于我… 陈飚 Cloudera售前技术经理、资深方案架构师 http://biaobean.pro 原Intel Hadoop发行版核心开发人员, 成功实施并运维多 不建议HBase的堆大小操作操过64GB，否则GC压 力大、执行时间太长 https://blogs.apache.org/hbase/entry/tuning_g1gc_for_your_hbase http://blog.cloudera.com/blog/2014/12/tuning-java-garbage-collection-for-hbase/ Postgres Conference China 2016 中国用户大会 Scanner • 使用异步调用接口 – AsyncClient • 使用数据预取以及预缓存 Postgres Conference China 2016 中国用户大会 Thanks! @Cloudera中国 @陈飚

被视为一个生态系统，因为它创造了一个数据社区，将 第 1 章 Hadoop 概述 11 Hadoop 和其他工具汇集在一起。 Cloudera(CDH)为其数据平台创建了一个类似的生态系统。 Cloudera 为集成结构化和非结构化的数据创造了条件。通过使用平 台交付的统一服务，Cloudera 开启了处理和分析多种不同数据类型 的大门(见图 1-5)。 处理、分析和服务 安全 文件系统 (HDFS) 以决定最优解决方案。数据平台或者数据管理平台正如其名。它是 一个集中式计算系统，用于收集、集成和管理大型结构化和非结构 化数据集。 从理论上讲，无论 HortonWorks，还是 Cloudera，均是可供选 择的平台，包括用于与现有数据环境和 Hadoop 一起工作的 RDBMS 连接器。大多数供应商均有关于系统需求的详细信息。一般来说， 大量工具都会提到 Windows 操作系统或者基于 通过将数据管理服务集成为更大的数据湖，企业可以利用各种各样 的渠道来存储和处理大量数据，这些渠道包括社交媒体、点击流数 据、服务器日志、客户交易与交互、视频以及来自现场设备的传感 器数据。 Hortonworks 或者 Cloudera 数据平台，以及 Informatica，使得 企业能够优化 ETL(抽取、转换、加载)工作流程，以便在 Hadoop 中长期存储和处理大规模数据。 Hadoop 与企业工具的集成使得组织能够将内部和外部的所有数

早已平息，很多技术分析师纷纷总结采用世界级数据集成软 件将会实现的巨大ROI优势3。 “如有疑问，请尽可能使用更高级的工 具。” —“Large-Scale ETL With Hadoop”，Eric Sammer（Cloudera 首 席解决方案架构师）于 Strata+Hadoop World 2012 期间所做的演示4 第一项最佳实践是随时随地避免在大数据集成的各个层面采 用手动编码。相反，利用商业数据集成软件提供的图形用户界 =IME14019USEN 4 “Large-Scale ETL With Hadoop”，Eric Sammer（Cloudera首席解 决方案架构师）于Strata+Hadoop World 2012期间所做的演示。www. cloudera.com/content/cloudera/en/resources/library/hadoopworld/ strata-hadoop-world-2

兼容），让你像使用单机数据库一样轻松 获得大数据处理能力，满足大数据量下的高压力的实时处理的各种需求。 商业模式：开源 ● 开源的模式在硅谷已经验证成功，作为基础软件领域正确的商业模式 ○ Cloudera / Hortonworks / OpenStack / Docker / RedHat ... ● 开源正在蚕食数据库市场 ○ MongoDB / Cassandra / MySQL / PostgreSQL 开源 != 免费 ○ 社区版 ○ 企业版（监控管理插件、优化插件、数据安全插件、企 业服务及培训） 代表 Datastax CoreOS Docker Mesosphere MongoDB Cloudera 估值($) 10亿 10亿 20亿 10亿 20亿 70亿 TiDB 短时间内已获巨头高度认可 合作 Github 3200+ Commits / 4000+ stars / 44 contributors

development stage 拥有代码所有权和控制权意味着拥有项目主导权、开发自主权、知识产权和商业模式选择权。 一个开源软件如果要成功地商业化，最好背后只有一家商业化公司。这也是一个历史教训， Cloudera 和 Hortonworks 都是基于 Hadoop 的上市公司，但是因为基于同一个开源项目， 中间有很多斗争内耗，而且由于产品没有明显的差异化，最后价格战的结果就是两败俱伤。相 反的，正面例子既有 is best to have only one commercialization company behind it. This is a lesson from history, as Cloudera and Hortonworks are both publicly traded companies based on Hadoop, but because they stem from 220 GitLab Git $415 2020/11 40k 22k 408 GitHub Git $350 2015/12 39.7k 22.3k 1493 Cloudera Hadoop $1,040 2018/4 12k 7.4k 395 JetBrains IntelliJ - 12.7k 4.2k 717 Cloudbees

2010 2011 2006 2013 2014 2015 2016 2003 Hadoop从 Nutch分离 Google GFS & MapReduce Paper HBase Hive Cloudera创立 Hortonworks创立 Hadoop 1.0发布 Hadoop 2.0 GA Spark成为顶级顷目 Hadoop 3.0 2017 Hadoop生态系统 文件存储层 HDFS

archiving Upcoming Roadmap • S3 Writable External Tables • Certification of GPHDFS with latest Cloudera, MapR, Hortonworks • Porting PostgreSQL Foreign Data Wrappers to GPDB (longer term) 2016Postgres中国用户大会

DELETE "http://uhadoop-******-master1:50070/webhdfs/v1/tmp/uhadoop.txt?op=DELETE" 2.3 HttpFS Httpfs是cloudera提供的⼀个HDFS的http接⼝，可以通过WebHDFS REST API对HDFS进⾏读写等访问。与WebHDFS的区别是，Httpfs不需要客⼾端访问集群的每⼀个节点，只需授权 访问启动

拥有代码所有权和控制权——产品开发阶段 拥有代码所有权和控制权意味着拥有项目主导权、开发自主权、知识产权和商业模式选择权。一个 开源软件如果要成功地商业化，最好背后只有一家商业化公司。这也是一个历史教训，Cloudera 和 Hortonworks 都是基于 Hadoop 的上市公司，但是因为基于同一个开源项目，中间有很多斗争内耗， 而且由于产品没有明显的差异化，最后价格战的结果就是两败俱伤。相反的，正面例子既有 6k 1.2k 220 GitLab Git $415 2020/11 40k 22k 408 GitHub Git $350 2015/12 39.7k 22.3k 1493 112 Cloudera Hadoop $1,040 2018/4 12k 7.4k 395 JetBrains IntelliJ - 12.7k 4.2k 717 Cloudbees Jenkins $111 2018/6