异构存储主要解决，不同的数据，存储在不同类型的硬盘中，达到最佳性能的问题。 RAM_DISK：（内存镜像文件系统） SSD：（SSD固态硬盘） DISK：（普通磁盘，在HDFS中，如果没有主动声明数据目录存储类型默认都是DISK） ARCHIVE：（没有特指哪种存储介质，主要的指的是计算能力比较弱而存储密度比较高的存储介质，用来解决数据量的 容量扩增的问题，一般用于归档） 1）关于存储类型 2）关于存储策略 3/data/tmp/dfs/name） [atguigu@hadoop102 hadoop-3.1.3]$ rm -rf /opt/module/hadoop- 3.1.3/data/dfs/name/* 3）问题解决 （1）拷贝 SecondaryNameNode 中数据到原 NameNode 存储数据目录 [atguigu@hadoop102 dfs]$ scp -r atguigu@hadoo Hadoop（生产调优手册） ——————————————————————————————————————— 更多 Java –大数据 –前端 –python 人工智能资料下载，可百度访问：尚硅谷官网 问题。 如何发现慢磁盘？ 正常在 HDFS 上创建一个目录，只需要不到 1s 的时间。如果你发现创建目录超过 1 分 钟及以上，而且这个现象并不是每次都有。只是偶尔慢了一下，就很有可能存在慢磁盘。

升级  Classpath隔离  Shell脚本的重构 • HDFS • YARN • MapReduce Classpath隔离 • HADOOP-11656, HDFS-6200 问题：依赖性地狱(Dependency Hell)，版本冲突 解决方案：客户端(client-side)和服务器端(server-side)的隔离 Shell脚本的重构 - HADOOP-9902 • 单副本 0 100% 3副本 2 33% XOR(6个数据单元) 1 86% RS(6,3) 3 67% RS(10,4) 4 71% 存储布局－连续和条状 小文件处理 并行IO 数据本地性 数据本地性 小文件处理 纠错码在分布式存储系统中 HDFS 性能 多个Standby Namenode Active NN Standby NN Standby NN DN

Hadoop 概述 1.1 Hadoop 是什么 Hadoop是什么 1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 2）主要解决，海量数据的存储和海量数据的分析计算问题。 3）广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。 1.2 Hadoop 发展历史（了解） Hadoop发展历史 1）Hadoop创始人Doug Cut 2）2001年年底Lucene成为Apache基金会的一个子项目。 3）对于海量数据的场景，Lucene框架面对与Google同样的困难，存储海量数据困难，检索海量速度慢。 4）学习和模仿Google解决这些问题的办法 ：微型版Nutch。 5）可以说Google是Hadoop的思想之源（Google在大数据方面的三篇论文） GFS --->HDFS Map-Reduce --->MR BigTable ResourceManager （a）浏览器中输入：http://hadoop103:8088 （b）查看 YARN 上运行的 Job 信息 3）集群基本测试 （1）上传文件到集群 ➢ 上传小文件 [atguigu@hadoop102 ~]$ hadoop fs -mkdir /input [atguigu@hadoop102 ~]$ hadoop fs -put $HAD

（用于存储大型文件）和Hadoop分布式并行处理框架（称为 MapReduce）。 但是，Hadoop基础架构本身并没有提供完整的大数据集成解 决方案，摆在人们面前的既有挑战，也有机遇，只有处理好这些 问题，才能安享各项优势，最大限度提高投资回报率 (ROI)。 大数据集成对于Hadoop措施的重要性 Hadoop的迅速崛起推动企业在如何抽取、管理、转换、存储和 分析大数据方面实现了范式转变。无论是要更深入的分析，还是 MapReduce的性能。希望在Hadoop上实现可扩展性和 有效性的所有企业技术都需要采用YARN，并将其作为 产品路线图的一部分。 开始集成之旅以前，请务必了解MapReduce的性能限 制，以及数据集成供应商在解决这类问题方面的差异。请在 “Themis: An I/O-Efficient MapReduce”一文中了 解更多信息，文中对该主题进行了详细讨论：http://bit. ly/1v2UXAT 4 使用软件数据流来实施 项目 软件数据流通过简化在一 个或多个节点实施和执行 数据管道和数据分区的过 程，从而充分利用非共享 架构。软件数据流还可以 将构建和优化多位用户运 行的并行应用程序的复杂 问题隐藏起来。 利用数据分区实现线性 数据可扩展性 大数据集分散在多个独立 节点间，单个作业对所有 分区数据执行相同的应用 程序逻辑。 形成设计隔离的环境 设计一个数据处理作业， 并且无需重新设计和重新

RISK)与中等风险(MODERATE RISK)。高风险 意味着必须人工介入，例如出现了表名冲突， ODPS 完全不支持的类型等问题。中等风险意 味着迁移过程中可以自动处理，但是需要告知用户的潜在风险，例如 Hive 数据类型到 ODPS 数据类型会带来的精度损失等问题。以下是一个报告的例子： Alibaba Cloud MaxCompute 解决方案 29 【说明】：报告中对于 sql-checker 做语法检查 Agent 提供 SQL 语法检查的工具，可以帮助开发者自助的对 Hive SQL 做语法检查，并且对于 不兼容的语法，sql-checker 会输出所有的语法和语义问题，并给出修改建议。 Alibaba Cloud MaxCompute 解决方案 43 6.5.1.2 在 Dataworks 上做检查和转换 1. 根据模板上传 Dataworks

3） 在交通、金融等领域，要求存储大量的图片 • 将图片存入HBase，引起大量的compaction • 将图片存入HDFS，管理使用麻烦 IDH引入了表外存储以解决大对象的高效存储问题 • 类似Oracle的BLOB存储 • 对用户透明 • 2X以上的写入性能，还有迚一步提升的空间 • 2X的随机访问性能 • 1.3X的Scan性能 • 接近直接写入HDFS性能 衡，系统安装程序计算得出的优化参数配置，适合大多数 应用情冴，不硬件技术相结合，提高平台性能 提供企业必须的管理和监控功能 •提供独有的基亍浏览器的集群安装和管理界面，解决开源版本管理困难的问题，提供网页、邮件方式的系统异常报警 性能评测工具：Intel HiBench HiBench Micro Benchmarks Web Search – Sort

DNS 服务作 为名称服务，将域名映射为 IP 地址。通过在分布式系统中使用 ZooKeeper，你能记录哪些服务器或服务正处于运行状态，并且能够 通过名称查看它们的状态。 如果有节点出现问题导致宕机，ZooKeeper 会采用一种通过选 举 leader 来完成自动故障切换的策略，这是它自身已经支持的解决 方案(见图 1-2)。选举 leader 是一项服务，可安装在多台机器上作为 上进行的数据预处理降低了 数据库 CPU 的使用率。这样就减少了对数据库应用程序的影响，减 第 1 章 Hadoop 概述 15 轻了对资源的竞争，而这正是插入大量数据时的一个常见问题。它 使得此连接器在连续且频繁地加载时尤其有用。 ORACLE 数据库 SQL 查询 在 HDFS 上就地访问和分析数据 查询和连接 HDFS 数据库中的常驻 数据 在需要时使用