为彻底切断这种误导，并开发适合您的Hadoop大数据项目的 采用计划，必须遵循最佳实践方法，充分考虑各种新兴技术、可 扩展性需求以及当前的资源和技能水平。面临的挑战：创建最佳 的大数据集成方法和架构，同时避免各种实施缺陷。 海量数据可扩展性：总体要求 如果您的大数据集成解决方案无法支持海量数据可扩展性， 那么很可能无法达到预期的效果。为发挥大数据措施的整体 业务价值，对于大部分Hadoop项目的大数据集成而言，海 处理节点数 量全无限制。只需添加更多的硬件，即可处理更多的数据，实 现更高的处理吞吐量。添加硬件资源的同时，无需修改即可运 行相同的应用程序并且性能也会随之提高（参见图1）。 关键成功因素：避免炒作，分辨是非 在这些新兴的Hadoop市场阶段，请仔细分辨听到的所有 说明Hadoop卓尔不群的言论。充分使用Hadoop的神话 与现实之间存在巨大的反差，这在大数据集成方面表现尤为 突出 利用RDBMS服务器的多余容量 • 数据库可以较快地执行某些 流程 缺点 • 硬件和存储费用昂贵 • 查询SLA出现降级 • 并非所有ETL逻辑均可推送到 RDBMS（使用ETL工具或手 动编码） • 无法利用商业硬件 • 通常需要手动编码 • 复杂转换方面的限制 • 数据清理限制 • 数据库在执行某些流程时速 度较慢 优点 • 利用MapReduce MPP引擎 • 利用商业硬件和存储 • 释放数据库服务器上的容量

境式的感受算法设计思想，从而掌握分析问题、解决问题的能力。这种方式也是对读者的基 础要求较少的，读者在学习本书的过程中会自然而然地了解算法的相关背景知识，体会到知 识是为了解决问题而生的，避免陷入为了学习而学习的窘境。 尽管作者试图将读者的基础要求降到最低，但是人工智能不可避免地需要使用正式化的 数学符号推导，其中涉及到少量的概率与统计、线性代数、微积分等数学知识，一般要求读 者对这些数学知识有初步印象或了解即可。比起理论基础，读者需要有少量的编程经验，特 11.11 LSTM/GRU 情感分类问题再战 11.12 预训练的词向量 11.13 参考文献 第 12 章 自编码器 12.1 自编码器原理 12.2 MNIST 图片重建实战 12.3 自编码器变种 12.4 变分自编码器 12.5 VAE 实战 12.6 参考文献 第 13 章 生成对抗网络 13.1 博弈学习实例 13.2 GAN 监督信号，即模型需要学习的映射为??: ? → ?，称为自监督学习(Self-supervised Learning)。在训练时，通过计算模型的预测值??(?)与自身?之间的误差来优化网络参数?。 常见的无监督学习算法有自编码器、生成对抗网络等。 强化学习 也称为增强学习，通过与环境进行交互来学习解决问题的策略的一类算法。 与有监督学习、无监督学习不同，强化学习问题并没有明确的“正确的”动作监督信号， 预览版202112

用户置备的基础架构对网络的要求 网络拓扑要求 负载均衡器 1.4.5.2. 用户置备 DNS 要求 1.4.6. 生成 SSH 私钥并将其添加到代理中 1.4.7. 获取安装程序 1.4.8. 手动创建安装配置文件 1.4.8.1. VMware vSphere install-config.yaml 文件示例 1.4.8.2. 在安装过程中配置集群范围代理 1.4.9. 创建 Kubernetes 用户置备的基础架构对网络的要求 网络拓扑要求 负载均衡器 1.5.5.2. 用户置备 DNS 要求 1.5.6. 生成 SSH 私钥并将其添加到代理中 1.5.7. 获取安装程序 1.5.8. 手动创建安装配置文件 1.5.8.1. VMware vSphere install-config.yaml 文件示例 1.5.8.2. 在安装过程中配置集群范围代理 1.5.9. 网络配置阶段 1 创建用户置备的基础架构 1.6.6.1. 用户置备的基础架构对网络的要求 网络拓扑要求 负载均衡器 1.6.6.2. 用户置备 DNS 要求 1.6.7. 生成 SSH 私钥并将其添加到代理中 1.6.8. 手动创建安装配置文件 1.6.8.1. VMware vSphere install-config.yaml 文件示例 1.6.8.2. 在安装过程中配置集群范围代理 1.6.9. 创建 Kubernetes

IAM 角色所需的 AWS 权限 4.2.6. 支持的 AWS 区域 4.2.7. 后续步骤 4.3. 为 AWS 手动创建 IAM 4.3.1. 在 kube-system 项目中存储管理员级别的 secret 的替代方案 4.3.2. 手动创建 IAM 4.3.3. 使用手动维护的凭证升级集群 4.3.4. Mint 模式 4.3.5. 带有删除或轮转管理员级凭证的 Mint 模式 4 集群间隔离 4.9.4. OpenShift Container Platform 的互联网访问 4.9.5. 生成 SSH 私钥并将其添加到代理中 4.9.6. 获取安装程序 4.9.7. 手动创建安装配置文件 4.9.7.1. 安装配置参数 4.9.7.1.1. 所需的配置参数 4.9.7.1.2. 网络配置参数 4.9.7.1.3. 可选配置参数 4.9.7.1.4. 可选的 AWS 集群间隔离 4.10.5. OpenShift Container Platform 的互联网访问 4.10.6. 生成 SSH 私钥并将其添加到代理中 4.10.7. 获取安装程序 4.10.8. 手动创建安装配置文件 4.10.8.1. 安装配置参数 4.10.8.1.1. 所需的配置参数 4.10.8.1.2. 网络配置参数 4.10.8.1.3. 可选配置参数 4.10.8.1.4. 可选的

5.7. 在 ALIBABA CLOUD 上卸载集群 第 第 6 章 章 在 在 AWS 上安装 上安装 6.1. 准备在 AWS 上安装 6.2. 配置 AWS 帐户 6.3. 为 AWS 手动创建 IAM 6.4. 在 AWS 上快速安装集群 6.5. 使用自定义在 AWS 上安装集群 6.6. 使用自定义网络在 AWS 上安装集群 6.7. 在受限网络中的 AWS 上安装集群 6.8 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.3. 为 AZURE 手动创建 IAM 7.4. 为 AZURE 启用用户管理的加密 7.5. 在 AZURE 上快速安装集群 7.6. 使用自定义在 AZURE 上安装集群 7.7. 使用网络自定义在 AZURE 上安装集群 6. 在 AZURE STACK HUB 上卸载集群 第 第 9 章 章 在 在 GCP 上安装 上安装 9.1. 准备在 GCP 上安装 9.2. 配置 GCP 项目 9.3. 为 GCP 手动创建 IAM 9.4. 在 GCP 上快速安装集群 9.5. 使用自定义在 GCP 上安装集群 9.6. 使用自定义网络在 GCP 上安装集群 9.7. 在受限网络中的 GCP 上安装集群 9

关于使用 Vertical Pod Autoscaler Operator 2.5.3.1. 自动应用 VPA 建议 2.5.3.2. 在创建 pod 时自动应用 VPA 建议 2.5.3.3. 手动应用 VPA 建议 2.5.3.4. 阻止容器特定容器应用 VPA 建议 2.5.4. 使用 Vertical Pod Autoscaler Operator 2.5.5. 卸载 Vertical 决定节点的最佳 system-reserved CPU 和内存资源，也可以手动为节点决定和设置最佳资源。 根据 节点上的处理器内核数和或硬限制，配置可在节点上运行的 pod 数量。 使用 pod 反关联性 安全地重新引导节点。 通过使用机器集缩减 集群来从集群中删除节点。要从裸机集群中删除节点，您必须首先排空节点 上的所有 pod，然后手动删除该节点。 功能增 功能增强 强操作 操作 OpenShift 秒（periodSeconds: 30），直到剩余 20 个副本（minReplicas）。 selectPolicy: Disabled 参数可防止 HPA 扩展 pod。如果需要，可以通过调整副本集或部署集中的副本 数来手动扩展。 如果设置，您可以使用 oc edit 命令查看扩展策略： 输 输出示例 出示例 2.4.2. 使用 Web 控制台创建 pod 横向自动扩展 在 web 控制台中，您可以创建一个 pod

OPERATOR 3.9. 后续步骤 3.10. 其他资源 第 第 4 章 章 在 在 AWS 上安装 上安装 4.1. 准备在 AWS 上安装 4.2. 配置 AWS 帐户 4.3. 为 AWS 手动创建 IAM 4.4. 在 AWS 上快速安装集群 4.5. 使用自定义在 AWS 上安装集群 4.6. 使用自定义网络在 AWS 上安装集群 4.7. 在受限网络中的 AWS 上安装集群 4.8 4.13. 在 AWS 上卸载集群 第 第 5 章 章 在 在 AZURE 上安装 上安装 5.1. 准备在 AZURE 上安装 5.2. 配置 AZURE 帐户 5.3. 为 AZURE 手动创建 IAM 5.4. 在 AZURE 上快速安装集群 5.5. 使用自定义在 AZURE 上安装集群 5.6. 使用网络自定义在 AZURE 上安装集群 5.7. 将 AZURE 上的集群安装到现有的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.2. 配置 GCP 项目 6.3. 为 GCP 手动创建 IAM 6.4. 在 GCP 上快速安装集群 6.5. 使用自定义在 GCP 上安装集群 6.6. 使用自定义设置在 GCP 上安装集群 6.7. 在受限网络中的 GCP 上安装集群 6.8

Autoscaler Operator 2.5.3.1. 更改 VPA 最小值 2.5.3.2. 自动应用 VPA 建议 2.5.3.3. 在创建 pod 时自动应用 VPA 建议 2.5.3.4. 手动应用 VPA 建议 2.5.3.5. 阻止容器特定容器应用 VPA 建议 2.5.4. 使用 Vertical Pod Autoscaler Operator 2.5.5. 卸载 Vertical 如何计算分配的资源 5.10.1.2. 节点如何强制实施资源限制 5.10.1.3. 了解驱除阈值 5.10.1.4. 调度程序如何确定资源可用性 5.10.2. 自动为节点分配资源 5.10.3. 手动为节点分配资源 5.11. 为集群中的节点分配特定 CPU 5.11.1. 为节点保留 CPU 5.12. 为 KUBELET 启用 TLS 安全配置集 5.12.1. 了解 TLS 安全配置集 定节点的最佳 system-reserved CPU 和内存资源，也可以手动决定并为节点设置最佳资源。 根据节点上的处理器内核数、硬限制或两者，配置可在节点上运行的 pod 数量。 使用 pod 反关联性来安全地重新引导节点。 通过使用机器集缩减集群，从集群中删除节点。要从裸机集群中删除节点，您必须首先排空节点 上的所有 pod，然后手动删除该节点。 增 增强 强操作 操作 OpenShift Container

后续步骤 第 第 26 章 章 安装 安装问题 问题的故障排除 的故障排除 26.1. 先决条件 26.2. 从失败安装中收集日志 26.3. 使用到主机的 SSH 访问手动收集日志 26.4. 在不使用 SSH 访问主机的情况下手动收集日志 26.5. 从安装程序获取调试信息 26.6. 重新安装 OPENSHIFT CONTAINER PLATFORM 集群 第 第 27 章 章 支持 支持 有配置和更新。 Operator 在 OpenShift Container Platform 集群中打包、部署和管理 Kubernetes 应用程序的首选方法。 Operator 将人类操作知识编码到一个软件程序中，易于打包并与客户共享。 用 用户 户置 置备 备的基 的基础 础架 架构 构 您可以在自己提供的基础架构上安装 OpenShift Container Platform。您可以使用安装程序来生成置备 引用其加入的集群中托管的资源。此配置允许集群在应用更新时自行管理。 OpenShift Container Platform 4.14 安装 安装 10 如果可能，请使用 Assisted Installer 功能来避免下载和配置基于代理的安装程序。 基于代理的基 基于代理的基础 础架 架构 构的安装 的安装过 过程 程 基于代理的安装与使用 Assisted Installer 类似，唯一的不同是需要在最初下载并安装基于代理的安装程