1 2021年06月 机器学习-机器学习项目流程 黄海广 副教授 2 本章目录 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 3 1.机器学习项目流程概述 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 4 机器学习的一般步骤 5 机器学习的一般步骤 数据搜集 数据清洗 数据清理和格式化 • 探索性数据分析(EDA) • 特征工程 • 特征选择 • 网络下载 • 网络爬虫 • 数据库读取 • 开放数据 • …… 7 2.数据清洗 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 8 2.数据清洗 什么是数据清洗？ 数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包 括检查数据 拼写错误 命名习惯 数理统计技术 数据挖掘技术 脏数据 数据清理策略、规则 满足数据质量要求的数据 数据清理原理 10 探索性数据分析(EDA) 探索性数据分析（EDA）是一个开放式流程，我们制作绘图并计算 统计数据，以便探索我们的数据。 •目的是找到异常，模式，趋势或关系。 这些可能是有趣的（例如， 找到两个变量之间的相关性），或者它们可用于建模决策，例如使 用哪些特征。

使用 web 控制台连接至虚拟机的串行控制台或 VNC控制台。 使用 SSH 连接到虚拟机。 使用 RDP 连接至 Windows 虚拟机。 管理虚 管理虚拟 拟机 机 从 web 控制台停止、启动、暂停和重启虚拟机。 使用 virtctl 从命令行管理虚拟机，公开端口，连接到虚拟机的串行控制台。 2.3. 后续步骤 将虚 将虚拟 拟机 机连 连接到二 接到二级 级网 网络 络 将虚拟机连接到 监控、视觉化和控制在默认 pod 网络上运行虚拟机工作负载的 pod 间的流量。 OpenShift Virtualization 现在提供了一个统一的 API，用于自动导入和更新预定义的引导源。 3.3.1. 快速启动 有几个 OpenShift Virtualization 功能提供快速入门导览。要查看导览，请点击 OpenShift Virtualization 控制台标题菜单栏中的 Help 图标 ?，然后选择 Cloud Bare Metal Servers 上安装 OpenShift Virtualization 。不支持由其他 云提供商提供的裸机服务器。 3.6. 程序错误修复 如果您在克隆源可用前启动克隆操作，克隆操作现在可以成功完成，而无需使用临时解决方案。 (BZ#1855182) 如果虚拟机在版本 4.8 之前引用 OpenShift Virtualization 提供的已删除模板，则编辑虚拟机会失

中禁用WEB控制台 控制台 7.1. 先决条件 7.2. 禁用WEB控制台 第 第 8 章 章 在 在 WEB 控制台中 控制台中创 创建快速 建快速启动 启动指南 指南 8.1. 了解快速开始 8.2. 快速启动用户工作流 8.3. 快速启动组件 8.4. 快速开始 8.5. 快速开始内容指南 8.6. 其他资源 3 3 4 6 6 6 7 7 8 8 8 9 9 10 11 OpenShift Container Platform Web 控制台中的管理 管理员 员视角提供了特定于管理员用例的工作流。您可以通 过 Web 控制台访问管理 管理员 员视角，如下所示： 流程 流程 使用登录凭证登录到 OpenShift Container Platform web 控制台，以访问管理 管理员 员视角。 第 第 1 章 章 WEB 控制台概述 控制台概述 3 1.2 先决条件 先决条件 要访问 Developer 视角，需要已登陆到 web 控制台。OpenShift Container Platform Web 控制台的默认 视图是开 开发 发者 者视角。 流程 流程 1. 使用视角切换功能把它切换到 Developer 视角。此时会显示包含集群中所有项目的列表的 Topology 视图。 图 图 1.1. Developer Perspective (开

OpenShift Container Platform 是面向开发人员的企业就绪 Kubernetes 平台，使组织能够通过 DevOps 实践（如持续集成(CI)和持续交付(CD)）自动化应用程序交付流程。为了满足您的机构需求，OpenShift Container Platform 提供以下 CI/CD 解决方案： OpenShift 构建 OpenShift Pipelines OpenShift OpenShift Container Platform 4.13 CI/CD 4 采用自定义构建策略时，开发人员可以定义负责整个构建过程的特定构建器镜像。通过利用自己的构建器 镜像，可以自定义构建流程。 自定义构建器镜像是嵌入了构建过程逻辑的普通容器镜像，例如用于构建 RPM 或基本镜像的逻辑。 自定义构建以级别很高的特权运行，默认情况下不可供用户使用。只有可赋予集群管理权限的用户才应被 授予运行自定义构建的权限。 Management 系统中。 采用 Pipeline 构建策略时，开发人员可以定义 Jenkins 管道，供 Jenkins 管道插件使用。构建可以由 OpenShift Container Platform 启动、监控和管理，其方式与任何其他构建类型相同。 Pipeline 工作流在 jenkinsfile 中定义，或直接嵌入在构建配置中，或者在 Git 存储库中提供并由构建配置 引用。 2.2. 了解构建配置

连接到虚拟机： 使用 web 控制台连接至虚拟机的串行控制台或 VNC控制台。 使用 SSH 连接到虚拟机。 使用 RDP 连接到 Windows 虚拟机 。 管理虚拟机： 使用 Web 控制台停止、启动、暂停和重启虚拟机。 使用 virtctl CLI 工具管理虚拟机、公开端口或连接到串行控制台。 第 第 3 章 章 OPENSHIFT VIRTUALIZATION 入 入门 门 15 导出虚拟机。 VirtualMachine 集群类型 OpenShift Container Platform 4.13 虚 虚拟 拟化 化 24 引导模式 点编辑图标编辑引导模式。 以 pause 模式启动 点编辑图标启用此设置。 模板 用于创建 VirtualMachine 的模板的名称 创建于 VirtualMachine 创建日期 所有者 VirtualMachine 所有者 Status 持。监控工具文档已移至 Monitoring。 您可以使用 LokiStack 在 web 控制台中查看并过滤聚合的 OpenShift Virtualization 日志。 5.3.1. 快速启动 有几个 OpenShift Virtualization 功能提供快速入门导览。要查看导览，请点击 OpenShift Virtualization 控制台标题菜单栏中的 Help 图标 ?，然后选择

Ignition 配置文件 1.1.11. 安装 RHCOS 并启动 OpenShift Container Platform bootstrap 过程 1.1.11.1. 使用 ISO 镜像创建 Red Hat Enterprise Linux CoreOS (RHCOS) 机器 1.1.11.2. 通过 PXE 或 iPXE 启动来创建 Red Hat Enterprise Linux CoreOS Ignition 配置文件 1.2.13. 安装 RHCOS 并启动 OpenShift Container Platform bootstrap 过程 1.2.13.1. 使用 ISO 镜像创建 Red Hat Enterprise Linux CoreOS (RHCOS) 机器 1.2.13.2. 通过 PXE 或 iPXE 启动来创建 Red Hat Enterprise Linux CoreOS chrony 时间服务 1.3.11. 安装 RHCOS 并启动 OpenShift Container Platform bootstrap 过程 1.3.11.1. 使用 ISO 镜像创建 Red Hat Enterprise Linux CoreOS (RHCOS) 机器 1.3.11.2. 通过 PXE 或 iPXE 启动来创建 Red Hat Enterprise Linux CoreOS

在应用程序中添加服务 4.8. 从应用程序中删除服务 4.9. 用于 TOPOLOGY 视图的标签和注解 4.10. 其他资源 第 第 5 章 章 导 导出 出应 应用程序 用程序 5.1. 先决条件 5.2. 流程 第 第 6 章 章 将 将应 应用程序 用程序连 连接到服 接到服务 务 6.1. SERVICE BINDING OPERATOR 发行注记 6.2. 了解 SERVICE BINDING default、kube- system、kube-public、openshift-node、openshift-infra、openshift。您不能使用这些 命名空间用来运行 pod 或服务。 流程 流程 1. 浏览至 Home → Project。 2. 点击 Create Project。 3. 输入项目详情。 4. 点击 Create。 2.1.2. 在 Web 控制台中使用 Developer 命名空间用来运行 pod 或服务。 先决条件 先决条件 在 OpenShift Container Platform 中，确保您有适当的角色和权限来创建项目、应用程序和其他 工作负载。 流程 流程 您可以使用 Developer 视角创建项目，如下所示： 1. 点 Project 下拉菜单来查看所有可用的项目。选择 Create Project。 图 图 2.1. Create Project

构建 建 6.1. 先决条件 6.2. 创建自定义构建工件 6.3. 构建自定义构建器镜像 6.4. 使用自定义构建器镜像 第 第 7 章 章 执 执行基本 行基本构 构建 建 7.1. 启动构建 7.2. 取消构建 7.3. 删除 BUILDCONFIG 7.4. 查看构建详情 7.5. 访问构建日志 第 第 8 章 章 触 触发 发和修改 和修改构 构建 建 8.1. 构建触发器 本。这可确保精确地重新生成 镜像。 1.1.3. Custom 构建 采用 Custom 构建策略时，开发人员可以定义负责整个构建过程的特定构建器镜像。通过利用自己的构建 器镜像，可以自定义构建流程。 自定义构建器（Custom builder）镜像是嵌入了构建过程逻辑的普通 Docker 格式容器镜像，例如用于构 建 RPM 或基础镜像。 Custom 构建以级别很高的特权运行，默认情况 Pipeline 构建策略时，开发人员可以定义由 Jenkins Pipeline 插件执行的 Jenkins Pipeline。构建可以 由 OpenShift Container Platform 启动、监控和管理，其方式与任何其他构建类型相同。 Pipeline 工作流在 Jenkinsfile 中定义，或直接嵌入在构建配置中，或者在 Git 存储库中提供并由构建配置 引用。 第 第 1 章

10.1. 了解模板 10.2. 上传模板 10.3. 使用 WEB 控制台创建应用程序 10.4. 使用 CLI 从模板创建对象 10.5. 修改所上传的模板 10.6. 使用即时应用程序和快速启动模板 10.7. 编写模板 第 第 11 章 章 使用 使用 RUBY ON RAILS 11.1. 先决条件 11.2. 设置数据库 11.3. 编写应用程序 11.4. 将应用程序部署至 Kubernetes 对象等其他资源提供了通用触发器。 您可以为定期重新导入标记标签。如果源镜像已更改，则这个更改会被发现并反应在镜像流中。 取决于构建或部署的具体配置，这可能会触发构建和/或部署流程。 您可使用细粒度访问控制来共享镜像，快速向整个团队分发镜像。 如果源更改，imagestreamtag 仍将指向已知良好的镜像版本，以确保您的应用程序不会意外中 断。 您可以通过镜像流对象的 镜像流触发器（imagestream trigger）会在镜像流标签更改时引发特定操作。例如，导入可导致标签值变 化。当有部署、构建或其他资源监听这些信息时，就会启动触发器。 1.12. 如何使用 CLUSTER SAMPLES OPERATOR 在初始启动时，Operator 会创建默认样本资源来初始化镜像流和模板的创建过程。您可以使用 Cluster Samples Operator 管理存储在 openshift

优化的 CRI-O 容器运行 时。 OpenShift Container Platform 4.14 集群中的每一 control plane 机器都必须使用 RHCOS，其中包括一个 关键的首次启动置备工具，称为 Ignition。这一工具让集群能够配置机器。操作系统更新作为可引导容器 镜像（使用 OSTree 作为后端）提供，该镜像由 Machine Config Operator 在集群中部署。实际的操作系 代理，并为您处理置备，您不需要与安装程序进行交互或自行设置置备程序机器。您需要提供所 有集群基础架构和资源，包括网络、负载均衡、存储和单个集群机器。这个方法适用于断开连接 的环境。 对于具有安装程序置备的基础架构集群，您可以将基础架构启动和置备委派给安装程序，而不是 亲自执行。安装程序将创建支持集群所需的所有网络、机器和操作系统，除非您载裸机上安装。 如果在裸机上安装，您必须提供所有集群基础架构和资源，包括 bootstrap 机器、网络、负载均 件。但是，没有可用的验证机制来确认您对这些对象所做修改是适当的。如果修改了这些 对象，集群可能会无法运行。由于存在这种风险，修改 Kubernetes 和 Ignition 配置文件不 受支持，除非您遵循记录的流程或在红帽支持指示下操作。 安装配置文件转换为 Kubernetes 清单，然后清单嵌套到 Ignition 配置文件中。安装程序使用这些 Ignition 配置文件来创建集群。 运行安装程序时，