1 2021年06月 机器学习-机器学习项目流程 黄海广 副教授 2 本章目录 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 3 1.机器学习项目流程概述 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 4 机器学习的一般步骤 5 机器学习的一般步骤 数据搜集 数据清洗 数据清理和格式化 • 探索性数据分析(EDA) • 特征工程 • 特征选择 • 网络下载 • 网络爬虫 • 数据库读取 • 开放数据 • …… 7 2.数据清洗 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 8 2.数据清洗 什么是数据清洗？ 数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包 括检查数据 拼写错误 命名习惯 数理统计技术 数据挖掘技术 脏数据 数据清理策略、规则 满足数据质量要求的数据 数据清理原理 10 探索性数据分析(EDA) 探索性数据分析（EDA）是一个开放式流程，我们制作绘图并计算 统计数据，以便探索我们的数据。 •目的是找到异常，模式，趋势或关系。 这些可能是有趣的（例如， 找到两个变量之间的相关性），或者它们可用于建模决策，例如使 用哪些特征。

节点可能没有足够的内存在集群中运行 Elasticsearch。如果遇到与 Elasticsearch 相关的 内存问题，在集群中添加更多 Elasticsearch 节点，而不是增加现有节点上的内存。 流程 流程 使用 OpenShift Container Platform Web 控制台安装 OpenShift Elasticsearch Operator 和 Red Hat OpenShift Logging 节点可能没有足够的内存在集群中运行 Elasticsearch。如果遇到与 Elasticsearch 相关的 内存问题，在集群中添加更多 Elasticsearch 节点，而不是增加现有节点上的内存。 流程 流程 使用 CLI 安装 OpenShift Elasticsearch Operator 和 Red Hat OpenShift Logging Operator： 1. 为 OpenShift Forward API 配置使用审计日志的 default 输出的管道。 在创建索引模式前，Elasticsearch 文档必须被索引。这会自动完成，但在一个新的或更新的集群 中可能需要几分钟。 流程 流程 在 Kibana 中定义索引模式并创建视觉化： 1. 在 OpenShift Container Platform 控制台中点击 Application Launcher 并选择 Logging。

启用集群。 先决条件 先决条件 OpenShift Container Platform: 4.10 Red Hat OpenShift 的 logging 子系统： 5.4 禁用 FIPS 流程 流程 1. 编辑 openshift-logging 项目中的 ClusterLogging 自定义资源（CR）： 2. 为 ClusterLogging 自定义资源(CR)添加 logging.openshift Elasticsearch Operator 不会覆盖第三方拥有的字段。(LOG-1714) 在更新前，在 ClusterLogging 自定义资源 (CR) 定义中，如果您指定了 flush_interval 值但没有 将 flush_mode 设置为 interval，Red Hat OpenShift Logging Operator 会生成 Fluentd 配置。 但是，Fluentd 收集器在运行时生成一个错误。在这个版本中，Red 节点可能没有足够的内存在集群中运行 Elasticsearch。如果遇到与 Elasticsearch 相关的 内存问题，在集群中添加更多 Elasticsearch 节点，而不是增加现有节点上的内存。 流程 流程 使用 OpenShift Container Platform Web 控制台安装 OpenShift Elasticsearch Operator 和 Red Hat OpenShift Logging

出代码的关键入口点，如 想详细了解 NameServer 路由消息、消息发送高可用的实现原理，建议查阅笔者的书籍《 RocketMQ 技术内幕》第二、三章。 Step1：在 Broker 启动流程中，会构建 TopicConfigManager 对象，其构造方法中 首先会判断是否开启了允许自动创建主题，如果启用了自动创建主题，则向 topicConfigT able 中添加默认主题的路由信息。 名称，消息发送 topic 名称，使用的队列 数量为 DefaultMQProducer#defaultTopicQueueNums，即默认为 4。 Step4：Broker 端收到消息后的处理流程 服务端收到消息发送的处理器为：SendMessageProcessor，在处理消息发送时， 会调用 super.msgCheck 方法： AbstractSendMessageProcessor#msgCheck 本文来自『中间件兴趣圈』公众号，仅作技术交流，未授权任何商业行为。 25 > 1.2 生产环境中，autoCreateTopicEnable 为什么不能设置为 true 现象分析 经过上面自动创建路由机制的创建流程，我们可以比较容易的分析得出如下结论： 因为开启了自动创建路由信息，消息发送者根据 Topic 去 NameServer 无法得到路由 信息，但接下来根据默认 Topic 从 NameServer

manageNetworkPolicy，Red Hat OpenShift Service Mesh 不 会创建 任何 NetworkPolicy 对象。系统管理员负责管理网络并修复可能导致的任何问题。 流程 1. 在 OpenShift Container Platform web 控制台中，点击 Operators → Installed Operators。 2. 从 Project 菜单中选择安装 个微服务间追踪请求的路径。 分布式追踪是用来将不同工作单元的信息关联起来的技术，通常是在不同进程或主机中执行的，以便理解 分布式事务中的整个事件链。分布式追踪可让开发人员在大型服务架构中视觉化调用流程。它对理解序列 化、平行和延迟来源会很有价值。 分布式追踪平台记录了在微服务的整个堆栈间执行单个请求，并将其显示为 trace。trace是系统的数据/ 执行路径。端到端追踪包含一个或多个范围。 distributed tracing Platform Operator 将使用已安装的 OpenShift Elasticsearch Operator 创建 Elasticsearch 实例。 流程 1. 以具有 cluster-admin 角色的用户身份登录到 OpenShift Container Platform web 控制台。如果 使用 Red Hat OpenShift Dedicated，则必须有一个具有

(s390x)架构中会失败。(TRACING-3545) 1.1.5. 获取支持 OpenShift Container Platform 4.14 分布式追踪 分布式追踪 4 如果您在执行本文档所述的某个流程或 OpenShift Container Platform 时遇到问题，请访问 红帽客户门户 网站。 通过红帽客户门户网站： 搜索或者浏览红帽知识库，了解与红帽产品相关的文章和解决方案。 提交问题单给红帽支持。 问题 目前，您必须手动将 operator 成熟度 设置为 Level IV, Deep Insights。( TRACING-3431) 1.2.7. 获取支持 如果您在执行本文档所述的某个流程或 OpenShift Container Platform 时遇到问题，请访问 红帽客户门户 网站。 通过红帽客户门户网站： 搜索或者浏览红帽知识库，了解与红帽产品相关的文章和解决方案。 提交问题单给红帽支持。 问题 目前，您必须手动将 operator 成熟度 设置为 Level IV, Deep Insights。( TRACING-3431) 1.3.7. 获取支持 如果您在执行本文档所述的某个流程或 OpenShift Container Platform 时遇到问题，请访问 红帽客户门户 网站。 通过红帽客户门户网站： 搜索或者浏览红帽知识库，了解与红帽产品相关的文章和解决方案。 提交问题单给红帽支持。

slave、黑名单和白名单。由于此项工作十分艰巨，这些更改将在即将推出的几个发行版本中逐步实施。详 情请查看 CTO Chris Wright 信息。 1.3. 获取支持 如果您在执行本文档所述的某个流程或 OpenShift Container Platform 时遇到问题，请访问 红帽客户门户 网站。通过红帽客户门户网站： 搜索或者浏览红帽知识库，了解与红帽产品相关的文章和解决方案。 提交问题单给红帽支持。 布式追踪，在组成一个应用程序的多个微服务间记录请求的路径。 分布式追踪是用来将不同工作单元的信息关联起来的技术，通常是在不同进程或主机中执行的，以便理解 分布式事务中的整个事件链。开发人员可以视觉化在大型微服务架构中调用的流程。它对理解序列化、并 行性和延迟来源有价值。 Red Hat OpenShift distributed tracing 记录了在微服务的整个堆栈间执行单个请求，并将其显示为 trace。trace是系统的数据/执行路径。一个端到端的 Operator 前安装 OpenShift Elasticsearch Operator。 警告 警告 不要安装 Operators 的 Community 版本。不支持社区 Operator。 流程 流程 1. 以具有 cluster-admin 角色的用户身份登录到 OpenShift Container Platform web 控制台。如果 使用 Red Hat OpenShift Dedicated，则必须有一个具有

7.2.1 异步刷盘 MEMORY JAVA HEAP DISK Producer Flush Asynchronously 在有 RAID 卡，SAS 15000 转磁盘测试顺序写文件，速度可以达到 300M 每秒左史，而线上的网卡一般都为千兆 网卡，写磁盘速度明显快亍数据网 MEMORY JAVA HEAP DISK Producer Flush Synchronously 同步刷盘不异步刷盘的唯一区别是异步刷盘写完 PAGECACHE 直接迒回，而同步刷盘需要等待刷盘完成才迒回， 同步刷盘流程如下： (1). 写入 PAGECACHE 后，线程等待，通知刷盘线程刷盘。 (2). 刷盘线程刷盘后，唤醒前端等待线程，可能是一批线程。 ASYNC_MASTER 异步复制 Master - SYNC_MASTER 同步双写 Master - SLAVE flushDiskType ASYNC_FLUSH 刷盘方式 - ASYNC_FLUSH 异步刷盘 - SYNC_FLUSH 同步刷盘 cleanFileForciblyEnable TRUE 磁盘满、且无过期文件情况下 TRUE 表示强制删除文件，优 先保证服务可用

................................................................................. 5 一：Producer 启动流程 .................................................................................................. ................................................................................ 14 一：consumer 启动流程 .................................................................................................. .................................................................................. 46 二：Namesrv 启动流程： .................................................................................................

V2通过GRPC双向流，主动推送配置给envoy： ü事件触发 • 当配置有增/删/改事件 ü定时触发 • 可配置环境变量 V2_REFRESH，定时推送配置Mixer——遥测报告 u上报的原始数据 u异步Flush给Adapter u转换成属性词汇 u问题讨论属性词汇 Name Type Description Kubernetes Example source.id string Platform-specific "bc1f172f-b8e3-4ec0-a070-f2f6de38a24f","718"]转换成属性词汇异步Flush到Adapter ü通过Template润色数据 ü使用Go的协程异步Flush到Adapter üAdapter展示数据 ü响应envoy数据处理完成问题讨论 Report流程回顾 üEnvoy异步批量发送数据给Mixer üMixer使用协程池处理Adapter ü处理完成所有Adapter才响应Envoy