1 2021年06月 机器学习-机器学习项目流程 黄海广 副教授 2 本章目录 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 3 1.机器学习项目流程概述 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 4 机器学习的一般步骤 5 机器学习的一般步骤 数据搜集 数据清洗 数据清理和格式化 • 探索性数据分析(EDA) • 特征工程 • 特征选择 • 网络下载 • 网络爬虫 • 数据库读取 • 开放数据 • …… 7 2.数据清洗 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 8 2.数据清洗 什么是数据清洗？ 数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包 括检查数据 拼写错误 命名习惯 数理统计技术 数据挖掘技术 脏数据 数据清理策略、规则 满足数据质量要求的数据 数据清理原理 10 探索性数据分析(EDA) 探索性数据分析（EDA）是一个开放式流程，我们制作绘图并计算 统计数据，以便探索我们的数据。 •目的是找到异常，模式，趋势或关系。 这些可能是有趣的（例如， 找到两个变量之间的相关性），或者它们可用于建模决策，例如使 用哪些特征。

大纲 数据类型 常量和变量 关键字与标识符 运算符与表达式 从键盘获得输入 语句 分支结构 循环结构 Java 应用与开发 Java 语言基础与流程控制 王晓东 wangxiaodong@ouc.edu.cn 中国海洋大学 August 28, 2018 大纲 数据类型 常量和变量 关键字与标识符 运算符与表达式 从键盘获得输入 语句 分支结构 循环结构 参考书目 1. 陈国君等编著 运算符与表达式 从键盘获得输入 语句 分支结构 循环结构 学习目标 ▶ Java 语言基础 1. 数据类型 2. 常量和变量 3. 关键字与标识符 4. 运算符与表达式 5. 从键盘输入数据 ▶ 流程控制 1. 语句和复合语句 2. 分支结构（选择结构） 3. 循环结构 4. 跳转语句 大纲 数据类型 常量和变量 关键字与标识符 运算符与表达式 从键盘获得输入 语句 分支结构 循环结构 大纲 System.out.println(i); 5 } 大纲 数据类型 常量和变量 关键字与标识符 运算符与表达式 从键盘获得输入 语句 分支结构 循环结构 循环中的跳转 break 语句 使程序的流程从一个语句块（switch 或循环结构） 内跳出。 continue 语句 终止当前这一轮（次）的循环，进入下一轮（次） 循环。 return 语句 用来使程序从方法（函数）中返回，可返回一个值。

背景 整体设计 元数据采用2层索引 对象名设计 读写缓存分离 缓存层级 对外接口 后台刷数据线程 本地磁盘缓存 关键数据结构 详细设计 Write流程 Read流程 ReleaseCache流程 Flush流程 FsSync流程 后台流程 poc测试验证 背景 基于s3的daemon版本基于基本的性能测试发现性能非常差。具体数据如下： 通过日志初步分析有2点原因© XXX Page 3操作过多 2.对于4k 小io每次都要和s3交互，导致性能非常差。 因此需要通过Cache模块解决以上2个问题。 整体设计 整个dataCache的设计思路，在写场景下能将数据尽可能的合并后flush到s3上，在读场景上，能够预读1个block大小，减少顺序读对于底层s3的访问频次。从这个思路上该缓存方案主要针对的场景是顺序写和顺序 读，而对于随机写和随机读来说也会有一定性能提升，但效果可能不会太好。 +inodeId。增加inodeId的目的是为了后续从对象存储上遍历，反查文件，这里就要求inodeId是永远不可重复。 读写缓存分离 读写缓存的设计采用的是读写缓存分离的方案。 写缓存一旦flush即释放，读缓存采用可设置的策略进行淘汰（默认LRU），对于小io进行block级别的预读。 即读写缓存相互没影响不相关， 缓存层级 缓存层级分为fs->file->chunk->datacache

节点可能没有足够的内存在集群中运行 Elasticsearch。如果遇到与 Elasticsearch 相关的 内存问题，在集群中添加更多 Elasticsearch 节点，而不是增加现有节点上的内存。 流程 流程 使用 OpenShift Container Platform Web 控制台安装 OpenShift Elasticsearch Operator 和 Red Hat OpenShift Logging 节点可能没有足够的内存在集群中运行 Elasticsearch。如果遇到与 Elasticsearch 相关的 内存问题，在集群中添加更多 Elasticsearch 节点，而不是增加现有节点上的内存。 流程 流程 使用 CLI 安装 OpenShift Elasticsearch Operator 和 Red Hat OpenShift Logging Operator： 1. 为 OpenShift Forward API 配置使用审计日志的 default 输出的管道。 在创建索引模式前，Elasticsearch 文档必须被索引。这会自动完成，但在一个新的或更新的集群 中可能需要几分钟。 流程 流程 在 Kibana 中定义索引模式并创建视觉化： 1. 在 OpenShift Container Platform 控制台中点击 Application Launcher 并选择 Logging。

启用集群。 先决条件 先决条件 OpenShift Container Platform: 4.10 Red Hat OpenShift 的 logging 子系统： 5.4 禁用 FIPS 流程 流程 1. 编辑 openshift-logging 项目中的 ClusterLogging 自定义资源（CR）： 2. 为 ClusterLogging 自定义资源(CR)添加 logging.openshift Elasticsearch Operator 不会覆盖第三方拥有的字段。(LOG-1714) 在更新前，在 ClusterLogging 自定义资源 (CR) 定义中，如果您指定了 flush_interval 值但没有 将 flush_mode 设置为 interval，Red Hat OpenShift Logging Operator 会生成 Fluentd 配置。 但是，Fluentd 收集器在运行时生成一个错误。在这个版本中，Red 节点可能没有足够的内存在集群中运行 Elasticsearch。如果遇到与 Elasticsearch 相关的 内存问题，在集群中添加更多 Elasticsearch 节点，而不是增加现有节点上的内存。 流程 流程 使用 OpenShift Container Platform Web 控制台安装 OpenShift Elasticsearch Operator 和 Red Hat OpenShift Logging

出代码的关键入口点，如 想详细了解 NameServer 路由消息、消息发送高可用的实现原理，建议查阅笔者的书籍《 RocketMQ 技术内幕》第二、三章。 Step1：在 Broker 启动流程中，会构建 TopicConfigManager 对象，其构造方法中 首先会判断是否开启了允许自动创建主题，如果启用了自动创建主题，则向 topicConfigT able 中添加默认主题的路由信息。 名称，消息发送 topic 名称，使用的队列 数量为 DefaultMQProducer#defaultTopicQueueNums，即默认为 4。 Step4：Broker 端收到消息后的处理流程 服务端收到消息发送的处理器为：SendMessageProcessor，在处理消息发送时， 会调用 super.msgCheck 方法： AbstractSendMessageProcessor#msgCheck 本文来自『中间件兴趣圈』公众号，仅作技术交流，未授权任何商业行为。 25 > 1.2 生产环境中，autoCreateTopicEnable 为什么不能设置为 true 现象分析 经过上面自动创建路由机制的创建流程，我们可以比较容易的分析得出如下结论： 因为开启了自动创建路由信息，消息发送者根据 Topic 去 NameServer 无法得到路由 信息，但接下来根据默认 Topic 从 NameServer

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1105 11.3.3 SQL 优化流程 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 导入数据的性能 #7272 @breezewish • Tools – Backup & Restore (BR) * 支持在备份日志时修改 TiKV 配置项 log-backup.max-flush-interval #14433 @joccau – TiCDC * 优化同步数据到对象存储的场景下发生 DDL 事件时的目录结构 #8890 @CharlesCheung96 * 优化 TiCDC Y Y Y Y Y Y Y Y Y 日期和时间类型 Y Y Y Y Y Y Y Y Y 字符串类型 Y Y Y Y Y Y Y Y Y JSON 类型 Y Y E E E E E E E 控制流程函数 Y Y Y Y Y Y Y Y Y 字符串函数 Y Y Y Y Y Y Y Y Y 数值函数与操作符 Y Y Y Y Y Y Y Y Y 日期和时间函数 Y Y Y Y Y Y Y Y Y

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1116 11.3.3 SQL 优化流程 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · com/zh/tidb/v8.1/ �→ system-variables#tidb_enable_auto_analyze_priority_queue-从-v800-版本开始引入">优先队列 �→ ，使流程更加流畅，并在大量表的情况下提高稳定性。