1 2023年06月 机器学习-决策树 黄海广 副教授 2 本章目录 01 决策树原理 02 ID3算法 03 C4.5算法 04 CART算法 3 1.决策树原理 01 决策树原理 02 ID3算法 03 C4.5算法 04 CART算法 4 长相 能 帅 不帅 家庭背景 好 能 不好 人品 好 上进心 能 不能 有 有 无 不能 不好 1.决策树原理 ⚫ 决策树：从训练数据中学习得出一个树状 结构的模型。 ⚫ 决策树属于判别模型。 ⚫ 决策树是一种树状结构，通过做出一系列 决策（选择）来对数据进行划分，这类似 于针对一系列问题进行选择。 ⚫ 决策树的决策过程就是从根节点开始，测 试待分类项中对应的特征属性，并按照其 值选择输出分支，直到叶子节点，将叶子 节点的存放的类别作为决策结果。 node) 5 1.决策树原理 根节点 (root node) 非叶子节点 (non-leaf node) (代表测试条件，对数据属性的测试) 分支 (branches) (代表测试结果) 叶节点 (leaf node) (代表分类后所获得的分类标记) ⚫ 决策树算法是一种归纳分类算法 ，它通过对训练集的学习，挖掘 出有用的规则，用于对新数据进 行预测。 ⚫ 决策树算法属于监督学习方法。

学习语言模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303 8.3.2 马尔可夫模型与n元语法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 305 8.3.3 自然语言统计 . . . . . . . 以使用它。这有助于给从业者提供快速解决问题所需的弹药，同时需要读者相信我们的一些决定。 这本书将从头开始教授深度学习的概念。有时，我们想深入研究模型的细节，这些的细节通常会被深度学习 框架的高级抽象隐藏起来。特别是在基础教程中，我们希望读者了解在给定层或优化器中发生的一切。在这 些情况下，我们通常会提供两个版本的示例：一个是我们从零开始实现一切，仅依赖张量操作和自动微分； 另一个是更实际的 的产品。 在这些情况下，即使是顶级程序员也无法提出完美的解决方案，原因可能各不相同。有时任务可能遵循一种 随着时间推移而变化的模式，我们需要程序来自动调整。有时任务内的关系可能太复杂（比如像素和抽象类 别之间的关系），需要数千或数百万次的计算。即使人类的眼睛能毫不费力地完成这些难以提出完美解决方 案的任务，这其中的计算也超出了人类意识理解范畴。机器学习（machine learning，ML）是一类强大的可

的 LLaMA 以及亚马逊的 Bedrock 等）在我们的讨论中占据重要地位。更广泛来说，大语言模型可以应用于从 内容生成（文本、图片和视频）、代码生成到总结概述和翻译等各种问题。通过自然语言的抽象层，这些大模型 成为了强大的工具库，被诸多信息工作者广泛使用。我们讨论了大语言模型的各个方面，包括自托管式大语言 模型，相较云托管的大语言模型，它支持更多的定制和管控。随着大语言模型日益复杂，我们正在深思如何在 DGS 93. OpenTelemetry 94. Polars 95. Pushpin 96. Snowpark 评估 97. 基准配置文件 98. GGML 99. GPTCache 100. 语法性别 API 101. htmx 102. Kotlin Kover 103. LangChain 104. LlamaIndex 105. promptfoo 106. Semantic Kernel 了成功。结构化输入，如 JSON 文档， 清晰而精确，为模型提供了所寻求响应类型的指示。以这种方式限制响应有助于缩小问题空间，并且可以产生 更准确的响应，特别是当结构符合领域特定语言（DSL）的语法或模式情况下。我们还发现，将结构化输入与 自然语言注释或标记结合使用，比仅使用自然语言或结构化输入产生更好的响应。通常，在构建提示时，自然 语言会与结构化内容简单地交织在一起。与许多大语言模型行

捆绑包格式是 schema 版本 v0，这意味着它可能会在以后有所变化。 例如，下面显示了 plain+v0 捆绑包中的文件树。它必须具有一个 manifests/ 目录，其中包含部署应用程 序所需的 Kubernetes 资源。 plain+v0 捆绑包文件 包文件树示例 示例 $ oc patch bundle combo-tag-ref --type='merge' -p '{"spe 用作表达式语言。cel struct 有一个 rule 字段，其中包含在运 行时针对 Operator 属性评估的 CEL 表达式字符串，以确定 Operator 是否满足约束。 cel 约束示例 束示例 CEL 语法支持广泛的逻辑运算符，如 AND 和 OR。因此，单个 CEL 表达式可以具有多个规则，这些条件 由这些逻辑运算符链接在一起。这些规则针对来自捆绑包或任何给定源的多个不同属性的数据评估，输出 可以解决单一约束内满足所有这些规则的捆绑包或 者 的更新流，即不必要的将它截断到特定的上限。 注意 注意 集群管理员无法覆盖 Operator 作者设置的依赖项。 但是，如果已知有需要避免的不兼容问题，就应该设置最大版本。通过使用版本范围语法，可以省略 特定的版本，如 > 1.0.0 !1.2.1。 其他 其他资源 源 Kubernetes 文档： 更改 API 2.4.4.8. 依 依赖项注意事 注意事项 当指定依赖项时，需要考虑一些注意事项。

强  机器学习能力 = 数据 + 特征 + 模型 • 数据  海量数据： 美团的亿级用户、千万级POI • 特征  大规模离散特征 > 小规模泛化特征 • 模型  DNN > 树模型 > LR 美团超大规模模型应用场景 • 可扩展的机器学习架构  基于Parameter Server架构  数据并行 —— 支持超大规模训练集  模型并行 —— 支持超大规模模型 模型计算引擎（Engine）  计算图框架（Graph） • 模型计算引擎Engine  模型结构处理  与PS通信交换模型参数  计算图的计算 • 计算图框架Graph  计算逻辑抽象op，通过op组合形成模型结构  提供正向（forward）、反向（backward）、Loss的操作扩展 模型训练框架 • 模型可变计算路径  运行阶段  计算图裁剪 模型训练框架 在引擎中流转log key，特征数据在外存 • 分业务场景支持  轻量级predictor：仅支持模型的计算，特征由业务传入，无状态设计  自定义predictor： 提供业务抽象，支持业务自定义逻辑，插件化实现 • 逻辑阶段抽象，业务根据自身需求选择性实现  数据获取： 根据业务的自身逻辑获取特征原始数据  特征抽取： 将特征数据进行转换，转换成模型所需的格式，比如离散化  模型计算：

云和操作系统可移植性 ：可运⾏在Ubuntu、RHEL、CoreOS、内部部署，Google Container Engine以及任何其他 地⽅。 以应⽤为中⼼的管理：从在虚拟硬件上运⾏操作系统的抽象级别，提升到使⽤逻辑资源在操作系统上运⾏应⽤程序 的级别。 松耦合，分布式，弹性，解放的微服务：应⽤程序分为更⼩、独⽴的部件，可动态部署和管理——⽽不是⼀个运⾏ 在⼀个⼤型机上的单体。 01-什么是Kubernetes ，从⽽将pod的状态报告回系统的其余部分。 将节点的状态报告回系统的其余部分。 kube-proxy kube-proxy 在主机上维护⽹络规则并执⾏连接转发，从⽽来实现Kubernetes服务抽象。 docker 04-K8s组件 16 docker ⽤于运⾏容器。 rkt rkt 是⼀个Docker的替代品，⽀持在实验中运⾏容器 supervisord supervisord resources 扩展API有两个⽀持的路径： 1. CustomResourceDefinition 适⽤于⾮常基本的CRUD需求的⽤户。 2. 即将推出：⽤户需要完整的Kubernetes API语法，这些语法可实现⾃⼰的apiserver，并使⽤ aggregator ⽆缝连接 客户端。 启⽤API组 默认情况下，某些资源和API组已被启⽤。可通过在apiserver上设置 --runtime-config

https://kubernetes.io/docs/concepts/overview/working-with-objects/common-labels/ API 和业务原语 关注点不同 服务语义与抽象程度不同 交互与使用习惯不同 YAML 文件 图形化界面 命令行工具 IaC 配置语言 扩容策略 • 当请求数上升 10% 时，自动扩 容 100 个实例 发布策略 • 当金丝雀实例通 过 不停构建“PaaS”平台不是“银弹” 与其 基于 K8s 构建平台 不如 把 K8s 变成面向开发者的平台 构建一个具备“以应用为中心的 API 抽象”、“用户友好” 且“高度可扩展”的 K8s！ 以应用为中心的 API 抽象 • 应用的工作负载和运维能力的抽象程度越高，用户体验越好 抽象程度 学习曲线 高 低 低 高 Deployment Pod Service Node … PodTemplate $ rio run $ rio scale $ rio weight/promote $ rio route $ rio up riofile 抽象程度 vs 可扩展性 • 随着抽象程度的增高可以显著降低学习曲线，但是却不得不在扩展性上妥协 抽象程度 可扩展性 高 低 低 高 CRD + Controllers = Everything 通过编写遵循严格限制 的 Buildpack

5. 如果绑定成功，则将配置的属性用作身份、电子邮件地址、显示名称和首选用户名来构建一个身 份。 配置的 url 是 RFC 2255 URL，指定要使用的 LDAP 主机和搜索参数。URL 的语法是： ldap://host:port/basedn?attribute?scope?filter $ oc apply -f $ oc login -u LDAP 服务器的名称和端口。LDAP 默认为 localhost:389，LDAPS 则默认为 localhost:636。 basedn 所有搜索都应从中开始的目录分支的 DN。至少，这必须是目录树的顶端，但也可指定目 录中的子树。 attribute 要搜索的属性。虽然 RFC 2255 允许使用逗号分隔属性列表，但无论提供多少个属性，都 仅使用第一个属性。如果没有提供任何属性，则默认使用 uid。建议选择一个在您使用的 https://example.com，现 在https://example.com/custompath 被视为有效，但 https://example.com 视为无效。部分提供覆盖数 据的格式如下： 类 类型 型 语 语法 法 Scheme "https://" 主机名 "//website.com" 端口 "//:8000" 路径 "examplepath" 注意 注意 { "kind": "OAu

因此每次在文档看到过 滤器后，可以多注意一下它们的用法。 另外一些时候，我们可能只是对表格的结构不满意，希望自己组织列；或者不希望有标题， 这样方便其它程序解析结果等，这就用到了 Go 的模板语法。 比如，下面的命令会直接列出镜像结果，并且只包含镜像ID和仓库名： $ docker image ls --format "{{.ID}}: {{.Repository}}" 5f515359c7f8: 命令，可以将容器的存储层保 存下来成为镜像。换句话说，就是在原有镜像的基础上，再叠加上容器的存储层，并构成新 的镜像。以后我们运行这个新镜像的时候，就会拥有原有容器最后的文件变化。 docker commit 的语法格式为： docker commit [选项] <容器ID或容器名> [<仓库名>[:<标签>]] 我们可以用下面的命令将容器保存为镜像： $ docker commit \ --author 置于一个空目录下，或者项目根目录下。如果该目录下没 有所需文件，那么应该把所需文件复制一份过来。如果目录下有些东西确实不希望构建时传 给 Docker 引擎，那么可以用 .gitignore 一样的语法写一个 .dockerignore ，该文件是用于 剔除不需要作为上下文传递给 Docker 引擎的。 那么为什么会有人误以为 . 是指定 Dockerfile 所在目录呢？这是因为在默认情况下，如果

io/openshift/jenkins-2-centos7@sha256:ab312bda324 3.7. 使用镜像流 镜像流及其关联标签提供了一个用于从 OpenShift Container Platform 中引用容器镜像的抽象集。镜像流 及其标签用于查看可用镜像，确保您使用所需的特定镜像，即使存储库中的镜像发生变化也是如此。 镜像流不含实际镜像数据，它提供了相关镜像的一个单独的虚拟视图，类似于镜像存储库。 您可配置构 于分配新版本号并跟踪变 化。本文档描述了对镜像流的管理方式。 6.1. 使用镜像流 镜像流及其关联标签提供了一个用于从 OpenShift Container Platform 中引用容器镜像的抽象集。镜像流 及其标签用于查看可用镜像，确保您使用所需的特定镜像，即使存储库中的镜像发生变化也是如此。 镜像流不含实际镜像数据，它提供了相关镜像的一个单独的虚拟视图，类似于镜像存储库。 您可配置构 的值放在模板的任意字段中。 使用 ${PARAMETER_NAME} 语法时，可将多个参数引用合并到一个字段中，并可将引用嵌入到固定数 据中，如 "http://${PARAMETER_1}${PARAMETER_2}"。两个参数值均将被替换，结果值将是一个带 引号的字符串。 使用 ${{PARAMETER_NAME}} 语法时，仅允许单个参数引用，不允许使用前导/尾随字符。执行替换 后，结果值将不加引号，除非结果不是有效的