副教授 2 本章目录 01 集成学习方法概述 02 AdaBoost和GBDT算法 03 XGBoost 04 LightGBM 3 1.集成学习方法概述 01 集成学习方法概述 02 AdaBoost和GBDT算法 03 XGBoost 04 LightGBM 4 Bagging 从训练集中进行子抽样组成每个基模型所需要的子训练集，对所有基模型预测的 自助采样 自助采样 自助采样 Bootstraping 10 2.AdaBoost和GBDT算法 01 集成学习方法概述 02 AdaBoost和GBDT算法 03 XGBoost 04 LightGBM 11 AdaBoost算法 AdaBoost（Adaptive Boosting，自适应增强），其自适应在于：前 一个基本分类器分错的样本会得到加强，加权后的全体样本再次被用来 02 AdaBoost和GBDT算法 03 XGBoost 04 LightGBM 3.XGBoost 27 3.XGBoost XGBoost 是大规模并行 boosting tree 的工具， 它是目前最快最好的开源 boosting tree 工具包 ，比常见的工具包快 10 倍以上。XGBoost 和 GBDT 两者都是 boosting 方法，除了工程实现

A Closer Lookhttps://www.linkedin.com/in/sakverma #include #include <xgboost/c_api.h> ERL_NIF_TERM xgboost_build_info(ErlNifEnv* env, int argc, const ERL_NIF_TERM argv[]) { char out[1024]; function) static ErlNifFunc nif_funcs[] = { {"xgboost_build_info", 0 , xgboost_build_info} }; // Initialize the NIF module ERL_NIF_INIT(Elixir.XGBoost.NIF, nif_funcs, NULL, NULL, NULL, NULL)https://www defmodule XGBoost.NIF do @on_load :on_load # Load the NIF when the module starts def on_load do :erlang.load_nif("./libxgboost", 0) end # Elixir function that interfaces with the C++ NIF def xgboost_build_info

深度学习模型 v2.0+ 效果持续优化 XGBoost DNN+RNN 特征建设 v1.0 初版模型系统 2019 KE.COM ALL COPYRIGHTS RESERVED 16 v1.0 - 初版模型系统概览 • 房源特征 静态特征 时序特征 • 特征处理 特征提取 特征组合 离散化 • 模型预测 XGBoost • 分数映射 房源质量分数 M 可以盘点所有房源质量 2019 KE.COM ALL COPYRIGHTS RESERVED 20 模型演变历程 v1.0 初版模型系统 v2.0 深度学习模型 v2.0+ 效果持续优化 XGBoost DNN+RNN 特征建设 2019 KE.COM ALL COPYRIGHTS RESERVED 21 RNN RNN LSTM 2019 KE.COM ALL COPYRIGHTS Recurrent neural networks (RNN) - LSTM 2019 KE.COM ALL COPYRIGHTS RESERVED 24 模型系统对比 房源特征 特征处理 M XGBoost 分数映射 房源特征 分数映射 DNN + RNN v1.0 v2.0 2019 KE.COM ALL COPYRIGHTS RESERVED 25 模型指标对比 v1.0 v2.0

预测模型 策略模块 数据总线 智 能 特 征 工 程 去量纲：标准化、归一化 缺失值处理：样条插值 降维：PCA A I 信 号 生 成 LSTM 神经网络 BP 全连接网络 XGBoost 集成学习模型 定制早停函数 原 始 高 频 数 据 实时超高频数据 结构化多档行情 全行业指数 概念指数 龙头 lead 股票 互联网新闻 外 部 交 互 交易所引擎 Web客户端 预测模型 策略模块 数据总线 智 能 特 征 工 程 去量纲：标准化、归一化 缺失值处理：样条插值 降维：PCA A I 信 号 生 成 LSTM 神经网络 BP 全连接网络 XGBoost 集成学习模型 定制早停函数 原 始 高 频 数 据 实时超高频数据 结构化多档行情 全行业指数 概念指数 龙头 lead 股票 互联网新闻 外 部 交 互 交易所引擎 Web客户端 预测模型 策略模块 数据总线 智 能 特 征 工 程 去量纲：标准化、归一化 缺失值处理：样条插值 降维：PCA A I 信 号 生 成 LSTM 神经网络 BP 全连接网络 XGBoost 集成学习模型 定制早停函数 原 始 高 频 数 据 实时超高频数据 结构化多档行情 全行业指数 概念指数 龙头 lead 股票 互联网新闻 外 部 交 互 交易所引擎 Web客户端

for NVIDIA NVLink®) ‣ NVIDIA RAPIDS™ 22.12.0 (For x86, only these libraries are included: cudf, xgboost, rmm, cuml, and cugraph.) ‣ Apex ‣ rdma-core 36.0 ‣ NVIDIA HPC-X 2.13 ‣ OpenMPI 4.1.4+ ‣ GDRCopy for NVIDIA NVLink®) ‣ NVIDIA RAPIDS™ 22.10.01 (For x86, only these libraries are included: cudf, xgboost, rmm, cuml, and cugraph.) ‣ Apex ‣ rdma-core 36.0 ‣ NVIDIA HPC-X 2.13 ‣ OpenMPI 4.1.4+ ‣ GDRCopy (optimized for NVIDIA NVLink®) ‣ NVIDIA RAPIDS™ 22.10 (For x86, only these libraries are included: cudf, xgboost, rmm, cuml, and cugraph.) ‣ Apex ‣ rdma-core 36.0 ‣ NVIDIA HPC-X 2.12.2tp1 ‣ OpenMPI 4.1.4+

with Amazon SageMaker XGBoost and Hyperparameter Tuning https://github.com/awslabs/amazon-sagemaker- examples/blob/master/hyperparameter_tuning/xgboost_direct_marketing/hpo_xgboost _direct_marketing_sagemaker_APIs

特征多样：历史行为、统计值、id类特征、高维交叉, etc. • 模型发展历程  树模型：Random Forest、XGBoost  小规模DNN：MLP、小规模的Wide & Deep  大规模离散DNN：大规模的Wide & Deep、DeepFM、DCN 精排模型 1. Random Forest 2. XGBoost 1. MLP 2. 少量特征空间 的Wide & Deep 1. 大规模离散特征

DNN深度神经网络学习；通过引入非线性映射，并包含多层感知器，海量的出餐时间训练数据，DNN 更好地学习自身有用的特征 - DNN对特征工程要求较低，自身可以学习有用的特征，PCA降维影响较小，但时间复杂度较高 • XGBoost模型 - 采用近似求解算法，找出可能的分裂点，避免选用贪心算法的过高时间复杂度 - 计算采用不同分裂点时，叶子打分函数的增益；并选择增益最高的分裂点，作为新迭代树的最终分裂 节点，构造新的迭代树 若未找到完备匹配则修改可行标杆 （4） 重复（2）（3）直到找到相等子图的完备匹配 供需平衡 13 5.1 配送时长预估模型 • 基于现有状况、订单增速、消 化速度、天气、当前手段等多 维特征，使用XGBoost模型回 归预测未来五分钟进单的平均 配送时长 • 分商圈、分时段、多模型的精 细化预估 • 分布式、多线程、并行计算最 佳分割点，满足海量数据的实 时性要求 • 在供需失衡之前，即实施调控

Hadoop/Yarn 进行资源调度管理，集成了 Spark ML、 XGBoost、TensorFlow 三种机器学习框架，并保留了扩展性，方便接入其 它机器学习框架，如美团自研的 MLX（超大规模机器学习平台，专为搜索、推 荐、广告等排序问题定制，支持百亿级特征和流式更新）。 ● 通过对 Spark ML、XGBoost、TensorFlow 机器学习框架的封装，我们实现 了可视化离线训练平台，通过拖拉拽的方式生成 的入参关联 起来，方便在线预测时模型自动获取特征，极大地简化了算法 RD 构造模型输入时获 取特征的工作量。 3.2 模型管理平台 前面介绍了，我们的图灵平台集成了 Spark ML、XGBoost、TensorFlow 三种底 层训练框架，基于此，我们的训练平台产出的机器学习模型种类也非常多，简单的 有 LR、SVM，树模型有 GBDT、RF、XGB 等，深度学习模型有 RNN、DNN、 Winning Solution 对工业界也有很大的影响。例如，KDD Cup 2012 获胜方案产出了 FFM (Feild-aware Factorization Machine) 与 XGBoost 的 原型，在工业界取得广泛应用。 今年 KDD Cup 的 Debiasing 问题也是当前广告与推荐领域中最具挑战性的问题之 一，本文介绍了我们在 KDD Cup 2020 Debiasing

计算型任务混部 Part 2：双十一 Kubernetes 实践 其他自研 Operators AI 训练 Kubernetes TensorFlow PyTorch Horovod/mpi XGBoost Spark SparkApplication Spark Operator 在线应用 无状态服务 Node Node Node Node Node Node 无状态服务 无状态服务