LightGBM与XGBoost相比，主要有以下几个改进： • 基于梯度的单边采样算法（Gradient-based One-Side Sampling, GOSS）； • 互斥特征捆绑算法（Exclusive Feature Bundling, EFB）； • 直方图算法（ Histogram ）； • 基于最大深度的 Leaf-wise 的垂直生长算法； LightGBM = XGBoost + GOSS + 即先选出2个梯度大的样本，然后从剩下的里面随机选出2个梯度小的样本 这里选取两个大的（6号、7号），然后随机选择两个小的（2号、4号） 41 4.LightGBM 互斥特征捆绑算法（Exclusive Feature Bundling, EFB） 高维特征往往是稀疏的，而且特征间可能是相互排斥的（如两个特征不同时取非 零值），如果两个特征并不完全互斥（如只有一部分情况下是不同时取非零值） ，可以用互斥 将一些特征进行融合绑定，则 可以降低特征数量。 论文给出特征合并算法，其关键在于原始特征能从合并的特征中分离出来。 42 4.LightGBM 互斥特征捆绑算法（Exclusive Feature Bundling, EFB） 高维特征往往是稀疏的，而且特征间可能 是相互排斥的（如两个特征不同时取非零 值），如果两个特征并不完全互斥（如只 有一部分情况下是不同时取非零值），可

预测服务 实时特征 实时数据 3 在线机器学习 实时样本 实时模型训练 实时更新参数 Task 训练预处理 Node 实时样本拼接 Node 在线模型训练 Node 离线样本拼接 Node 在线模型评估 Node 模型上线 Node 实时特征处理 Node 离线特征处理 Task Kafka输入 input process process output WeiFlow 核心架构层 算法模型层 4 深度学习-分布式模型推理 • 推理性能优化 • 减少计算量： operator fusion/XLA/TVM/prune/float16/quantization • 加快计算速度： batching/TensorRT/MPS/SSE/AVX/Neon • operator fusion • 针对特定场景重写耗时算子 • 重构tensorflow计算引擎 •

a point）或数据样本（data instance）。我们把试图预测的目标（比如预测房屋价格）称为标签（label）或目 标（target）。预测所依据的自变量（面积和房龄）称为特征（feature）或协变量（covariate）。 通常，我们使用n来表示数据集中的样本数。对索引为i的样本，其输入表示为x(i) = [x(i) 1 , x(i) 2 ]⊤，其对应的标 签是y(i)。 线性模型 输出，隐去了权重和偏置 的值。 图3.1.2: 线性回归是一个单层神经网络。 在 图3.1.2所示的神经网络中，输入为x1, . . . , xd，因此输入层中的输入数（或称为特征维度，feature dimen‐ sionality）为d。网络的输出为o1，因此输出层中的输出数是1。需要注意的是，输入值都是已经给定的，并且 只有一个计算神经元。由于模型重点在发生计算的地方，所以通常我们在计算层数时不考虑输入层。也就是 ） 组成的生物神经元图片。轴突（axon，输出线）和轴突端子（axon terminal，输出端子）通过突触（synapse） 与其他神经元连接。 Dendrite Cell body Node of Ranvier Axon Terminal Schwann cell Myelin sheath Axon Nucleus 图3.1.3: 真实的神经元。 3.1. 线性回归

machine learning platform." Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. ACM, 2017. TFX - �� TensorFlow ���������� Baylor, Denis, et al. "Tfx: A tensorflow-based machine learning platform." Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. ACM, 2017. TFX - �� TensorFlow ���������� https://github.com/tensorflow/tfx

Algorithm for Discovering Clusters in Large Spatial Databases with Noise[J]. Proc.int.conf.knowledg Discovery & Data Mining, 1996. [3] Andrew Ng. Machine Learning[EB/OL]. Stanford University,2014. https://www Estimates for Data Clustering, Visualization, and Outlier Detection[J]. Acm Transactions on Knowledge Discovery from Data, 2015. [11] 彭 涛 . 人 工 智 能 概 论 [EB/OL]. 北 京 联 合 大 学 ,2020. https://www.icourse163.org/course/BUU-

find branches from the nodes. Finally, the output layer will detect the full object. Here, the feature extraction process goes from the output of one layer into the input of the next subsequent layer input data. Every hidden layer consists of one or more neurons and process certain aspect of the feature and send the processed information into the next hidden layer. The output layer process receives reload_layer = Dense.from_config(config) input_shape Get the input shape, if only the layer has single node. >>> from keras.models import Sequential >>> from keras.layers import Activation, Dense >>>

neural network layers, deep learning optimizers, data loading utilities, and multi-gpu, and multi-node support. Functions are executed immediately instead of enqueued in a static graph, improving ease for pointwise operations in fusion. ‣ Added support for a C++ only API (new PyTorch 1.0 preview feature). ‣ Dataloader may still throw a benign error when stopping iterations early, however, it is no improved. ‣ PyTorch's JIT (still in Alpha) now supports FP16 inputs and outputs, comparisons, the exp operator, and ReLU gates. ‣ Added support for DALI 0.1 Beta. ‣ Latest version of CUDA ® Basic Linear Algebra

classifiers: A decision-tree hybrid[C]// Proceedings of the 2nd International Conference on Knowledge Discovery and Data Mining (KDD), Portland, OR, 202-207, 1996. [7] 李航. 统计学习方法[M]. 北京: 清华大学出版社,2019. 31

classifiers: A decision-tree hybrid[C]// Proceedings of the 2nd International Conference on Knowledge Discovery and Data Mining (KDD), Portland, OR, 202-207, 1996. [7] 李航. 统计学习方法[M]. 北京: 清华大学出版社,2019. [8]

xi) + k(µk, µk) − 2k(xi, µk) where k(·, ·) denotes the kernel function and φ is its (implicit) feature map Feng Li (SDU) K-Means December 28, 2021 27 / 46 Kernel K-Means Note: φ does not have to be (Contd.) We can recursively call the algorithm on G and/or H, or any other node in the tree. E.g., choose to split the node whose average dissimilarity is highest, or whose maximum dissimilarity is highest