GPU训练的优势 � 更少的机器节点，更少的分布式系统相关问题 � 更⾼的性价⽐ 1. 减少节点数 2. 提升节点同 构性 推理服务—分布式Serving架构 � 读写架构 � 多线程⽆锁：基于模型版本的读写分离 � 多机：多副本并⾏读取 � CPU：固定64位key，基于L1缓存的查 询优化 � 业务需求 � 模型⼤⼩超TB � 单个请求需要15W个key � 耗时要求10ms以下 耗时要求10ms以下 � 资讯业务请求量⼤ （>10000请求/秒） � 模型有多个版本 � 原有在线分布式存储系统的 问题 � 主备模式资源严重浪费 � 数据读写需要加锁 � ⽀持多模型和模型多版本 困难 >15亿key/秒 近千台 只读版本 写版本 CPU型服务 Feature 2.2 Hotkey缓存优化 <10台 内存型服务 并发查询优化 数⼗台 ⽹络型服务 TB级模型实时上线

. 70 2.5.2 非标量变量的反向传播 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 2.5.3 分离计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 2.5.4 Python控制流的梯度计算 4.2 带参数的层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207 5.5 读写文件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208 5 grad tensor([0., 2., 4., 6.]) 2.5.3 分离计算 有时，我们希望将某些计算移动到记录的计算图之外。例如，假设y是作为x的函数计算的，而z则是作为y和x的 函数计算的。想象一下，我们想计算z关于x的梯度，但由于某种原因，希望将y视为一个常数，并且只考虑 到x在y被计算后发挥的作用。 这里可以分离y来返回一个新变量u，该变量与y具有相同的值，但丢弃计算图中如何计算y的任何信息。换句

数据在创建时按着初始的维度顺序写入，改变张量的视图仅仅是改变了张量的理解方 式，并不会改变张量的存储顺序，这在一定程度上是从计算效率考虑的，大量数据的写入 操作会消耗较多的计算资源。存储时数据只有平坦结构，与数据的逻辑结构是分离的，这 是一把双刃剑。如果新的逻辑结构不需要改变数据的存储方式，就可以节省大量计算资 源，这也是改变视图操作的优势。改变视图操作在提供便捷性的同时，也会带来很多逻辑 隐患，这主要的原因是改变视图操作 ，shape 也变为原来的 2 倍。这个 例子比较直观地帮助大家理解数据复制的过程。 需要注意的是，x.repeat()函数会创建一个新的内存区来保存复制后的张量，由于复制 操作涉及大量数据的读写 IO 运算，计算代价相对较高，因此数据复制操作较为昂贵。神 经网络中不同 shape 之间的张量复制操作十分频繁，那么有没有轻量级的复制操作呢？这 就是接下来要介绍的 Broadcasting 操作。 -1.6490463 ], [ 1.6279562 ]],... 预览版202112 10.11 卷积层变种 53 10.11.3 分离卷积 这里以深度可分离卷积(Depth-wise Separable Convolution)为例。普通卷积在对多通道 输入进行运算时，卷积核的每个通道与输入的每个通道分别进行卷积运算，得到多通道的 特征图

Keras (κέρας) 在希腊语中意为 号角。它来自古希腊和拉丁文学中的一个文学形象，首先出 现于 《奥德赛》中，梦神 (Oneiroi, singular Oneiros) 从这两类人中分离出来：那些用虚幻的景象 欺骗人类，通过象牙之门抵达地球之人，以及那些宣告未来即将到来，通过号角之门抵达之人。 它类似于文字寓意，κέρας (号角) / κραίνω (履行)，以及 ἐλέφας =None, bias_constraint=None) 深度方向的可分离 2D 卷积。 可分离的卷积的操作包括，首先执行深度方向的空间卷积（分别作用于每个输入通道），紧 接一个将所得输出通道混合在一起的逐点卷积。depth_multiplier 参数控制深度步骤中每个输 入通道生成多少个输出通道。 直观地说，可分离的卷积可以理解为一种将卷积核分解成两个较小的卷积核的方法，或者 作为 Inception 分析的日志文件的文件名。 • histogram_freq: 对于模型中各个层计算激活值和模型权重直方图的频率（训练轮数中）。 如果设置成 0 ，直方图不会被计算。对于直方图可视化的验证数据（或分离数据）一定要 明确的指出。 • write_graph: 是否在 TensorBoard 中可视化图像。如果 write_graph 被设置为 True，日志文 件会变得非常大。 • write_grads:

类别信息和位置信息。 分割（Segmentation） 分割包括语义分割（semantic segmentation）和实例分割（ instance segmentation），前者 是对前背景分离的拓展，要求 分离开具有不同语义的图像部 分，而后者是检测任务的拓展 ，要求描述出目标的轮廓（相 比检测框更为精细）。 5 目标检测和识别 • 怎样检测和识别图 像中物体，如汽车、 牛等？ 1.目标检测概述

训练模型理解上文或给定条件，从概率层 面推测最符合要求的输出结果。其本质是 借助超大规模的训练参数猜测上下文的过 程 文本风格 主流思路是分离文本属性及文本内容 迁移 隐式方法即使用某类无监督学习学习或强化学 习模式将文本属性及内容自动分离，常见的有 生成对抗方式，即通过GAN实现目标属性和 文本量性完全由不同的编码控制的状态。 对话式文本生成适用于智能客服等任务型和闲聊型机器人等

模型计算： 传入转换后的特征数据，调用模型计算引擎 在线预估服务 • 特征编码方式  通过明文hash的方式编码  适用于特征的动态增长  不需要预分配，提高处理效率 • 框架与实现分离  提供op形式的特征抽取类  逻辑一致性：在线、近线、离线 特征抽取框架 目录 • 美团超大规模模型场景简介 • 超大规模机器学习MLX  MLX平台目标  MLX平台架构

0-1 损失函数，可以认为它是二类分类问题的真 正的损失函数，而合页损失函数是0-1损失函 数的上界。 19 3.线性支持向量机 求解原始最优化问题的解?∗和?∗，得到线性支持向量机，其分离超平面为 ?∗T? + ?∗ = 0 分类决策函数为：?(?) = sign ?∗T? + ?∗ 线性可分支持向量机的解?∗唯一，但?∗不唯一。对偶问题是 min ? 1 2 ෍ ?=1

Analysis，独立成分分析) ICA独立成分分析，获得的是相互独立的属性。ICA算法本质寻找一 个线性变换 ? = ??，使得 ? 的各个特征分量之间的独立性最大。 PCA 对数据 进行降维 ICA 来从多 个维度分离 出有用数据 步骤 PCA 是 ICA 的数据预处理方法 降维 3. 特征提取 20 许永洪,吴林颖.中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) 1

零值），如果两个特征并不完全互斥（如只有一部分情况下是不同时取非零值） ，可以用互斥率表示互斥程度。EFB算法指出如果将一些特征进行融合绑定，则 可以降低特征数量。 论文给出特征合并算法，其关键在于原始特征能从合并的特征中分离出来。 42 4.LightGBM 互斥特征捆绑算法（Exclusive Feature Bundling, EFB） 高维特征往往是稀疏的，而且特征间可能 是相互排斥的（如两个特征不同时取非零