LSTM 2019 KE.COM ALL COPYRIGHTS RESERVED 22 DNN 2019 KE.COM ALL COPYRIGHTS RESERVED 23 深度学习模型结构  混合模型：DNN + RNN  Deep neural networks (DNN) - 全连接的多层感知机 - BatchNormalization - 激活层（RELU） - dropout正则化 ALL COPYRIGHTS RESERVED 46 总结&思考  AI选房解决的是房地产领域的TopN排序问题  AI选房采用了DNN + RNN的混合网络结构 - DNN，静态数据；RNN，时序数据 - DNN+RNN的混合模型，提供了静态数据+时序数据的解决方案  模型输出值并不能直接适用于业务，需要做一些转换 - 为了便于经纪人理解和指导经纪人， 采用分数映射和雷达图两种方式

for Distributed Training Dense参数，每次 都⽤，快速收敛 Sparse参数，随数 据变化，收敛度差 异⼤ 基于动态阈值 的稀疏化压缩 float16压缩 特点 混合压缩 ⽅案 效果 ～-90% -50% 训练速度提升 10%-30% 在线推理服务成本⾼，上线模型可以变⼩么？---模型压缩 模型的⼤⼩由什么决定？ Key + embedding values 变⻓Embedding 特征出现次数少，⽤1个float 结合show/click，有效果提升 2. 更少的key： group lasso key级别的稀疏化 3. 更短的values a) 混合精度： float16+int8+int4 b) 量化压缩，1bit或2bit 优点：与优化器⽆关 缺点：1. 只适合低频特征多的场景 2. 变⻓编码，不利于性能优化

AVX、AVX2 和 AVX512 加速支持。此 外，它还提供了 2、3、4、5、6 以及 8 位量化功能，以加快推理速度并减少内存占用。对于大于总 VRAM 容量的大规模模型，该库还支持 CPU+GPU 混合推理模式进行部分加速。本质上，llama.cpp 的用途在于运行 GGUF（由 GPT 生成的统一格式）模型。欲了解更多详情，请参阅官方 GitHub 仓库。以下我们将演示如何 使用 llama.cpp 之一。在大多数情况下，我们建议在多 GPU 训练中使用 ZeRO3，但针对 Q-LoRA，我们推荐使用 ZeRO2。 有一系列需要调节的超参数。您可以向程序传递 --bf16 或 --fp16 参数来指定混合精度训练所采用的精 度级别。此外，还有其他一些重要的超参数如下： • --output_dir: the path of your output models or adapters. • --num_train_epochs:

. . . . . . . . . . . . . . . . 504 12.1.2 混合式编程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 506 12.1.3 Sequential的混合式编程 . . . . . . . . . . . . . . . . . . . . . 载的PDF访问，也可以作为网站在互联网上访问。目前还没有完全适合这些需求的工具和工作流程，所以我 们不得不自行组装。我们在 16.5节 中详细描述了我们的方法。我们选择GitHub来共享源代码并允许编辑，选 择Jupyter记事本来混合代码、公式和文本，选择Sphinx作为渲染引擎来生成多个输出，并为论坛提供讨论。 虽然我们的体系尚不完善，但这些选择在相互冲突的问题之间提供了一个很好的妥协。我们相信，这可能是 第一本使用这种集成工作流程出版的书。 个分布中的任何一个。另一方面，任何可以很好区分的样本都应该相应地显著增加或减少权重。 为了简单起见，假设我们分别从p(x)和q(x) 两个分布中抽取相同数量的样本。现在用z标签表示：从p抽取的 数据为1，从q抽取的数据为−1。然后，混合数据集中的概率由下式给出 P(z = 1 | x) = p(x) p(x) + q(x) and hence P(z = 1 | x) P(z = −1 | x) = p(x) q(x). (4

捕获简单线性关系，模型 简单 ⚫ 代表算法有AR， ARIMA 基于深度学习的 时间序列预测 ⚫ 利用多维时间序列之间的 信息 ⚫ 对变周期序列，多维空间 依赖序列预测较弱 ⚫ 代表算法有RNN，LSTM 混合多维时间序列预测 ⚫ 提取多维序列之间更加复杂 的关系 ⚫ 提取维度之间空间依赖关系， 长短期依赖关系 ⚫ 算法有LSTNet，TPA-LSTM 多维时间序列预测方法解决机房温度预测 对数据包含的信息提取能力越来越强

除此之外，初始化时的位置嵌入不携带关于patch二维位置的信息，并且patch之间的所有空间关 系都需要从头学习。 4.模型缺点与改进 29 改进 作为原始图像块的替代方法，输入序列可以由CNN的特征图形成。 在该混合模型中，将patch嵌入投影E应用于从CNN feature map中提取的patch。 作为一种特殊情况，patches的空间大小可以是1x1，这意味着输入序列是通过简单地打平 feature

Gigabit 深度学习框架 – MXNet 概述 MXNet • 节省以及资源效率 • 工程中廉价的GPUs、较小的内存以及网络的限制 • 速度 • 线性的扩展能力 • 简单 • 混合了声明式（declarative）和命令式()代码的特点 为什么选择 MXNet ？ MXNet: 可扩展的深度学习框架 MXNet 框架的特点 命令式 NDArray API 声明式 Symbolic

VR》 SLAM应用介绍 • 增强现实：Google Tango Google的Tango项目演示视频 Tango为终端开发者提供了从硬件到软件的整套AR开发套件 SLAM应用介绍 • 混合现实：微软HoloLens HoloLens融合了场景位置感知和头盔显示技术，并提供了完整的软硬件解决方案。 Hololens部分传感器 左右双目+前视RGB摄像头+深度传感器 Hololens宣传视频

推理: Ring All-reduc同步训练 [HybridBackend/SOK] 特征选择 [VariationalDropout] 通信优化 [GRPC++] 实时训练 [增量更新] 混合精度 [bf16] 工程优化: 千亿特征优化 模型蒸馏 AVX/SSE优化 Graph优化 [User Graph去重] 内存Allocate优化 ParallelStringOp [split/type

吴林颖.中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) 特征构建：是指从原始数 据中人工的找出一些具有 物理意义的特征。 方法：经验、属性分割和 结合 操作：使用混合属性或者 组合属性来创建新的特征 ，或是分解或切分原有的 特征来创建新的特征 2. 特征构建 在原始数据集中的特征 的形式不适合直接进行 建模时，使用一个或多 个原特征构造新的特征 可能会比直接使用原有