deeper in the networks. Previous iterations of deep networks used the sigmoid or the tanh activation functions, which saturate at either 1.0 or -1.0 except a very small range of input. As a result, changing each token, many tokens can share a single embedding vector. The sharing can be done by computing the hash of the token modulo the number of possible vectors that are desired (vocabulary size). This trade-off

Checkpoint 节点异常修复 3 在线机器学习-实时样本生成 • 在线机器学习模型训练：Flink/Blink+WeiPS 样本生成和特征处理 1.配置化 2.多标签样本 3.支持高维HASH 训练预处理 1.标签选择 2.标签UDF 3.样本过滤 4.特征过滤 模型训练 1.支持回归和分类 2.支持LR、FM、 DeepFM等模型 3.支持SGD 、 FTRL 、 优化算法选择 • FTRL：调节学习率，突出低频特征，非batch优化 • Adagrad : 调节学习率，突出低频特征，实现简单 • SGD： 参数少，效率高，固定学习率 • ID特征处理 • Hash：BKDRhash/CityHash，ID高维度稀疏+实时 3 在线机器学习-实时模型训练 serving serving server server server worker Model 通信优化：数据请求(PULL&PUSH)聚合，同模型多矩阵并发，锁粒度优化，性能提升5-10倍 • 缓存优化：使用堆外内存与LRU过期机制，解决GC引起的性能损耗，性能提升3-5倍 • 分区优化：支持多种分区策略（RANGE/HASH/MOD），解决数据倾斜导致的流量热点瓶颈问题，性能提升2-5倍 • 存储优化：自定义存储方式(ByRow&ByKey)，基于row进行矩阵压缩存储，参数内存占用减少90% 3 在线机器学习-参数服务器

hashing_trick(text, n, hash_function=None, filters='!"#$%&()*+,-./:;<=>?@[\]^_`{|}~', lower=True, split=' ') 将文本转换为固定大小散列空间中的索引序列。 参数 • text: 输入文本（字符串）。 • n: 散列空间维度。 • hash_function: 默认为 python 散列函数，可以是 散列函数，可以是 ‘md5’ 或任意接受输入字符串并返回整数 的函数。注意 ‘hash’ 不是稳定的散列函数，所以它在不同的运行中不一致，而 ‘md5’ 是一 个稳定的散列函数。 数据预处理 123 • filters: 要 过 滤 的 字 符 列 表 （或 连 接） ， 如 标 点 符 号。 默 认： !"#$%&()*+,-./:;<=>?@[\]^_{|}~，包含基本标点符号，制表符和换行符。 数组的标准化副本。 20.6 get_file keras.utils.get_file(fname, origin, untar=False, md5_hash=None, file_hash=None, cache_subdir='datasets', hash_algorithm='auto', extract=False, archive_format='auto', cache_dir=None)

2. For each token (or a feature computed on the token) f: a. Compute idx = h(f) % N, where h is a hash function. b. This maps f to the index idx in the embedding table. 3. We use the embedding at index mechanism. On the left is the list of tokens. The tokens are hashed using the hash function in the center column. The output of the hash function % vocab_size is an index in [0, vocab_size - 1] and is used to pQRNN uses the projection operation which maps a given input token to a B-bit fingerprint using a hash function, and this B-bit fingerprint is transformed into a d-dimensional representation using a learned

Server • 模型数据的统一管理  模型结构  模型参数 PS的参数放置策略 • Ps分布式分片的均衡，避免分片大小不一致  NN网络矩阵按行切分，解决请求包不均衡问题  特征按照Hash方式分布式存储 • 模型并行调超参  grid search  random search PS的多模型训练 • 提高内存使用效率  model group内共享特征key的存储 根据业务的自身逻辑获取特征原始数据  特征抽取： 将特征数据进行转换，转换成模型所需的格式，比如离散化  模型计算： 传入转换后的特征数据，调用模型计算引擎 在线预估服务 • 特征编码方式  通过明文hash的方式编码  适用于特征的动态增长  不需要预分配，提高处理效率 • 框架与实现分离  提供op形式的特征抽取类  逻辑一致性：在线、近线、离线 特征抽取框架 目录 • 美团超大规模模型场景简介

Model Size Reduction Using Frequency Based Double Hashing for Recommender Systems 9 千 万 key hash1(key) hash2(key) 千 万 业界⽅案：Double Hashing 腾讯，阿⾥，头条也都⽀持了Double Hashing 场景 内存节省 场景1 88% 场景2 64% 下⼀步的

工程优化: Blade模型推理 Dynamic Shape Compiler for Machine Learning Workloads EmbeddingVariable [No Hash Conflict] 特征准入/淘汰 Adaptive Embedding 训练: 推理: Ring All-reduc同步训练 [HybridBackend/SOK] 特征选择 [VariationalDropout] 内存Allocate优化 ParallelStringOp [split/type conversion] Sequence Feature [side info] Op Fusion [hash + embedding] Overlap Execution [FG OP化] Item Feature增量更新 3.工程优化复 杂 4.数据获取困 难 挑战 深度模型是非线性的:

ax/dropout/erosion2d ���� random_normal/random_shuffle/multinomial/random_gamma ����� string_to_hash_bucket/reduce_join/substr/encode_base64 ������ encode_png/resize_images/rot90/hsv_to_rgb/adjust_gamma

cross-entropy loss. We would refer you to the SimCLR paper for more details about the chosen loss functions and other alternatives considered. Once the desired test loss is achieved, the projection head optimizing non-convex functions, where multiple local minima might exist. Typical deep learning objective functions are non-convex too, and directly working with these functions might lead to the optimizer complexity you want to introduce in the training. Figure 6-12 shows multiple examples of pacing functions. The x-axis is the training iteration i.e. the variable described above, and the y-axis is the fraction

configuration inside keras.json file. We can perform some pre-defined operations to know backend functions. 3. Keras ― Backend Configuration Keras 10 Theano Theano is an open source sub-classing Keras models. Core Modules Keras also provides a lot of built-in neural network related functions to properly create the Keras model and Keras layers. Some of the function are as follows:  many activation function like softmax, relu, etc.,  Loss module - Loss module provides loss functions like mean_squared_error, mean_absolute_error, poisson, etc.,  Optimizer module - Optimizer