场景（2）� TensorFlow使用现状及痛点 !.train.ClusterSpec({ “worker”: [ “worker0.example.com:2222”, “worker1.example.com:2222”, “worker2.example.com:2222” ], “ps”: [ “ps0.example.com:2222” tTest \ #保存模型的HDFS路径� --worker-num 3 \ #work数量 � --worker-memory 8192M \ #每个worker需要的内存� --worker-cores 1 \ #每个worker需要的CPU核数� --worker-gpus 2 \ #每个worker需要的GPU卡数� --ps-num 2 \ #ps数量� server） • Worker通过读取RDD获取训练样本 • RDD的数据cache到内存或者磁盘供多次迭代训练使用 SparkFlow介绍 SparkFlow与TensorFlow on Yarn对比：� SparkFlow TensorFlow on Yarn 通过RDD读取训练样本数据，关心 文件存储格式 直接读取HDFS数据，不关心文件存 储格式 Worker和PS的资源同构

serving serving server server server worker Model Serving System Serving PS Traing PS Traing Model System Predict Score Sample Data worker worker worker 3 在线机器学习-参数服务器 serving serving serving serving server server server server server worker worker worker PSscheduler PSserver PSserver PSserver PSagent PSagent zookeeper PSproxy PSproxy PSsubmit File System checkpoint Model Training System

Network 和 M 个 Worker 线程， Global Network 包含了 Actor 和 Critic 网络，每个线程均新建一个交互环境和 Actor 和 Critic 网络。初始化阶段 Global Network 随机初始化参数? 和? ，Worker 中的 Actor-Critic 网络从 Global Network 中同步拉取参数来初始化网络。在训练时，Worker 中的 Actor-Critic Network 拉取最新参数，然后在最新策略??(??|??)才采样动作与私有环 境进行交互，并根据 Advantage Actor-Critic 算法方法计算参数? 和?的梯度信息。完成梯 度计算后，各个 Worker 将梯度信息提交到 Global Network 中，利用 Global Network 的优化 器完成 Global Network 的网络参数更新。在算法测试阶段，只使用 Global Network return logits, values Worker 线程类 在 Worker 线程中，实现和 Advantage AC 算法一样的计算流程，只是 计算产生的参数? 和?的梯度信息并不直接用于更新 Worker 的 Actor-Critic 网络，而是提 交到 Global Network 更新。具体地，在 Worker 类初始化阶段，获得 Global Network 传入的

TensorFlow ���� Client Server (local machine) Worker /cpu:0 Worker /gpu:0 TensorFlow ���� Client Server (local machine) RunStep() Worker /cpu:0 Worker /gpu:0 ����Optimizer���� ��������� ����

提供从召回到排序全流程的模型解决方案，为业务提供最佳实践； • 提供系统的平台化工具，为用户提供易用的界面操作； MLX模型能力 MLX平台架构 MLX平台架构 • 基于Worker + PS架构搭建 • Worker  模型计算引擎（Engine）  计算图框架（Graph） • 模型计算引擎Engine  模型结构处理  与PS通信交换模型参数  计算图的计算 •

Reader Learner Worker 返回参数 Request Handler Parameter Server 查询Sparse Table 查询Dense Tensor 更新参数 � 常规训练流⽔线 样本读取 样本解析 参数拉取 参数更新 查询Sparse Table 查询Dense Tensor Reader Learner Worker 返回参数 Request

all_premise_hypothesis_tokens): pool = multiprocessing.Pool(4) # 使用4个进程 out = pool.map(self._mp_worker, all_premise_hypothesis_tokens) all_token_ids = [ token_ids for token_ids, segments, valid_len dtype=torch.long), torch.tensor(all_segments, dtype=torch.long), torch.tensor(valid_lens)) def _mp_worker(self, premise_hypothesis_tokens): p_tokens, h_tokens = premise_hypothesis_tokens self._truncat