TensorFlow 2 项目实战进阶 扫码试看/订阅 《TensorFlow 2 项目进阶实战》视频课程 快速上手篇：动⼿训练模型和部署服务 • TensorFlow 2 开发环境搭建 • 使用 tf.keras.datasets 加载数据 • 使用 tf.data.Dataset 加载数据 • 使用 tf.keras.Model 管理模型 • Fashion MNIST 数据集介绍

数据处理 点击行为日志 阅读行为日志 曝光行为日志 数据过滤 样本拼接 定时轮询 Kafka Hdfs 样本输出 3 在线机器学习-实时样本生成 • 多流拼接 • 曝光，互动，点击，真实阅读等多种数据流接入并多流拼接 • 如何解决日志延时问题 • 延迟等待机制，先到先走 • 定时轮寻，最长N分钟等待 • Kafka 堆积监控，实时报警 • 如何解决内存问题 • 调整内存参数 自动化监控与修复系统 • Checkpoint 节点异常修复 3 在线机器学习-实时样本生成 • 在线机器学习模型训练：Flink/Blink+WeiPS 样本生成和特征处理 1.配置化 2.多标签样本 3.支持高维HASH 训练预处理 1.标签选择 2.标签UDF 3.样本过滤 4.特征过滤 模型训练 1.支持回归和分类 2.支持LR、FM、 DeepFM等模型 3.支持SGD HDFS Param Server System Model Serving System 3 在线机器学习-参数服务器 • 参数规模 • 支持百亿特征维度，千亿参数 • 模型版本 • 多模型多版本：多组实验并行执行，提高实验迭代效率 • 在线版本切换：基于ZK的版本感知机制，动态进行版本切换，实现BASE模型的热更新，实时训练与离线训练周期模型融合 • 模型结构训练与推理兼容：在线

3 Qwen 1.2 快速开始 本指南帮助您快速上手 Qwen1.5 的使用，并提供了如下示例：Hugging Face Transformers 以及 ModelScope 和 vLLM 在部署时的应用实例。 1.2.1 Hugging Face Transformers & ModelScope 要快速上手 Qwen1.5，我们建议您首先尝试使用 transformers 进行推理。请确保已安装了 model.generate( model_inputs.input_ids, max_new_tokens=512, streamer=streamer, ) 1.2.2 使用 vLLM 部署 要部署 Qwen1.5，我们建议您使用 vLLM。vLLM 是一个用于 LLM 推理和服务的快速且易于使用的框架。以 下，我们将展示如何使用 vLLM 构建一个与 OpenAI API 兼容的 API save_quantized(quant_path, safetensors=True, shard_size="4GB") tokenizer.save_pretrained(quant_path) 然后你就可以得到一个可以用于部署的 AWQ 量化模型。玩得开心！ 1.8 GPTQ GPTQ 是一种针对类 GPT 大型语言模型的量化方法，它基于近似二阶信息进行一次性权重量化。在本文 档中，我们将向您展示如何使用 transformers

训练推理:  高qps, 低rt  支持超大模型  性价比 流程长、环节多:  推荐场景: 召回 + 粗排 + 精排 + 多样性/冷启动  实人认证: 卡证识别 + 人脸检测 + 活体检测 + 人脸 识别 … 模型构建: 问题: ✗ 方案复杂周期长/见效慢 ✗ 细节多难免踩坑 解决方案: 标准化  标准化模型库  标准化解决方案 1.方案复杂  训练优化:  数据并行  模型并行  推理优化: Blade  推荐模型优化: 千亿特征 3. 工程优化 RingAllReduce + 层级级联 EasyVision 多机多卡性能对比 工程优化: 数据并行  M6模型  Transformer模型: RapidFormer  人脸分类模型: 超大softmax  3D卷积模型 M6模型 RapidFormer性能 解决方案:  智能标注  自监督学习  多模态预训练  小样本学习 解决方案: 智能标注系统iTags 智能抠图 智能抠图 智能贴合 智能预标注 + 人机协同 解决方案: 自监督学习 Moby: swin-transformer based moco. Image features 推荐模型特征 图像搜索 解决方案: 多模态预训练 Swin transformer

关英文文献时，不至于感到陌生。 尽管每天都有深度学习相关算法论文的发布，但是作者相信，深度学习的核心思想和基 础理论是共通的。本书已尽可能地涵盖其中基础、主流并且前沿的算法知识，但是仍然有很 多算法无法涵盖，读者学习完本书后，可以自行搜索相关方向的研究论文或资料，进一步学 习。 深度学习是一个非常前沿和广袤的研究领域，鲜有人士能够对每一个研究方向都有深刻 的理解。作者自认才疏学浅，略懂 章 自定义数据集 15.1 精灵宝可梦数据集 15.2 自定义数据集加载流程 15.3 宝可梦数据集实战 15.4 迁移学习 15.5 Saved_model 15.6 模型部署 15.7 参考文献 预览版202112 人工智能绪论 我们需要的是一台可以从经验中学习的机器。 −阿兰·图灵 1.1 人工智能 信息技术是 游戏平台中的 49 个游戏上取得了 与人类相当甚至超越人类的水平；在围棋领域，DeepMind 提出的 AlphaGo 和 AlphaGo Zero 智能程序相继打败人类顶级围棋专家李世石、柯洁等；在多智能体协作的 Dota2 游戏 平台，OpenAI 开发的 OpenAI Five 智能程序在受限游戏环境中打败了 TI8 冠军队伍 OG 队，展现出了大量专业级的高层智能操作。图 1.9 列出了 2006

7 更多延迟 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 525 12.5 多GPU训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 528 12 训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 533 12.6 多GPU的简洁实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 536 12.6.1 12.7.2 环同步（Ring Synchronization） . . . . . . . . . . . . . . . . . . . . . . . . . . . . 542 12.7.3 多机训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 545 12.7.4 键值存储

生成验证码数据集 • 输入与输出数据处理 • 模型结构设计 • 模型损失函数设计 • 模型训练过程分析 • 模型部署与效果演示 第六部分 目录 准备模型开发环境 第三方依赖包 数据集生成 • Pillow • captcha 模型可视化 • pydot 模型服务部署 • flask $ pip install Pillow captcha pydot flask Pillow 常用于输出为 One-hot 向量的多类别分类（Multi-Class Classification）模型。 Binary CE Loss（Sigmoid CE Loss） 与 Softmax Loss 不同，Binary CE Loss 对于每个向量分量（class）都是独立 的，这意味着每个向量分量计算的损失不受其他分量的影响。 因此，它常被用于多标签分类（Multi-label classification）模型。 优化器对比：鞍点 优化器对比： 验证码识别模型 优化器对比： 验证码识别模型 “Hello TensorFlow” Try it 模型部署与效果演示 数据-模型-服务流水线 数据集 生成 数据 处理 模型 训练 参数 调优 模型 部署 识别 服务 使用 Flask 快速搭建 验证码识别服务 使用 Flask 启动 验证码识别服务 $ export FLASK_ENV=development

FP32 (TFLOPS) 10.6 12 14 FP16 (TFLOPS) NA NA 113 Tensor (TFLOPS) NA NA 112 TDP 250W 250W 250W 预算多V100， 预算少1080 TI SACC2017 深度学习 – 打通训练和应用的闭环 RapidFlow 训练平台 底层硬件加速 操作系统 应用场景 add conv w x 管理数据 提取模型、 查看日志 提交/管理任务 用户 docker.oa.co m 自动拉取镜像 Redis 冷数据 热任务/监控数据/集群信息 • 任务监控与自动重启 • 分布式多机训练，不可避免遇到由于硬件/网 络波动引起的异常 • 监控任务运行状况，当任务发生异常时，选 择不同的重启策略 • 集群管理与监控 • 节点心跳异常告警 • 运维工具化，快速屏蔽/启动异常机器 视频鉴黄解决方案 • 在部署了DeepEye视频直播鉴黄解决方案后，系 统对直播房间的视频流按指定的时间间隔（用户 可配置）进行截图，通过鉴黄引擎给该图片进行 鉴别，并将可疑图片和对应的房间信息回调给开 发者，开发者可以根据返回的结果信息优先给审 核人员进行审核，进行封停等进一步处理。经过 审核没有问题的内容再呈现倒观看者的屏幕。 SACC2017 从静到动：结合视频识别能力 多物体检测 监控场景人体属性

深度学习（CNN，RNN等） • 端到端，无需大量特征工程 • 框架通用性好，满足多领域需求 • 可以使用非监督语料训练字词向量提升效果 文本分类 CNN RNN CLSTM 序列标注 传统机器学习（CRF） • 需要大量特征工程 • 不同领域需要反复调整 深度学习（Bi-LSTM+CRF） • 多领域通用 • 输入层采用词向量，提升泛化能力 • 循环神经网络（LSTM,GRU等）能学 优点： 1，可以使用非监督数据训练字词向量，提升泛化能力 2，端到端，提供新思路 3，一些模型结构能够克服传统模型缺点 缺点： 1，小数据量效果不一定好 2，调参工作量有时不亚于特征工程 3，客户部署硬件环境限制 总结：一些实践经验 1，在业务场景下，尽量收集并理解数据，分析问题本质，选择合适模型 2，初始阶段可以使用传统机器学习模型快速尝试，作为baseline版本 3，疑难问题使用端到端的方式也许会有惊喜

低效的 冷却装 置 服务主 机工作 发热 影响空 调耗电 量原因 建筑材料 隔热和散 热性能差 不够智能 的空调控 制系统 空调缺乏对整个环境 的全面感知 空调对温度的控制 存在延迟 多 维 感 知 温 度 预 测 控 制 2. 研究目标 对数据机房的温度进行预测 ⚫ 根据机房的历史运行数据变化预测未来 XX 分钟机房的温度值，从而实现空调的预测控制。 风机状态 服务负载 天气状况 算法的对比 LSTM LSTNet • 橙色线代表模型预测温度值 • 蓝色线代表真实温度值 测试结果：RMSE：0.3度 R^2：90% 测试结果：RMSE：0.25度 R^2：97% 模型部署和自动更新 4. 后续工作 结合温度预测模型对空调进行节能控制 ⚫ 利用温度预测模型实现强化学习节能控制 • 强化学习探索策略的制定 • 强化学习模拟实验环境 项目数据及源代码地址： http://uee