TensorFlow 2 项目实战进阶 扫码试看/订阅 《TensorFlow 2 项目进阶实战》视频课程 快速上手篇：动⼿训练模型和部署服务 • TensorFlow 2 开发环境搭建 • 使用 tf.keras.datasets 加载数据 • 使用 tf.data.Dataset 加载数据 • 使用 tf.keras.Model 管理模型 • Fashion MNIST 数据集介绍

8.5 循环神经网络的从零开始实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317 8.5.1 独热编码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317 8.5.2 初始化模型参数 词嵌入（word2vec） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 650 14.1.1 为何独热向量是一个糟糕的选择 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 650 14.1.2 自监督的word2vec . . . . ，这让每个程序员轻易掌握了它。 1.6 深度学习的成功案例 人工智能在交付结果方面有着悠久的历史，它能带来用其他方法很难实现的结果。例如，使用光学字符识别 的邮件分拣系统从20世纪90年代开始部署，毕竟，这是著名的手写数字MNIST数据集的来源。这同样适用于 阅读银行存款支票和对申请者的信用进行评分。系统会自动检查金融交易是否存在欺诈。这成为许多电子商 务支付系统的支柱，如PayPal、

• 参数规模 • 支持百亿特征维度，千亿参数 • 模型版本 • 多模型多版本：多组实验并行执行，提高实验迭代效率 • 在线版本切换：基于ZK的版本感知机制，动态进行版本切换，实现BASE模型的热更新，实时训练与离线训练周期模型融合 • 模型结构训练与推理兼容：在线PS与离线PS模型结构兼容，自动模型参数转换 • 稳定性优化 • 模型快照：基于ps-scheduler的周期模型版本探测与保存，模型稀疏化分片存储 实时训练 模型训练 模型部署 在线服务 离线验证 在线发布 在线验证 在线一致性/ 模型稳定性/… 一键打包 端口探测 蓝绿部署/灰度发布 AUC/准确率/ 召回率/… 流量切换 版本更新 全量发布 … verson1 verson2 … kubenetes/olsubmit 模型库 3 在线机器学习-模型服务部署 • 模型评估 • 模型上线部署前指标评估 • 周期使用验证样本进行点击率预估 周期使用验证样本进行点击率预估 • 待部署模型与线上模型进行指标对比，评估是否满足上线条件 • 一键部署 • 基于K8S的deployment模式，一键端口分配与模型服务部署 • 基于ZK的服务发现，一键进行流量灰度与发布 • 性能优化 • 通信优化：特征请求与模型计算单元化，在线样本格式压缩 • 计算优化：基于SSE／AVX 指令优化 3 在线机器学习-模型服务部署 • 模型更新频次效果对比

相似度：98% 政治人物 不在黑名单 检索结果：林志玲 相似度：99% 在版权库 SACC2017 图片场景识别 l 社交图像分类应用：微云，相册管家 Ø 标签体系：面向社交领域的热词标签200余种， 涵盖人物、风景、人造物、 建筑、动植物、食物等9个大类 。 Ø 技术指标：20个类别平均准确率MAP>90%以上，200种MAP>63%以上， 性能CPU上约200ms/张。 cephfs存储集 群 本地文件系统 数据 模型/日志 client 管理数据 提取模型、 查看日志 提交/管理任务 用户 docker.oa.co m 自动拉取镜像 Redis 冷数据 热任务/监控数据/集群信息 • 任务监控与自动重启 • 分布式多机训练，不可避免遇到由于硬件/网 络波动引起的异常 • 监控任务运行状况，当任务发生异常时，选 择不同的重启策略 • 集群管理与监控 图像内容审核的扩展和延伸 优图-腾讯云 天御内容识别解决方案 Deep Eye SACC2017 腾讯优图-腾讯云天御 内容审核解决方案 SACC2017 针对直播 – 视频鉴黄解决方案 • 在部署了DeepEye视频直播鉴黄解决方案后，系 统对直播房间的视频流按指定的时间间隔（用户 可配置）进行截图，通过鉴黄引擎给该图片进行 鉴别，并将可疑图片和对应的房间信息回调给开 发者，开发者可以根据返回的结果信息优先给审

章 自定义数据集 15.1 精灵宝可梦数据集 15.2 自定义数据集加载流程 15.3 宝可梦数据集实战 15.4 迁移学习 15.5 Saved_model 15.6 模型部署 15.7 参考文献 预览版202112 人工智能绪论 我们需要的是一台可以从经验中学习的机器。 −阿兰·图灵 1.1 人工智能 信息技术是 年才发布，但是由于精良紧凑的接口设计， PyTorch 在学术界获得了广泛好评。在 PyTorch 1.0 版本后，原来的 PyTorch 与 Caffe2 进行了合并，弥补了 PyTorch 在工业部署方面的不足。 目前来看，PyTorch 和 TensorFlow 框架是业界使用最为广泛的两个深度学习框架， TensorFlow 在工业界拥有完备的解决方案和用户基础，但是 TensorFlow 方便，所见即所得。一般认为，动态图模式开发效率高，但是运行效率可能不如静态图模 式，更适合算法设计和开发；静态图模式运行效率高，更适合算法部署。然而并不全是如 此，在很多任务上，PyTorch 的速度都优于 TensorFlow，而且 PyTorch 在工业部署上也有成 熟的 ONNX 生态，丝毫不逊色于 TensorFlow。 1.5.3 功能演示 深度学习的核心是算法的设计思想，

通过调节迭代树数目、学习倍率、迭代树最大深度、L2正则化参数等进一步避免过拟合 2 获取样本数据 过滤数据 抽取基础特征 组合基础特征，构造组合特征 组合基础特征，构造组合特征 统计基础信息，构造统计特征 独热编码，构造稀疏特征 降维 决策模型 11 • 骑士体验 取餐距离、订单数量、订单组数 • 用户体验 订单剩余时间、骑士完成时间、 订单准时性 • 配送效率 等餐时间、空驶距离、空闲骑士、

中型特征 （⼗） � 2.2 hotkey现象，且训练与推理的 hotkey⾼度重合 百万级稠密 交叉参数 千亿级 稀疏输⼊ 层参数 单个样本命 中的key ⽐如：性别，年龄等取值少的特征； 热⻔⽂章的特征，活跃⽤户的特征 推荐系统 模型上线 在线推理 模型训练 ⽂章 新闻 视频 Item User Item特征 ⽤户反馈 Item推荐 Embedding参数 本⼩时访问过的key

3 Qwen 1.2 快速开始 本指南帮助您快速上手 Qwen1.5 的使用，并提供了如下示例：Hugging Face Transformers 以及 ModelScope 和 vLLM 在部署时的应用实例。 1.2.1 Hugging Face Transformers & ModelScope 要快速上手 Qwen1.5，我们建议您首先尝试使用 transformers 进行推理。请确保已安装了 model.generate( model_inputs.input_ids, max_new_tokens=512, streamer=streamer, ) 1.2.2 使用 vLLM 部署 要部署 Qwen1.5，我们建议您使用 vLLM。vLLM 是一个用于 LLM 推理和服务的快速且易于使用的框架。以 下，我们将展示如何使用 vLLM 构建一个与 OpenAI API 兼容的 API save_quantized(quant_path, safetensors=True, shard_size="4GB") tokenizer.save_pretrained(quant_path) 然后你就可以得到一个可以用于部署的 AWQ 量化模型。玩得开心！ 1.8 GPTQ GPTQ 是一种针对类 GPT 大型语言模型的量化方法，它基于近似二阶信息进行一次性权重量化。在本文 档中，我们将向您展示如何使用 transformers

原型到产品开发的过程。其 SDK 主要基于 Python 语言，而 Python 语言作为流行的人工智能开发语言一直很受研究者与 开发者的欢迎。其模型训练支持CPU与GPU、支持分布式训练、 云部署、针对深度学习特定领域有不同的丰富的扩展库。 1.1.1 Pytorch 历史 Pytorch 在 2016 年由 facebook 发布的开源机器学习（深度 学习）框架，Pytorch 最初的来源历史可以追溯到另外两个 、模型部署 的压缩、量化、服务器端云化部署、推理端 SDK 支持等方面 Pytorch 也在不断的演化改进。 在操作系统与 SDK 支持方面，Pytorch 从最初的单纯支持 Python 语言到如今支持 Python/C++/Java 主流编程语言， 目前已经支持 Linux、Windows、MacOS 等主流的操作系统、 同时全面支持 Android 与 iOS 移动端部署。 在版本发布管理方面，Pytorch 方式直接 安装。 1.1.2 Pytorch 的模块与功能 Pytorch 当前支持绝大数的深度学习常见的算子操作，基于相 关的功能模块可以快速整合数据、构建与设计模型、实现模型 训练、导出与部署等操作。这些功能的相关模块主要有如下： 1）torch.nn 包，里面主要包含构建卷积神经网络的各种算子 操作，主要包括卷积操作（Conv2d、Conv1d、Conv3d）激 活函数、序贯模型

搭建 AI SaaS 理论：10 分钟快速开发 AI SaaS • 搭建 AI SaaS 实战：10 分钟快速开发 AI SaaS • 交付 AI SaaS：10 分钟快速掌握容器部署 • 交付 AI SaaS：部署和测试 AI SaaS 目录 串联 AI 流程理论：商品检测与商品识别 检测模型 RetinaNet 前向转换和使用 加载检测推理模型 detector 查看分类器 classifier ai_pipeline.py 搭建 AI SaaS 实战：10 分钟快速开发 AI SaaS “Hello TensorFlow” Try it！ 交付 AI SaaS：10 分钟快速掌握容器部署 更新依赖 requirements.txt 为 AI SaaS 编写 Dockerfile 为 AI SaaS 构建 Docker 镜像（TF 容器外） $ docker build –t 容器外） $ docker build –t tf2-ai-saas -f ai_saas/Dockerfile . “Hello TensorFlow” Try it！ 交付 AI SaaS：部署和测试 AI SaaS 启动商品识别 AI SaaS 服务（GPU版本） $ docker run --runtime nvidia -it --rm --name tf2_ai_saas -p