业务落地篇：实现货架洞察 Web 应用 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程 • 串联 AI 流程理论：商品检测与商品识别 • 串联 AI 流程实战：商品检测与商品识别 • 展现 AI 效果理论：使用 OpenCV 可视化识别结果 • 展现 AI 效果实战：使用 OpenCV 可视化识别结果 • 搭建 AI SaaS 理论：Web 框架选型 • 搭建 AI 展现 AI 效果实战：使用 OpenCV 可视化识别结果 “Hello TensorFlow” Try it！ 搭建 AI SaaS 理论：Web 框架选型 Python Web 框架 Python Web 框架 - Flask Python Web 框架 - Flask Flask 常用扩展 Flask 项目常见目录结构 启动文件 manage.py 示例 搭建 AI SaaS 理论：数据库

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 537 12.7 参数服务器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 540 12.7.1 . . . . . . . . . . . . . . . . . 758 16.4 选择服务器和GPU . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 758 16.4.1 选择服务器 . . . . . . . . . . . . . . . . . . . . . . . . Gaurav Saha, Murat Semerci, Lei Mao, Zhu Yuanxiang, thebesttv, Quanshangze Du, Yanbo Chen。 我们感谢Amazon Web Services，特别是Swami Sivasubramanian、Peter DeSantis、Adam Selipsky和Andrew Jassy对撰写本书的慷慨支持。如果没有可用的时间、资

Origin 每加 仑燃 油英 里 气缸数 排量 马力 重量 加速度 型号 年份 产地 Auto MPG 数据集一共记录了 398 项数据，我们从 UCI 服务器下载并读取数据集到 DataFrame 对象中，代码如下： import tensorflow as tf from tensorflow import keras import pandas # 测试网络的输出 x = tf.random.normal([4,224,224,3]) out = resnet(x) # 获得子网络的输出 out.shape 上述代码自动从服务器下载模型结构和在 ImageNet 数据集上预训练好的网络参数。通过设 置 include_top 参数为 False，可以选择去掉 ResNet50 最后一层，此时网络的输出特征图大 小为[?, 7 # 清零测量器 8.7 可视化 在网络训练的过程中，通过 Web 端远程监控网络的训练进度，可视化网络的训练结 果，对于提高开发效率和实现远程监控是非常重要的。TensorFlow 提供了一个专门的可视 化工具，叫做 TensorBoard，它通过 TensorFlow 将监控数据写入到文件系统，并利用 Web 后端监控对应的文件目录，从而可以允许用户从远程查看网络的监控数据。

⼿动指定机器很繁琐� • 端⼝冲突� • 机器负载不均� TensorFlow使用现状及痛点 • ⼿动分发训练样本� • ⼿动拉取训练模型� TensorFlow使用现状及痛点 • 多⼈多服务器使用混乱，计算资源如何划分？� • 没有GPUs集群资源管理和调度（内存、CPU、GPU、 端⼝），集群资源负载不均� • 训练数据⼿动分发，训练模型⼿动保存� • 进程遗留问题，需要⼿动杀死� 作业训练结束自动回收work、ps和Tensorboard进程� • 训练效果和性能没有损失� 基本目标：� TensorFlow on Yarn设计 • 支持GPU亲和性调度（提⾼通信效率）� • Web的⽅式查看作业的运⾏状况和作业日志� • 在线查看Tensorboard� • HistoryServer支持查看结束作业的日志和状态信息� • 控制已有的TensorFlow作业的迁移成本（最多改三⾏

等格式文件，需独立安装。 https://github.com/lepture/captcha flask flask 是一个基于 Werkzeug 和 jinja2 开发的 Python Web 应用程序框架，遵从 BSD 开源协 议。它以一种简约的方式实现了框架核心，又保留了扩展性。 https://github.com/pallets/flask 生成验证码数据集 验证码（CAPTCHA）简介 Turing test to tell Computers and Humans Apart，简称CAPTCHA），俗称验证码，是一种区分用户是 计算机或人的公共全自动程序。在CAPTCHA测试中，作为服务器的计算机会自动生成一 个问题由用户来解答。这个问题可以由计算机生成并评判，但是必须只有人类才能解答。 由于计算机无法解答CAPTCHA的问题，所以回答出问题的用户就可以被认为是人类。 一种常用

Modelfile 完成后，你即可运行你的 ollama 模型： ollama run qwen7b 1.6 Text Generation Web UI Text Generation Web UI（简称 TGW，通常被称为“oobabooga”）是一款流行的文本生成 Web 界面工具，类似 于 AUTOMATIC1111/stable-diffusion-webui 。它拥有多个交互界面，并支持多种模型后端，包括 ├── Qwen1.5-7B-Chat │ │ ├── config.json │ │ ├── generation_config.json (续下页) 1.6. Text Generation Web UI 11 Qwen (接上页) │ │ ├── model-00001-of-00004.safetensor │ │ ├── model-00002-of-00004.safetensor 随后你需要运行 python server.py 来启动你的网页服务。请点击进入 `http://localhost:7860/?__theme=dark` 然后享受使用 Qwen 的 Web UI 吧！ 1.6.2 下一步 TGW 中包含了许多更多用途，您甚至可以在其中享受角色扮演的乐趣，并使用不同类型的量化模型。您可 以训练诸如 LoRA 这样的算法，并将 Stable Diffusion

Serving PS Traing PS Traing Model System Predict Score Sample Data worker worker worker 3 在线机器学习-参数服务器 serving serving serving server server server server server worker worker worker PSscheduler PSserver HA Fault tolerance checkpoint Local HDFS Param Server System Model Serving System 3 在线机器学习-参数服务器 • 参数规模 • 支持百亿特征维度，千亿参数 • 模型版本 • 多模型多版本：多组实验并行执行，提高实验迭代效率 • 在线版本切换：基于ZK的版本感知机制，动态进行版本切换，实现BASE OD），解决数据倾斜导致的流量热点瓶颈问题，性能提升2-5倍 • 存储优化：自定义存储方式(ByRow&ByKey)，基于row进行矩阵压缩存储，参数内存占用减少90% 3 在线机器学习-参数服务器 模型验证 离线训练 实时训练 模型训练 模型部署 在线服务 离线验证 在线发布 在线验证 在线一致性/ 模型稳定性/… 一键打包 端口探测 蓝绿部署/灰度发布 AUC/准确率/

n 峰值时会达到1500 QPS SACC2017 检测-人脸检测/人形检测 场景多样、人脸小、位置边缘 本页图片均来自公开摄像头 SACC2017 检测-人脸检测/人形检测 手机 服务器 可缩小尺寸 240P 720P CPU ARM（千元机） E5-2630 时间 50ms 120ms GPU 2-5ms(K40) SACC2017 图像技术的三个核心难点>>小、快、准 传输、存储压力 多任务串联 GPU服务框架-图像特点 通用计算（Caffe/Tensorflow/Mxnet） SACC2017 GPU服务框架 人形检测 人脸识别 100台-> 10台服务器 300QPS/台（4*k40） 轮询结果 SACC2017 SACC2017

算法 1. ⾼性能 2. 效果⽆ 损的优化 � Feature 1（基本特点） � Feature 2（数据的时空 特点） � Feature3（机器学习 的特点） 训练框架—基于参数服务器架构的分布式训练框架 TB级模型 分⽚ 存储/更新 百TB数据 分⽚训练 Feature 1: 动态空间 Feature 2.1:短时间内只有部分item和user 被命中，只有部分参数被⽤到

0, 0, 0, 0, 0, 0, 0, 0, 0, … ] [ 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, … ] 服务器 [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, … ] [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,