TensorFlow 2 项目实战进阶 扫码试看/订阅 《TensorFlow 2 项目进阶实战》视频课程 快速上手篇：动⼿训练模型和部署服务 • TensorFlow 2 开发环境搭建 • 使用 tf.keras.datasets 加载数据 • 使用 tf.data.Dataset 加载数据 • 使用 tf.keras.Model 管理模型 • Fashion MNIST 数据集介绍

3 Qwen 1.2 快速开始 本指南帮助您快速上手 Qwen1.5 的使用，并提供了如下示例：Hugging Face Transformers 以及 ModelScope 和 vLLM 在部署时的应用实例。 1.2.1 Hugging Face Transformers & ModelScope 要快速上手 Qwen1.5，我们建议您首先尝试使用 transformers 进行推理。请确保已安装了 model_inputs.input_ids, max_new_tokens=512, streamer=streamer, ) 1.2.2 使用 vLLM 部署 要部署 Qwen1.5，我们建议您使用 vLLM。vLLM 是一个用于 LLM 推理和服务的快速且易于使用的框架。以 下，我们将展示如何使用 vLLM 构建一个与 OpenAI API 兼容的 API 服务。 首先，确保你已经安装 vLLM>=0.3 AVX、AVX2 和 AVX512 加速支持。此 外，它还提供了 2、3、4、5、6 以及 8 位量化功能，以加快推理速度并减少内存占用。对于大于总 VRAM 容量的大规模模型，该库还支持 CPU+GPU 混合推理模式进行部分加速。本质上，llama.cpp 的用途在于运行 GGUF（由 GPT 生成的统一格式）模型。欲了解更多详情，请参阅官方 GitHub 仓库。以下我们将演示如何 使用 llama.cpp

. . . . . . . . . . . . . . . . 504 12.1.2 混合式编程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 506 12.1.3 Sequential的混合式编程 . . . . . . . . . . . . . . . . . . . . . 多公司，如亚马逊，在20世纪90年代开发了成功的数据库驱 动网页应用程序。但在过去的10年里，这项技术在帮助创造性企业家方面的潜力已经得到了更大程度的发挥， 部分原因是开发了功能强大、文档完整的框架。 测试深度学习的潜力带来了独特的挑战，因为任何一个应用都会将不同的学科结合在一起。应用深度学习需 要同时了解（1）以特定方式提出问题的动机；（2）给定建模方法的数学； （3）将模型拟合数据的优化算法； ；（2）涵盖了现代机器学习的 所有领域，技术深度丰富；（3）在一本引人入胜的教科书中，人们可以在实践教程中找到干净的可运行代码， 并从中穿插高质量的阐述。我们发现了大量关于如何使用给定的深度学习框架（例如，如何对TensorFlow中 的矩阵进行基本的数值计算)或实现特定技术的代码示例（例如，LeNet、AlexNet、ResNet的代码片段），这 些代码示例分散在各种博客帖子和GitHu

推理: Ring All-reduc同步训练 [HybridBackend/SOK] 特征选择 [VariationalDropout] 通信优化 [GRPC++] 实时训练 [增量更新] 混合精度 [bf16] 工程优化: 千亿特征优化 模型蒸馏 AVX/SSE优化 Graph优化 [User Graph去重] 内存Allocate优化 ParallelStringOp [split/type 视频打标签  推荐模型特征 解决方案: 小样本学习 小样本结构化模型 在线预测服务（EAS） • 一键部署 • 多模型 • 蓝绿部署 • 弹性扩缩 • 推理优化 ML Frameworks ML Service (PaaS) AI Service (SaaS) 机器学习框架(PAI-TensorFlow/PAI-PyTorch/Caffe /Alink/…) 计算引擎(MaxCompute 基础硬件（CPU/GPU/FPGA/NPU） 阿里云容器服务(ACK) • 200+组件 • 数十个场景化模版 • 所见即所得 交互式建模（DSW） • JupyterLab、WebIDE • 多框架兼容 • 可视化+tensorboard • 图像、视频、文本、 语音标注 • 多场景模板：物体检 测、语音识别 • 数据集管理 • 主动学习 • 智能标注 itags AI S

Polly Lex 对话引擎 Rekognition 图像分析 深度学习框架 MXNet, TensorFlow, Theano, Caffe, Torch 为客户模型定制的 深度学习框架 人工智能 的托管的 API服务 Amazon AI: 新的深度学习服务 Polly Lex Rekognition 深度学习框架 MXNet, TensorFlow, Theano, Caffe, GiB 20 Gigabit 深度学习框架 – MXNet 概述 MXNet • 节省以及资源效率 • 工程中廉价的GPUs、较小的内存以及网络的限制 • 速度 • 线性的扩展能力 • 简单 • 混合了声明式（declarative）和命令式()代码的特点 为什么选择 MXNet ？ MXNet: 可扩展的深度学习框架 MXNet 框架的特点 命令式 NDArray API customized board Drone Realtime detection and tracking on TX1 ~10 frame/sec with 640x480 resolution 处处可部署 Beyond BlindTool by Joseph Paul Cohen, demo on Nexus 4 Fit the core library with all dependencies

明 得益于简洁优雅的设计理念，基于动态图的 PyTorch 框架在学术圈广受好评，绝大多数 最新算法是基于 PyTorch 实现的，众多的第三方 AI 框架应用，例如 mmdetection、mmaction2、 transformer、speechbrain 等均以 PyTorch 为基础开发，可见掌握 PyTorch 框架在人工智能行 业中的重要地位。 本书基于清华大学出版社出版的《TensorFlow 预览版202112 简 要 目 录 人工智能绪论 1.1 人工智能 1.2 神经网络发展简史 1.3 深度学习特点 1.4 深度学习应用 1.5 深度学习框架 1.6 开发环境安装 1.7 参考文献 第 2 章 回归问题 2.1 神经元模型 2.2 优化方法 2.3 线性模型实战 2.4 线性回归 2.5 参考文献 章 自定义数据集 15.1 精灵宝可梦数据集 15.2 自定义数据集加载流程 15.3 宝可梦数据集实战 15.4 迁移学习 15.5 Saved_model 15.6 模型部署 15.7 参考文献 预览版202112 人工智能绪论 我们需要的是一台可以从经验中学习的机器。 −阿兰·图灵 1.1 人工智能 信息技术是

成 的。” Homer, Odyssey 19. 562 ff (Shewring translation). 为什么选择 KERAS？ 5 2 为什么选择 Keras？ 在如今无数深度学习框架中，为什么要使用 Keras 而非其他？以下是 Keras 与现有替代品的 一些比较。 2.1 Keras 优先考虑开发人员的经验 • Keras 是为人类而非机器设计的 API。Keras 遵循减少认知困难的最佳实践: TensorFlow 工作流无缝集成。 2.2 Keras 被工业界和学术界广泛采用 Deep learning 框架排名，由 Jeff Hale 基于 7 个分类的 11 个数据源计算得出 截至 2018 年中期，Keras 拥有超过 250,000 名个人用户。与其他任何深度学习框架相比，Keras 在行业和研究领域的应用率更高（除 TensorFlow 之外，且 Keras API 是 TensorFlow 的科学论文中被提 及的次数位居第二。Keras 还被大型科学组织的研究人员采用，特别是 CERN 和 NASA。 2.3 Keras 可以轻松将模型转化为产品 与任何其他深度学习框架相比，你的 Keras 模型可以轻松部署在更广泛的平台上： • 在 iOS 上，通过 Apple’s CoreML（苹果为 Keras 提供官方支持）。这里有一个教程。 • 在安卓上，通过 TensorFlow Android

算法 1. ⾼性能 2. 效果⽆ 损的优化 � Feature 1（基本特点） � Feature 2（数据的时空 特点） � Feature3（机器学习 的特点） 训练框架—基于参数服务器架构的分布式训练框架 TB级模型 分⽚ 存储/更新 百TB数据 分⽚训练 Feature 1: 动态空间 Feature 2.1:短时间内只有部分item和user 被命中，只有部分参数被⽤到 for Distributed Training Dense参数，每次 都⽤，快速收敛 Sparse参数，随数 据变化，收敛度差 异⼤ 基于动态阈值 的稀疏化压缩 float16压缩 特点 混合压缩 ⽅案 效果 ～-90% -50% 训练速度提升 10%-30% 在线推理服务成本⾼，上线模型可以变⼩么？---模型压缩 模型的⼤⼩由什么决定？ Key + embedding values 变⻓Embedding 特征出现次数少，⽤1个float 结合show/click，有效果提升 2. 更少的key： group lasso key级别的稀疏化 3. 更短的values a) 混合精度： float16+int8+int4 b) 量化压缩，1bit或2bit 优点：与优化器⽆关 缺点：1. 只适合低频特征多的场景 2. 变⻓编码，不利于性能优化

��������������������������������������������������������������������������������� 2 1.1.3 Pytorch 框架现状与趋势 ��������������������������������������������������������������������������������������������� 11 概述 大家好，本章是主要介绍一下深度学习框架 Pytorch 的的历史与发展，主要模 块构成与基础操作代码演示。重点介绍 Pytorch 的各个组件、编程方式、环境 搭建、基础操作代码演示。本章对有 Pytorch 开发经验的读者来说可以直接跳 过；对初次接触 Pytorch 的读者来说，通过本章学习认识 Pytorch 框架，搭建 好 Pytorch 的开发环境，通过一系列的基础代码练习与演示建立起对深度学习 与 Pytorch 框架的感性认知。 本书内容以 Python 完成全部代码构建与程序演示。本章的主要目标是帮助初 次接触 Python 与 Pytorch 的读者搭建好开发环境，认识与理解 Pytorch 框架 中常见的基础操作函数、学会使用它们完成一些基础的数据处理与流程处理， 为后续内容学习打下良好基础。 好了，下面就让我们来一起开启这段 Pytorch 框架的深度学习破冰之旅。

手机上的惯性传感器（IMU） SLAM运行结果 • 设备根据传感器的信息 • 计算自身位置（在空间中的位置和朝向） • 构建环境地图（稀疏或者稠密的三维点云） 稀疏SLAM 稠密SLAM SLAM系统常用的框架 输入 • 传感器数据 前台线程 • 根据传感器数据进行跟踪求解， 实时恢复每个时刻的位姿 后台线程 • 进行局部或全局优化，减少误差累积 • 场景回路检测 输出 • 设备实时位姿 VR》 SLAM应用介绍 • 增强现实：Google Tango Google的Tango项目演示视频 Tango为终端开发者提供了从硬件到软件的整套AR开发套件 SLAM应用介绍 • 混合现实：微软HoloLens HoloLens融合了场景位置感知和头盔显示技术，并提供了完整的软硬件解决方案。 Hololens部分传感器 左右双目+前视RGB摄像头+深度传感器 Hololens宣传视频 Traditional BA 动态场景SLAM的主要问题（1） 场景逐渐在改变 可能有大量的错误匹配 动态场景SLAM的主要问题（2） 视点改变造成的遮挡 运动物体造成的遮挡 RDSLAM框架 结果与比较 RKSLAM: Robust Keyframe-based Monocular SLAM for Augmented Reality Keyframe-based SLAM vs