使用Python训练和部署低精度模型 （TensorFlow版） 张校捷 2019/9/21 目录 CONTENTS 低精度的概念和意义 TensorFlow的FP16模型 TensorRT的FP16/Int8模型 总结 1 低精度的概念和意义 实数的16-bit半精度浮点数和8-bit定点数表示 使用低精度的意义 深度学习模型中实数的表示 FP32: E8M23 FP16: org/pdf/1710.03740.pdf 3 TensorRT的FP16/Int8模型 TensorFlow中使用TensorRT 在TensorRT中使用FP16/Int8 TensorFlow + TensorRT环境的构建 TensorRT的安装（https://docs.nvidia.com/deeplearning/sdk/tensorrt-install-guide/index.html）： html）： 1. TensorRT 安装包：https://developer.nvidia.com/tensorrt 2. 从.deb文件安装libnvinfer.so 同时安装Python wheel文件tensorrt-6.0.1.5-cp37-none-linux_x86_64.whl 3. 安装TensorFlow 1.14 （GPU版本） 或者直接使用 Docker镜像： docker

T4 上推理速度可达 1242 FPS；YOLOv6-s 在 COCO 上精度可达 43.1% AP，在 T4 上推理速度可达 520 FPS。在部署方面， YOLOv6 支 持 GPU（TensorRT）、CPU（OPENVINO）、ARM（MNN、TNN、 NCNN）等不同平台的部署，极大地简化工程部署时的适配工作。 目前，项目已开源至 Github，传送门：YOLOv6。欢迎有需要的小伙伴们 本。更详尽的关于量化部署实践的相关内容，近期会在美团技术团队公众号上进行推 送，敬请期待。 完备的开发支持和多平台部署适配 YOLOv6 支持检测模型训练、评估、预测以及模型量化、蒸馏等全链路开发流程， 同时支持 GPU（TensorRT）、CPU（OPENVINO）、ARM（MNN、TNN、NCNN） 等不同平台的部署，极大简化工程部署时的适配工作。更详细的教程指引请移步 YOLOv6 Github 仓库 Deployment 模型部署推理延时，但也带来了模型量化部署方面的难题。对重参数化网络的直接量 化一般会带来不可接受的精度损失，例如 RepVGG-B1 [2] 网络在 ImageNet 数据集 上的浮点精度为 78.42%，采用 TensorRT 后量化（PTQ）的量化模型精度则降低为 54.55%。 此外，由于重参数化结构在训练和部署时结构不同，因此无法直接适配现有的量化感 知训练（QAT）方法，如何使用 QAT 方法来提高

⼏几个可以选择的⽅方案：
 1. 买更更多更更贵的机器器——fp16、v100、cpu化
 2. 优化算法——知识蒸馏
 3. 优化实现——jit/TensorRT PyTorch jit • 原理理介绍 • 转化为graph截图 TensorRT • NVIDIA推出的inference引擎 • ⾃自家硬件使⽤用到极致 • 与CPU⽐比较：20x faster • 正确的问法：
 的算⼦子 知识蒸馏 • Teacher Student 学的更更快 • Huggingface Distill BERT • 12层 蒸出 6层 what’s next? • TensorRT inference server
 改变pipeline
 • cpu化
 不不在意延时，只追求吞吐量量
 • fp16低精度 THANK YOU Meteorix 刘欣 github

深度学习-分布式模型推理 • 推理性能优化 • 减少计算量： operator fusion/XLA/TVM/prune/float16/quantization • 加快计算速度： batching/TensorRT/MPS/SSE/AVX/Neon • operator fusion • 针对特定场景重写耗时算子 • 重构tensorflow计算引擎 • batching • 批量调度请求到GPU，增大并发和吞吐量

Azure AI、谷歌 Vertex AI 等，允许应用开发者轻松部署和使用标准化或定制化的 AI 模型， 并通过 API 接口调用这些模型。  最后一类是本地推理，SGLang、vLLM、TensorRT-LLM 在生产级 GPU 服务负载中表现 出色，受到许多有本地托管模型需求的应用开发者的欢迎，此外，Ollama 和 LM Studio 也 是在个人计算机上运行模型的优选方案。 62