chat_response) 1.8.3 使用 AutoGPTQ 量化你的模型 如果你想将自定义模型量化为 GPTQ 量化模型，我们建议你使用 AutoGPTQ 工具。推荐通过安装源代码的方 式获取并安装最新版本的该软件包。 git clone https://github.com/AutoGPTQ/AutoGPTQ cd AutoGPTQ pip install -e . 假设你已经基于 Qwen1.5-7B 在帮助用户利用 LlamaIndex 与 Qwen1.5 快速部署检索增强生成（RAG）技术。 1.15.1 环境准备 为实现检索增强生成（RAG），我们建议您首先安装与 LlamaIndex 相关的软件包。 以下是一个简单的代码示例： pip install llama-index pip install llama-index-llms-huggingface pip install llama-index-readers-web

、类等封装在d2l包中。对于要保存到包 中的任何代码块，比如一个函数、一个类或者多个导入，我们都会标记为#@save。我们在 16.6节 中提供了这 些函数和类的详细描述。d2l软件包是轻量级的，仅需要以下软件包和模块作为依赖项： #@save import collections import hashlib import math import os import random io/en/latest/miniconda.html 9 conda create --name d2l python=3.9 -y 现在激活 d2l 环境： conda activate d2l 安装深度学习框架和d2l软件包 在安装深度学习框架之前，请先检查计算机上是否有可用的GPU。例如可以查看计算机是否装有NVIDIA GPU并已安装CUDA9。如果机器没有任何GPU，没有必要担心，因为CPU在前几章完全够用。但是，如果想 com/cuda‐downloads 10 目录 现在可以在Web浏览器中打开http://localhost:8888（通常会自动打开）。由此，我们可以运行这本书中每个 部分的代码。在运行书籍代码、更新深度学习框架或d2l软件包之前，请始终执行conda activate d2l以激活 运行时环境。要退出环境，请运行conda deactivate。 Discussions10 10 https://discuss.d2l