基本数据类型 主讲人：龙良曲 All is about Tensor python PyTorch Int IntTensor of size() float FloatTensor of size() Int array IntTensor of size [d1, d2 ,…] Float array FloatTensor of size [d1, d2, …] string

[探索]聊天机器人 吴金龙@爱因互动 2017年04月17日 吴金龙 • 2005~2010：北大数学院 • 推荐系统 • 2010~2011：阿里云 • PC/手机输入法 • 2011~2017：世纪佳缘 • 用户推荐、网警等数据系统 • 技术部负责人 • 一个AI负责人 • 2017~现在：爱因互动 • 技术合伙人、算法负责人 • ChatbotsChina发起人 • •Microsoft Cortana •微软小冰 2016 •Facebook Messenger •Microsoft Tay IR-Bot: 智能检索机器人 IR-Bot：检索问答系统 IR-Bot：深度学习 • 句子表示、QA匹配 基于深度学习的智能问答 IR-Bot：深度学习 • 句子表示、QQ匹配 Semantic Question Matching with Deep Tracking (DST) • 对话状态应该包含持续对话所需要的各种信息 • DST问题：依据最新的系统和用户动作，更新对话状态 • Q：如何表示对话状态 状态追踪 (DST) 旧状态 用户动作 系统动作 新状态 策略优化 Dialogue Policy Optimization (DPO) • 系统如何做出反馈动作 • 作为序列决策过程进行优化：增强学习 Milica Gašić (2014)

� ⽆量系统 � 项⽬于17年启动，先后经过了6个主要版本的 迭代 � 覆盖腾讯PCG全部业务的推荐场景，⽀持腾讯 IEG，CSIG，QQ⾳乐，阅⽂等业务的部分推 荐场景 � 袁镱 博⼠，专家⼯程师 � 研究⽅向：机器学习系统，云计算，⼤数据系统 � 负责腾讯平台与内容事业群（PCG）技术中台核 ⼼引擎：⽆量系统。⽀持⼤规模稀疏模型训练， 上线与推理 提纲 �推荐场景深度学习系统的基本问题与特点 �推荐场景深度学习系统的基本问题与特点 �推荐类模型的深度学习系统设计 � 系统维度 � 算法维度 �总结 基于深度学习模型的推荐流程，场景与⽬标 Serving系统 HDFS 数据 通道 训练系统 召回 业务服务 排序 混排 模型 管理 上线 管理 ⽆量 RGW/Cos/ kafka 样本 存储 实时样本 ⽣成服务 离线样本 ⽣成任务 数据 通道 特征 处理 模型 登记 模型 上线 千亿级推荐模型应⽤ O1. 千亿级特征（TB级）的模型的在线/离 线训练，在线推理服务和持续上线 O2. 针对推荐特点的深度优化，达到业界先 进⽔平 推荐系统的核⼼特点 � Feature 1（基本特点） 1.1 User与推荐系统交互，7*24⼩时 流式学习 1.2 Item和User新增，离开/遗忘， Embedding空间动态变化。 短期命中的⾼频key随时间缓慢变化 少量的⾼频key占据了主要访问需求

的压缩、量化、服务器端云化部署、推理端 SDK 支持等方面 Pytorch 也在不断的演化改进。 在操作系统与 SDK 支持方面，Pytorch 从最初的单纯支持 Python 语言到如今支持 Python/C++/Java 主流编程语言， 目前已经支持 Linux、Windows、MacOS 等主流的操作系统、 同时全面支持 Android 与 iOS 移动端部署。 在版本发布管理方面，Pytorch 平台、ubuntu 平台还是 Mac 平台都靠一条命令 行就可以完成安装。首先是安装 Python 语言包支持，当前 Pytorch 支持的 Python 语言版本与系统对应列表如下： 表 -1（参考 Pytorch 官网与 Github） 系统 Python3�6 Python3�7 Python3.8 Linux CPU/GPU 支持 支持 支持 Windows CPU/GPU 支持 支持 支持 x版本， 其中 x 表示 3.6 版本下的各个小版本，依此类推 3.7、3.8 同样 如此。本书代码演示以 Python3.6.5 版本作为 Python 支持语 言包。它在 Windows 系统下的安装过程非常简单，只需如下 几步： 1. 下载 Python3.6.5 安装包，地址为： https://www.python.org/ftp/python/3.6.5/python-3.6

3.5 非线性模型 3.6 表达能力 3.7 优化方法 3.8 手写数字图片识别体验 3.9 小结 3.10 参考文献 第 4 章 PyTorch 基础 4.1 数据类型 4.2 数值精度 4.3 待优化张量 4.4 创建张量 预览版202112 4.5 张量的典型应用 4.6 索引与切片 4.7 维度变换 4.8 Broadcasting 9 参考文献 第 6 章 神经网络 6.1 感知机 6.2 全连接层 6.3 神经网络 6.4 激活函数 6.5 输出层设计 6.6 误差计算 6.7 神经网络类型 6.8 油耗预测实战 6.9 参考文献 第 7 章 反向传播算法 7.1 导数与梯度 7.2 导数常见性质 7.3 激活函数导数 7.4 损失函数梯度 7.5 足迹。早期，人们试图通过总 结、归纳出一些逻辑规则，并将逻辑规则以计算机程序的方式实现，来开发出智能系统。 但是这种显式的规则往往过于简单，并且很难表达复杂、抽象的概念和规则。这一阶段被 称为推理期。 1970 年代，科学家们尝试通过知识库加推理的方式解决人工智能，通过构建庞大复杂 的专家系统来模拟人类专家的智能水平。这些明确指定规则的方式存在一个最大的难题， 就是很多复杂、抽象的概念无法用

COPYRIGHTS RESERVED 15 模型演变历程 v1.0 初版模型系统 v2.0 深度学习模型 v2.0+ 效果持续优化 XGBoost DNN+RNN 特征建设 v1.0 初版模型系统 2019 KE.COM ALL COPYRIGHTS RESERVED 16 v1.0 - 初版模型系统概览 • 房源特征 静态特征 时序特征 • 特征处理 特征提取 特征组合 模型预测 XGBoost • 分数映射 房源质量分数 M 2019 KE.COM ALL COPYRIGHTS RESERVED 17 房源特征  6大方向设计了90维特征  静态特征：69维  时序特征：21维  一套房源能否成交同很多因素相关 客源 17维 性价比 9维 业主 14维 市场 12维 经纪人 9维 基本属性 29维 成交 2019 KE 解决了人工选房的问题  选房成本低  选房没有主观性  可以盘点所有房源质量 2019 KE.COM ALL COPYRIGHTS RESERVED 20 模型演变历程 v1.0 初版模型系统 v2.0 深度学习模型 v2.0+ 效果持续优化 XGBoost DNN+RNN 特征建设 2019 KE.COM ALL COPYRIGHTS RESERVED 21 RNN RNN

6 2.4 Keras 支持多个后端引擎，并且不会将你锁定到一个生态系统中 . . . . . . . . . . 6 2.5 Keras 拥有强大的多 GPU 和分布式训练支持 . . . . . . . . . . . . . . . . . . . . . . 6 2.6 Keras 的发展得到深度学习生态系统中的关键公司的支持 . . . . . . . . . . . . . . batch_size=128) 构建一个问答系统，一个图像分类模型，一个神经图灵机，或者其他的任何模型，就是这么 的快。深度学习背后的思想很简单，那么它们的实现又何必要那么痛苦呢？ 有关 Keras 更深入的教程，请查看： • 开始使用 Sequential 顺序模型 • 开始使用函数式 API 在代码仓库的 examples 目录中，你会找到更多高级模型：基于记忆网络的问答系统、基于 栈式 LSTM 的文本生成等等。 它类似于文字寓意，κέρας (号角) / κραίνω (履行)，以及 ἐλέφας (象牙) / ἐλεφαίρομαι (欺骗)。 Keras 最初是作为 ONEIROS 项目（开放式神经电子智能机器人操作系统）研究工作的一部 分而开发的。 “Oneiroi 超出了我们的理解 - 谁能确定它们讲述了什么故事？并不是所有人都能找 到。那里有两扇门，就是通往短暂的 Oneiroi 的通道；一个是用号角制造的，一个是

，我们的目标是找到能够 区分正样本和负样本的决策边界，需要据此拟合一个假设函数。 无监督学习 与此不同的是，在无监督学习中，我们的数据没有附带任何标签?，无 监督学习主要分为聚类、降维、关联规则、推荐系统等方面。 监督学习和无监督学习的区别 5 1.无监督学习方法概述 ✓ 聚类（Clustering） ✓ 如何将教室里的学生按爱好、身高划分为5类？ ✓ 降维（ Dimensionality 如何将将原高维空间中的数据点映射到低维度的空间中？ ✓ 关联规则（ Association Rules） ✓ 很多买尿布的男顾客，同时买了啤酒，可以从中找出什么规律来提 高超市销售额？ ✓ 推荐系统（ Recommender systems） ✓ 很多客户经常上网购物，根据他们的浏览商品的习惯，给他们推荐 什么商品呢？ 主要的无监督学习方法 6 1.无监督学习方法概述 主要算法 K-means、密度聚类、层次聚类 簇的质心移动到这个新位置。对所有其他簇重 复相同的步骤。 迭代更新 20 2.K-means聚类 K-means算法流程 优化 上述两个步骤是迭代进行的，直到质心停止移动，即它们不再改变自己的位置，并且成为静态的。一 旦这样做，k-均值算法被称为收敛。 设训练集为：{?(1), ?(2), ?(3), … , ?(?)}，簇划分? = {?1, ?2, ⋯ , ??}，用?1, ?2, . . . ,

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170 4.9.1 分布偏移的类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171 4.9.2 分布偏移示例 . . . 、自动语音识别、强化学 习和统计建模等领域的快速发展。有了这些进步，我们现在可以制造比以往任何时候都更自主的汽车（不过 可能没有一些公司试图让大家相信的那么自主），可以自动起草普通邮件的智能回复系统，帮助人们从令人 压抑的大收件箱中解放出来。在围棋等棋类游戏中，软件超越了世界上最优秀的人，这曾被认为是几十年后 的事。这些工具已经对工业和社会产生了越来越广泛的影响，改变了电影的制作方式、疾病的诊断方式，并 描述了深度学习计算的各种关键组件，并为我们随后 实现更复杂的模型奠定了基础。接下来，在 6节 和 7节 中，我们介绍了卷积神经网络（convolutional neural network，CNN），这是构成大多数现代计算机视觉系统骨干的强大工具。随后，在 8节 和 9节 中，我们引入了循环神经网络(recurrent neural network，RNN)，这是一种利用数据中的时间或序列 结构的模型，通常用于自然语言处理和时间序列预测。在

batch_decode() 函数对响应进行解码。关于输入部分，上述的 messages 是一个 示例，展示了如何格式化对话历史记录和系统提示。默认情况下，如果您没有指定系统提示，我们将直接使 用 You are a helpful assistant. 作为系统提示。 1.3.2 流式输出 借助 TextStreamer ，您可以将与 Qwen 的对话切换到流式传输模式。下面是一个关于如何使用它的示例： 生成的统一格式）模型。欲了解更多详情，请参阅官方 GitHub 仓库。以下我们将演示如何 使用 llama.cpp 运行 Qwen。 1.4.1 准备 这个示例适用于 Linux 或 MacOS 系统。第一步操作是：“克隆仓库并进入该目录： git clone https://github.com/ggerganov/llama.cpp cd llama.cpp 然后运行 make 命令： 已经正式成为 LM Studio 的一部分。祝你使用愉快！ 1.5 Ollama Ollama 帮助您通过少量命令即可在本地运行 LLM。它适用于 MacOS、Linux 和 Windows 操作系统。现在， Qwen1.5 正式上线 Ollama，您只需一条命令即可运行它： ollama run qwen 接着，我们介绍在 Ollama 使用 Qwen 模型的更多用法 1.5.1 快速开始