微博在线机器学习和深度学习实践 黄波 @黄波_WB 资深技术专家 2019.5 目录 1.推荐篇 2.平台篇 3.总结篇 1 目录 • 推荐场景 • 推荐 • 在线机器学习 • 深度学习 • 平台背景 • 平台架构 • 平台效果 • 微博技术里程碑 • 微博业务生态 推荐篇 APPLICATION 推荐场景、在线机器学习和深度学习 11 1 推荐场景 • • 信息流 热门流 视频流 关系流 • 推荐流 图片推荐流 正文推荐流 视频推荐流 1 推荐场景 • 推荐 • 在特定场景下，根据用户行为和特点，向用户推荐感兴趣的对象集 • 模型： • 趋势 • 实时化：在线机器学习 • 深度化：深度学习 • 平台化：机器学习平台 2 推荐 • 实时化 • 特征实时化：更及时反馈用户行为，更细粒度刻画用户 • 模型实时化：根据线上样本实时训练模型，及时地反映对象的线上变化 节点异常修复 3 在线机器学习-实时样本生成 • 在线机器学习模型训练：Flink/Blink+WeiPS 样本生成和特征处理 1.配置化 2.多标签样本 3.支持高维HASH 训练预处理 1.标签选择 2.标签UDF 3.样本过滤 4.特征过滤 模型训练 1.支持回归和分类 2.支持LR、FM、 DeepFM等模型 3.支持SGD 、 FTRL 、 Adagrad等优化算法

1 2023年05月 深度学习-自然语言处理和词嵌入 黄海广 副教授 2 03 Word2Vec 04 GloVe 本章目录 01 词汇表征和文本数据处理 02 词嵌入 05 GPT 3 1.词汇表征 01 词汇表征和文本数据处理 03 Word2Vec 04 GloVe 02 词嵌入 05 GPT − ?woman = −1 0.01 0.03 0.09 − 1 0.02 0.02 0.01 = −2 −0.01 0.01 0.08 ≈ −2 0 0 0 这个结果表示，man和woman主要的差异是gender（性别）上的差异 类似的，假如你用?king减去?queen，最后也会得到一样的结果 12 2.词嵌入 嵌入矩阵 13 2.词嵌入 嵌入矩阵 14 3 000维度的softmax，因为计算成本很高， 而是把它转变为10,000个二分类问题，每个都很容易计算 ，每次迭代我们要做的只是训练它们其中的5个，一般而言 就是? + 1个，其中?个负样本和1个正样本。这也是为什么 这个算法计算成本更低，因为只需更新? + 1个逻辑单元， ? + 1个二分类问题，相对而言每次迭代的成本比更新 10,000维的softmax分类器成本低。 ? ??

TensorFlow 2 项目实战进阶 扫码试看/订阅 《TensorFlow 2 项目进阶实战》视频课程 快速上手篇：动⼿训练模型和部署服务 • TensorFlow 2 开发环境搭建 • 使用 tf.keras.datasets 加载数据 • 使用 tf.data.Dataset 加载数据 • 使用 tf.keras.Model 管理模型 • Fashion MNIST 数据集介绍

版本请访问: https://github.com/wanzhenchn/keras-docs-zh。 感谢 keras-team 所做的中文翻译工作，本文档制作基于此处。 严正声明：本文档可免费用于学习和科学研究，可自由传播，但切勿擅自用于商业用途，由 此引发一切后果贡献者概不负责。 The main reason of organizing PDF version based the Chinese 5 2.1 Keras 优先考虑开发人员的经验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.2 Keras 被工业界和学术界广泛采用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.3 Keras 可以轻松将模型转化为产品 . . . . . . . . . . . . . 6 2.4 Keras 支持多个后端引擎，并且不会将你锁定到一个生态系统中 . . . . . . . . . . 6 2.5 Keras 拥有强大的多 GPU 和分布式训练支持 . . . . . . . . . . . . . . . . . . . . . . 6 2.6 Keras 的发展得到深度学习生态系统中的关键公司的支持 . . . . . .

广播机制 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 2.1.4 索引和切片 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 2.1.5 节省内存 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 2.4.1 导数和微分 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 2.4.2 偏导数 . . 2.6.2 处理多个随机变量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 2.6.3 期望和方差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 2.7 查阅文档 . .

html GPU 版本执行命令行如下： pip3 install torch torchvision torchaudio 然后执行与 Windows 下相同的命令行完成 pytorch 安装校验 测试。这样我们就完成了 Pytorch 的环境搭建，这里有个很特 别的地方需要注意，就是 Pytorch 的 GPU 版本需要 CUDA 驱 动支持与 CUDA 库的安装配置支持。关于这块的安装强烈建

总的来说，本书适合于大学三年级左右的理工科本科生和研究生，以及其他对人工智能算法 感兴趣的朋友。 本书共 15 章，大体上可分为 4 个部份：第 1~3 章为第 1 部分，主要介绍人工智能的初 步认知，并引出相关问题；第 4~5 章为第 2 部分，主要介绍 PyTorch 相关基础，为后续算法 实现铺垫；第 6~9 章为第 3 部分，主要介绍神经网络的核心理论和共性知识，让读者理解深 度学习的本质；第 尽管每天都有深度学习相关算法论文的发布，但是作者相信，深度学习的核心思想和基 础理论是共通的。本书已尽可能地涵盖其中基础、主流并且前沿的算法知识，但是仍然有很 多算法无法涵盖，读者学习完本书后，可以自行搜索相关方向的研究论文或资料，进一步学 习。 深度学习是一个非常前沿和广袤的研究领域，鲜有人士能够对每一个研究方向都有深刻 的理解。作者自认才疏学浅，略懂皮毛，同时也限于时间和篇幅关系，难免出现理解偏差甚 至错缪之处，若能大方指出，作者将及时修正，不胜感激。 者快速上手深度学习算法，另一方面也能汇聚众多行业专家们的力量，修正测试版中的谬误 之处，让本书变得更为完善。 本书虽然免费开放电子版，供个人学习使用，但是未经许可，不能用于任何个人或者企 业的商业用途，违法盗版和销售，必究其法律责任。 龙龙老师 2021 年 10 月 19 日 预览版202112 配 套 资 源 ❑ 提交错误或者修改等反馈意见，请在 Github Issues 页面提交：

备注：请关注github的更新，线性代数和概率论已经更新完毕。 CS229 机器学习课程复习材料-线性代数 CS229 机器学习课程复习材料-线性代数 线性代数复习和参考 1. 基础概念和符号 1.1 基本符号 2.矩阵乘法 2.1 向量-向量乘法 2.2 矩阵-向量乘法 2.3 矩阵-矩阵乘法 3 运算和属性 3.1 单位矩阵和对角矩阵 3.2 转置 3.3 对称矩阵 线性相关性和秩 3.7 方阵的逆 3.8 正交阵 3.9 矩阵的值域和零空间 3.10 行列式 3.11 二次型和半正定矩阵 3.12 特征值和特征向量 3.13 对称矩阵的特征值和特征向量 4.矩阵微积分 4.1 梯度 4.2 黑塞矩阵 4.3 二次函数和线性函数的梯度和黑塞矩阵 4.4 最小二乘法 4.5 行列式的梯度 4.6 特征值优化 线性代数复习和参考 1. 基础概念和符号 线性代数提供了一种紧凑地表示和操作线性方程组的方法。 例如，以下方程组： 这是两个方程和两个变量，正如你从高中代数中所知，你可以找到 和 的唯一解（除非方程以某 种方式退化，例如，如果第二个方程只是第一个的倍数，但在上面的情况下，实际上只有一个唯一 解）。 在矩阵表示法中，我们可以更紧凑地表达： 我们可以看到，这种形式的线性方程有许多优点（比如明显地节省空间）。

始文件下载 原文作者：Arian Maleki ， Tom Do 翻译：石振宇 审核和修改制作：黄海广 备注：请关注github的更新。 CS229 机器学习课程复习材料-概率论 CS229 机器学习课程复习材料-概率论 概率论复习和参考 1. 概率的基本要素 1.1 条件概率和独立性 2. 随机变量 2.1 累积分布函数 2.2 概率质量函数 2.3 概率密度函数 一些常见的随机变量 3. 两个随机变量 3.1 联合分布和边缘分布 3.2 联合概率和边缘概率质量函数 3.3 联合概率和边缘概率密度函数 3.4 条件概率分布 3.5 贝叶斯定理 3.6 独立性 3.7 期望和协方差 4. 多个随机变量 4.1 基本性质 4.2 随机向量 4.3 多元高斯分布 5. 其他资源 概率论复习和参考 概率论是对不确定性的研究。通过这门课，我们 ，这里 是这个事件集合中元素的数量；例如 ， 。 性质： 如果 ，则： (布尔不等式)： (全概率定律)：如果 ， ， 是一些互不相交的事件并且它们的并集是 ，那么它们的概率之 和是1 1.1 条件概率和独立性 假设 是一个概率非0的事件，我们定义在给定 的条件下 的条件概率为： 换句话说， )是度量已经观测到 事件发生的情况下 事件发生的概率，两个事件被称为独立事件 当且仅当

etc. 最新版本 Qwen1.5 有以下特点： • 6 种模型规模，包括 0.5B、1.8B、4B、7B、14B 和 72B； • 针对每种尺寸提供基础模型和 Chat 模型，并确保聊天模型按照人类偏好进行校准； • 对基础模型和 Chat 模型的多语言支持 • 基础模型和聊天模型都支持多种语言； • 支持工具调用、RAG（检索增强文本生成）、角色扮演、AI Agent 等； 想了解更多信息，欢迎访问： 想了解更多信息，欢迎访问： • 博客 • GitHub • Hugging Face • ModelScope • Qwen1.5 Collection 加入社区，加入 Discord 和 微信群 。很期待见到你们！ 快速开始 1 Qwen 2 快速开始 CHAPTER1 文档 1.1 安装 要快速上手 Qwen1.5，您可以从 Hugging Face 安装 transformers com/huggingface/transformers 我们建议您使用 Python3.8 及以上版本和 Pytorch 2.0 及以上版本。 3 Qwen 1.2 快速开始 本指南帮助您快速上手 Qwen1.5 的使用，并提供了如下示例：Hugging Face Transformers 以及 ModelScope 和 vLLM 在部署时的应用实例。 1.2.1 Hugging Face Transformers