56 2.3.7 点积（Dot Product） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 i 2.3.8 矩阵‐向量积 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 2.3 平均汇聚 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 387 10.2.3 非参数注意力汇聚 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388 10.2.4 带参数注意力汇聚 1 通过后端异步处理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 509 12.2.2 障碍器与阻塞器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 511 12.2.3 改进计算 . . .

ipython numpy matplotlib pillow pandas - i https://pypi.tuna.tsinghua.edu.cn/simple 国内使用 pip 命令安装时，可能会出现下载速度缓慢甚至连接断开的情况，需要配置 国内的 pip 源，只需要在 pip install 命令后面带上“-i 源地址”参数即可。上述命令即使用 了清华大学的 pip 源。 1.6 Bellemare, A. Graves, M. Riedmiller, A. K. Fidjeland, G. Ostrovski, S. Petersen, C. Beattie, A. Sadik, I. Antonoglou, H. King, D. Kumaran, D. Wierstra, S. Legg 和 D. Hassabis, “Human-level control through + . + ?, ? ∼ ?( , . 12) 通过随机采样? = 1 次，可以获得?个样本的训练数据集?train，代码如下： data = []# 保存样本集的列表 for i in range(100): # 循环采样 100 个点 x = np.random.uniform(-10., 10.) # 随机采样输入 x # 采样高斯噪声

达观数据 陈运文 文本智能处理的深度学习技术 达观数据CEO 陈运文 博士 • 中 国 计 算 机 学 会 高 级 会 员 ， A C M 和 I E E E 学 会 会 员 ， 复 旦 大 学 计 算 机 博 士 和 杰 出 毕 业 生 • 原 腾 讯 文 学 高 级 总 监 、 盛 大 文 学 首 席 数 据 官 、 百 度 核 心 技 术 工 程 师 • 三 十 项 国 家 技 术 • 特征工程构造特征 • 不同领域定制优化成本高 • 常需要分类算法融合提升效果 深度学习（CNN，RNN等） • 端到端，无需大量特征工程 • 框架通用性好，满足多领域需求 • 可以使用非监督语料训练字词向量提升效果 文本分类 CNN RNN CLSTM 序列标注 传统机器学习（CRF） • 需要大量特征工程 • 不同领域需要反复调整 深度学习（Bi-LSTM+CRF） LSTM LSTM LSTM LSTM LSTM LSTM LSTM LSTM LSTM LSTM LSTM LSTM LSTM LSTM LSTM LSTM LSTM O O O B-PER E-PER B-ORG I-ORG I-ORG E-ORG CRF 04 达观数据文本挖掘的实践经验 文 档 智 能 抽 取 功 能 l 财务报表账目信息抽取 l 商业票据关键信息识别 l 应标书信息自动导出

used for commercial purposes. Otherwise, the contributor is not responsible for the consequences. 目录 I 目录 1 Keras: 基于 Python 的深度学习库 1 1.1 你恰好发现了 Keras . . . . . . . . . . . . . . . . . . . . . . . . (batch_size, timesteps, data_dim) # 请注意，我们必须提供完整的 batch_input_shape，因为网络是有状态的。 # 第 k 批数据的第 i 个样本是第 k-1 批数据的第 i 个样本的后续。 model = Sequential() model.add(LSTM(32, return_sequences=True, stateful=True, b 具有状态意味着每批样品的状态将被重新用作下一批样品的初始状态。 当使用有状态 RNN 时，假定： • 所有的批次都有相同数量的样本 • 如果 x1 和 x2 是连续批次的样本，则 x2[i] 是 x1[i] 的后续序列，对于每个 i。 要在 RNN 中使用状态，你需要: • 通过将 batch_size 参数传递给模型的第一层来显式指定你正在使用的批大小。例如，对 于 10 个时间步长的 32 样本的

设 置 t e n s o r的 requires_ g r a d 的 属 性 为 True 定 义 函 数 ( L) 使 用 函 数 的 求 导 方 法 （L. b a c kwa rd( ) ） 对 标 量 求 导 对 非 标 量 求 导 直 接 使 用 L.backward()函 数 配 置 backward()函 数 中 g r a d i e n t 参 数 ， 使 形 状 与 函 数 L形状一样，其权重一般为1（也可 小于1） 使 用 t e n s o r.grad查 看 叶 子 节 点 的 梯 度 如 果 需 要 保 存 非 叶 子 节 点 梯 度 ， 需 使 对 应 张 量 调 用 retain_graph （） 使 用 t e n s o r.grad.zero_() 清 除 张 量 梯 度 如 果 要 保 留 计 算 图 ，

Qwen Qwen Team 2024 年 05 月 11 日 快速开始 1 文档 3 i ii Qwen Qwen is the large language model and large multimodal model series of the Qwen Team, Alibaba Group. Now the large language models have been 1.3 使用 Transformers 实现 Chat Qwen1.5 最重要同时也最简单的用途是通过 transformers 库实现 Chat 功能。在本文档中，我们将展示如何在 流式模式或非流式模式下与 Qwen1.5-7B-Chat 进行对话。 1.3.1 基本用法 你只需借助 transformers 库编写几行代码，就能与 Qwen1.5-Chat 进行对话。实质上，我们通过 from_pretrained for new_text in streamer: generated_text += new_text print(generated_text) 1.3.3 下一步 现在，你可以选择流式模式或非流式模式与 Qwen1.5 进行对话。继续阅读文档，并尝试探索模型推理的更多 高级用法！” 1.4 llama.cpp llama.cpp 是一个 C++ 库，用于简化 LLM 推理的设置。它使得在本地机器上运行

8(% ������ pu/行i检测技术 • 目的a给定e定长视频，定x感兴趣行i发生的时间段并给出 对应行i类标 • 方法a采取1QPvQNuVLQP 32+5DVHG >HFuTTHPV APLVU 5>A) 算法，结合SLPgNH ShQV 2HVHFVQT SS2)框架实现行i检测功 能 • 效果a • THA9OS 14数据集，O/P-%4.1% 7QA-0.() () 内容理解——pu/行i检测 ����/���� ���������� • 目的a定x和识别视频h的特定目标，并在目标生命周期内 进行跟踪 • 方法a检测采用>HgLQP IuNNy FQPvQNuVLQP PHVwQTM >-41:) 的GHHR NHDTPLPg框架，对q小物体在IHDVuTH ODR进行ow 化b跟踪采用214框架，结合颜色模型，并使用0/14进行 候选区域扩充 候选区域扩充 • 效果a • 检测算法在HQNNywQQG HHDG数据集，O/P-80.41%， 高过VhH UVDVH-QI-DTV ).)%b • 0TDLPwDUh数据集，O/P-88.4)%，高过VhH UVDVH-QI- DTV 10.(%。 • 跟踪算法在T0-100评测集，在实时速度d，RTHFLULQP 和UuFFHUU TDVH效果最好 内容理解——多目标检测f跟踪

haiguang2000@qq.com 数学基础笔记（V1.01） 最后修改：2018-04-19 你不是一个人在战斗！ I 目录 机器学习的数学基础 .............................................................................................. ′(?) ?′(?)存在(或∞)。 则： lim ?→?0 ?(?) ?(?) = lim ?→?0 ?′(?) ?′(?). 同理法则II’( ∞ ∞型不定式极限)仿法则I’可写出 11.泰勒公式 设函数?(?)在点?0处的某邻域内具有? + 1阶导数，则对该邻域内异于?0的任意点?，在?0 与?之间至少存在一个?，使得： ?(?) = ?(?0) + ?→∞ [?(?) − ??]，则 ? = ?? + ?称为? = ?(?)的斜渐 近线。 14.函数凹凸性的判断 Th1: (凹凸性的判别定理）若在 I 上?″(?) < 0（或?″(?) > 0）， 则?(?)在 I 上是凸的 （或凹的）。 Th2: (拐点的判别定理 1)若在?0处?″(?) = 0，（或?″(?)不存在），当?变动经过?0时， ?″(?)变号，则(?0

都是0： 对于所有 ，有： 注意，在某种意义上，单位矩阵的表示法是不明确的，因为它没有指定 的维数。通常， 的维数是从上 下文推断出来的，以便使矩阵乘法成为可能。 例如，在上面的等式中， 中的I是 矩阵，而 中的 是 矩阵。 对角矩阵是一种这样的矩阵：对角线之外的元素全为0。对角阵通常表示为： ，其中： 很明显：单位矩阵 。 3.2 转置 矩阵的转置是指翻转矩阵的行和列。 给定一个矩阵： 序。 3.5 范数 向量的范数 是非正式度量的向量的“长度” 。 例如，我们有常用的欧几里德或 范数， 注意： 更正式地，范数是满足4个属性的函数（ ）： 1. 对于所有的 , (非负). 2. 当且仅当 时， (明确性). 3. 对于所有 , ，则 (正齐次性). 4. 对于所有 , (三角不等式) 其他范数的例子是 范数: 和 范数： 事实上，到目前为止所提出的所有三个范数都是 , 对于 ， 3.7 方阵的逆 方阵 的倒数表示为 ，并且是这样的独特矩阵: 请注意，并非所有矩阵都具有逆。 例如，非方形矩阵根据定义没有逆。 然而，对于一些方形矩阵 ， 可能仍然存在 可能不存在的情况。 特别是，如果 存在，我们说 是可逆的或非奇异的，否则就 是不可逆或奇异的。 为了使方阵A具有逆 ，则 必须是满秩。 我们很快就会发现，除了满秩之外， 还有许多其它的充分必要条件。

预测n …… 预测1 预测2 训练 数据 第二 层数 据 Stacking 最终 预测 结果 Stacking 将训练好的所有基模型对训练基进行预测，第j个基模型对第i个训练样本的预测值将作为新的训 练集中第i个样本的第j个特征值，最后基于新的训练集进行训练。同理，预测的过程也要先经过 所有基模型的预测形成新的测试集，最后再对测试集进行预测。 测试 数据 7 Random Forest（随机森林） LightGBM 互斥特征捆绑算法（Exclusive Feature Bundling, EFB） 高维特征往往是稀疏的，而且特征间可能是相互排斥的（如两个特征不同时取非 零值），如果两个特征并不完全互斥（如只有一部分情况下是不同时取非零值） ，可以用互斥率表示互斥程度。EFB算法指出如果将一些特征进行融合绑定，则 可以降低特征数量。 论文给出特征合并算法，其关键在于原始特征能从合并的特征中分离出来。 LightGBM 互斥特征捆绑算法（Exclusive Feature Bundling, EFB） 高维特征往往是稀疏的，而且特征间可能 是相互排斥的（如两个特征不同时取非零 值），如果两个特征并不完全互斥（如只 有一部分情况下是不同时取非零值），可 以用互斥率表示互斥程度。EFB算法指出如 果将一些特征进行融合绑定，则可以降低 特征数量。 10 30 ? ? ? 20 假设 Bundle中有两个特征值，A取值为[0