和 Neck 进行了重新 设计和优化。该思想基于硬件的特性、推理框架 / 编译框架的特点，以硬件和编译友 好的结构作为设计原则，在网络构建时，综合考虑硬件计算能力、内存带宽、编译 优化特性、网络表征能力等，进而获得又快又好的网络结构。对上述重新设计的两 个检测部件，我们在 YOLOv6 中分别称为 EfficientRep Backbone 和 Rep-PAN Neck，其主要贡献点在于： 设 计 了 一 个 高 效 的 Backbone。 相 比 于 YOLOv5 采 用 的 CSP-Backbone， 该 Backbone 能够高效利用硬件（如 GPU）算力的同时，还具有较强的表征能力。 下图 4 为 EfficientRep Backbone 具体设计结构图，我们将 Backbone 中 stride=2 的普通 Conv 层替换成了 stride=2 的 RepConv YOLOX 的检测头则是将分类和回归分支进行解耦，同时新增了两个额外的 3x3 的卷积层，虽然提升了检测精度，但一定程度上增加了网络延时。 因此，我们对解耦头进行了精简设计，同时综合考虑到相关算子表征能力和硬件上计 算开销这两者的平衡，采用 Hybrid Channels 策略重新设计了一个更高效的解耦头 结构，在维持精度的同时降低了延时，缓解了解耦头中 3x3 卷积带来的额外延时开 销。通过在

法成 为研究热点，主要包括基于表示的匹配方法（Representation-based）和基于交互 的匹配方法（Interaction-based）。 基于表示的匹配方法：使用深度学习模型分别表征 Query 和 Doc，通过计算向量相 似度来作为语义匹配分数。微软的 DSSM[26] 及其扩展模型属于基于表示的语义匹配 方法，美团搜索借鉴 DSSM 的双塔结构思想，左边塔输入 Query 在于 Query 和 Doc 在模型训练时能够进行充分的交互匹配，语义匹配效果好，缺点是部 署上线成本较高。 算法 < 41 BERT 语义相关性 BERT 预训练使用了大量语料，通用语义表征能力更好，BERT 的 Transformer 结 构特征提取能力更强。中文 BERT 基于字粒度预训练，可以减少未登录词（OOV） 的影响，美团业务场景下存在大量长尾 Query（如大量数字和英文复合 Doc- 的单 词转换为 Token 向量，同时会拼接位置向量和片段向量，形成最终输入向量。接着 通过 BERT 模型可以分别得到（Query, Doc+）以及（Query, Doc-）的语义相关性 表征，即 BERT 的 CLS 位输出。 经过 Softmax 归一化后，可以分别得到（Query, Doc+）和（Query, Doc-）的语义相似度打分。 对于同一 Query 的候选 Doc，选择两个不同标注的

了类人甚至超人的智力水平， 如在围棋上 AlphaGo 智能程序已经击败人类最强围棋专家之一柯洁，在 Dota2 游戏上 OpenAI Five 智能程序击败世界冠军队伍 OG，同时人脸识别、智能语音、机器翻译等一项 项实用的技术已经进入到人们的日常生活中。现在我们的生活处处被人工智能所环绕，尽 管目前能达到的智能水平离通用人工智能(Artificial General Intelligence，简称 在他的博士论文中第一次提 出可以将 BP 算法应用到神经网络上，遗憾的是，这一成果并没有获得足够重视。直至 1986 年，David Rumelhart 等人在 Nature 上发表了通过 BP 算法来进行表征学习的论文， BP 算法才获得了广泛的关注。 1982 年，随着 John Hopfild 的循环连接的 Hopfield 网络的提出，开启了 1982 年~1995 年的第二次人工智能复兴的 游戏而设计的，而是可以控制 Atria 游戏平台上的 49 个游戏。 图 1.14 DQN 算法网络结构示意图 [1] 1.4 深度学习应用 深度学习算法已经广泛应用到人们生活的角角落落，例如手机中的语音助手、汽车上 的智能辅助驾驶、人脸支付等。下面将从计算机视觉、自然语言处理和强化学习 3 个领域 入手，为大家介绍深度学习的一些主流应用。 1.4.1 计算机视觉 图片识别(Image Classification)

GAN 的应用 01 生成式深度学习简介 02 GAN的理论与实现模型 04 GAN的思考与前景 3. GAN的应用 25 GAN的应用 ⚫ 图像和视觉领域 ⚫ 语音和语言领域 ⚫ 其他领域 作为一个具有 “无限” 生成能力的模型, GAN的直接应用就是建 模, 生成与真实数据分布一致的数据样本，GAN 可以用于解决标注数据 不足时的学习问题。 其可以应用于： 网络作为判别器，用参数化的残差网络表示生成器，实验结果如 图所示，可以看到 GAN 生成了细节丰富的图像。 图 基于GAN的图像生成示例 3. GAN的应用 27 GAN的应用 语音和语言领域 a. 用 GAN 来表征对话之间的隐式关联性，从而生成对话文本。 b. 用 CNN 作为判别器, 判别器基于拟合 LSTM 的输出，用矩匹配来解决优化 问题；在训练时，和传统更新多次判别器参数再更新一次生成器不同 时为了利用文本编码信息，也将其作为判别器特定层的额外信息输入来改进判 别器，判别是否满足文本描述的准确率。 3. GAN的应用 28 GAN的应用 其他领域 除了将 GAN 应用于图像和视觉、语音和语言等领域，GAN 还可以与强 化学习、模仿学习等相合。 a. 有人提出用MalGAN 帮助检测恶意代码，用 GAN生成具有对抗性的病毒代 码样本，实验结果表明基于 GAN 的方法可以比传统基于黑盒检测模型的方法

1 深度卷积神经网络（AlexNet） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248 7.1.1 学习表征 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248 7.1.2 AlexNet 的学科，在现 实世界的应用范围很窄。而那些应用，例如语音识别和计算机视觉，需要大量的领域知识，以至于它们通常 被认为是完全独立的领域，而机器学习对这些领域来说只是一个小组件。因此，神经网络——我们在本书中 关注的深度学习模型的前身，被认为是过时的工具。 就在过去的五年里，深度学习给世界带来了惊喜，推动了计算机视觉、自然语言处理、自动语音识别、强化学 习和统计建模等领域的快速发展。有了这些 Jassy对撰写本书的慷慨支持。如果没有可用的时间、资源、与同事的讨论和不断的鼓励，这本书就不会出版。 小结 • 深度学习已经彻底改变了模式识别，引入了一系列技术，包括计算机视觉、自然语言处理、自动语音识 别。 • 要成功地应用深度学习，必须知道如何抛出一个问题、建模的数学方法、将模型与数据拟合的算法，以 及实现所有这些的工程技术。 • 这本书提供了一个全面的资源，包括文本、图表、数学和代码，都集中在一个地方。

等多款移动友好型模型。其中，最新发布的 GLM Edge 1.5B 模型通过与 高通 GenAI 扩展的联合优化，在搭载骁龙 8 Gen 4 处理器的手机上实现了每秒 65 个 tokens 的推理速度，接近人类语音的平均输出速率。尽管存在电池续航和内存占用过大等挑战， 端上模型代表了 AI 技术隐私保护和成本优化的未来方向。中国在这一领域的探索，为行业提供 了宝贵经验。 推理扩展法则的潜力释放 通过推 限制的基座的可能性也很高。小应 用开发商很可能很容易获得一个低成本 serving 的“量化小基座”。 “7B”是一个 magic number！无论是 RAG 里的向量表征模型，还是文生图、文本识别 （OCR）、语音合成（TTS）、人脸识别等等垂直领域，一个 1B~7B 的小模型已经可以满足很 多生产、应用需要，并且效果也在逐步推高【8，9，10】。这些模型，作为智能体的“三头六臂”， 4. 多模态对齐很可能给基座模型带来质的提升 最新研究发现，在没有预先约束和约定下，不同 模态领域的最强模型正在向着某个世界模型认知领域 收缩【15】，AI 模型对不同概念的数字化表达（向量 表征）会逐步趋同，构建对这个世界的统一认知。这 也符合我们人类对世界的认知：人类通过语言文字这 种符号，将不同模态的信号统一地表达，并在脑中构 建了某种受限于当前科技水平的统一模型，这是人类 意识、社会沟通的前提。

INPUT -map 0:v -map 2 OUTPUT 选择所有的流除了第二音频流外的流进行输出是： > ffmpeg -i INPUT -map 0 -map -0 1 OUTPUT 选择输出英语音频流: 高级选项 5 选项 - 26 - 本文档使用 书栈(BookStack.CN) 构建 > ffmpeg -i INPUT -map 0 language:eng OUTPUT 注意应用了该选项将自动禁用默认的映射。 公开的数据格式表征特定的序列（集） libcelt解码器再封装 libcelt允许libavcodec解码Xiph CELT超低延迟音频编码。在需要libcelt头和库存在配置（能 进一步搜索到库的配置）。在创建ffmpeg工具集时需要显式采用 --enable-libcelt 以打开支持 libgsm解码器再封装 libgsm允许libavcodec解码GSM全速率语音。需要libgsm头和库存在配置（能进一步搜索到库的 packet_loss (expect-loss) 设置预期分组丢失率，默认为0 application (N.A.) 设置预期应用类型，下面为有效参数： ‘voip’ 1. 有利于提高语音清晰度 ‘audio’ 1. 有利于音频输入，默认值 ‘lowdelay’ 1. 有利于低延迟模式 cutoff (N.A.) 设置截止屏幕，单位Hz。参数必须是: 4000, 6000

01 词汇表征和文本数据处理 02 词嵌入 05 GPT 3 1.词汇表征 01 词汇表征和文本数据处理 03 Word2Vec 04 GloVe 02 词嵌入 05 GPT 4 1.词汇表征和文本数据处理 5 1.词汇表征和文本数据处理 6 1.词汇表征和文本数据处理 7 1.词汇表征和文本数据处理 8 8 2.词嵌入 03 Word2Vec 04 GloVe 02 词嵌入 05 GPT 01 词汇表征和文本数据处理 9 2.词嵌入 “Sally Johnson is an orange farmer.” “Robert Lin is an apple farmer.” 10 2.词嵌入 如何用词嵌入做迁移学习的步骤。 第一步，先从大量的文本集中学习词嵌入。 嵌入矩阵 13 2.词嵌入 嵌入矩阵 14 3.Word2Vec 03 Word2Vec 04 GloVe 02 词嵌入 05 GPT 01 词汇表征和文本数据处理 15 3.Word2Vec 语言模型的训练机制就是这样 1.我们获得了大量文本数据（例如，所 有维基百科文章）。然后 2.我们有一个窗口（比如说三个单词） ，我们会对所有文本进行滑动。

��������������� ������� 目录 1、视频搜索的挑战 %、深度学m在视频内容理解h的应用——召回 3、深度学m在语k搜索h的应用——语k表征 4、深度学m在排序h的应用——g性化表征 视频搜索的挑战 1�����/���——���� 2����/�����——���� 3������——������ ��������������� 1������������ ����� billion�� ��������� • bi-LSTM + attention • ��pai-tensorflow������ 语k模型——总结 排序应用——g性化表征 排序应用——g性化表征 ����������� � ���������������������q������R�����yd���� � ��s�ui��������o�e�s�������������

这些分类包括用例 活动者 构件 结点和子系统 表 ��� 列举了各种分类和它们的功能 元模型术语分类包 括了所有的概念 但正如类是我们最熟悉的概念一样 首先讨论类 再定义其它的概念 � 类 类 类 类 类表征了正在建模应用中离散的概念 物理事物 如飞机 商业事物 如订单 逻辑事物 如广播日程表 运算事物 如哈希表 或行为事物 如某个任务 类是具有 相似结构 行为 关系的一系列对象的描述 所有属性和操作附加于类或其它分类 依赖关系联系了行为和实现上相互影响的类 除了实现 还有多种依赖 包括跟踪 不 同模型中元素的松散连接 细化 不同理解层次的映射 使用 要求单个模型中其它元 素的出现 绑定 模板参数的赋值 使用依赖频繁的用于表征实现层的关系 如代码级 别的关系 依赖在总结模型组织单元时特别有用 如使用包显示系统的结构 另外 编译 的约束也可以用依赖来表达 � ��� 参考指南� � 静态视图� ������� 关联 关联