Rust 异步 Runtime 的兼容层 施继成 @ DatenLord Introduce what’s rust async runtime # Rust async runtime Analyze the reason of runtime isolation # Async runtime binding # Compatible layer 1 Create a wheel

全军出击：全连接层 主讲人：龙良曲 I know nothing Be practical nn.Linear relu? concisely ▪ inherit from nn.Module ▪ init layer in __init__ ▪ implement forward() Step1. Step2. Step3. nn.ReLU v.s. F.relu()

首先，让我们看看在美团 App 内的一次完整的搜索行为主要涉及哪些技术模块。如 下图所示，从点击输入框到最终的结果展示，从热门推荐，到动态补全、最终的商户 列表展示、推荐理由的展示等，每一个模块都要经过若干层的模型处理或者规则干 预，才会将最适合用户（指标）的结果展示在大家的眼前。 为了保证良好的用户体验，技术团队对模型预估能力的要求变得越来越高，同时模型 与特征的类型、数量及复杂度也在与日俱增。算法团队如何尽量少地开发和部署上 特征，更深层次的模 型，更多的模型处理层级，以及更多的业务。在这样的需求背景下，老框架开始出现 了一些局限性，主要包括以下三个层面： 6 > 美团 2020 技术年货 ● 性能瓶颈：核心层的模型预估的 Size 扩展到数千级别文档的时候，单机已经 难以承载；近百万个特征值的传输开销已经难以承受。 ● 复用困难：模型预估能力已经成为一个通用的需求，单搜索就有几十个场景都 需要该 ● 来源多：商户、商品、交易、用户等数十个维度的数据，还有交叉维度。由于 美团业务众多，难以通过统一的特征存储去构建，交易相关数据只能通过服务 来获取。 ● 业务逻辑多：大多数据在不同的业务层会有复用，但是它们对特征的处理逻辑 又有所不同。 ● 模型差异：同一个特征，在不同的模型下，会有不同的处理逻辑。比如，一个 连续型特征的分桶计算逻辑一样，但“桶”却因模型而各不相同；对于离散特

Golang 在接入层长连接服务中的实践 黄欣 基础平台－架构部 目录 • 背景 • 架构 • 心得 目录 • 架构 • 心得 背景—why 长连接？ • 业务场景 – 大量实时计算 • 司机乘客撮合 • 实时计价 – 高频度的数据交互 • 坐标数据 • 计价数据 – App和服务端双向可达 • 上行（抢单） • 下行（派单） 背景—why golang？ • 开发效率 整体架构图 架构—接口设计 • 原则 – 扩展性 – 稳定性（最好不用升级） • 解决方法 – Protobuf（golang） – 接口设计分层 • 框架层：模块间通信协议（类似tcp/udp） • 业务层：bytes（类似应用层）留给业务自己定义就好了 架构—性能 • conn svr 架构—集群扩展 • Proxy本身无限扩容（无状态） • 依赖的存储可无限扩容（状态交给存储）

vector作为编码器到解码器的输入。 7 1.Transformer介绍 Attention注意力机制 在介绍什么是注意力机制之前， 先让大家看一张图片。当大家看 到下面图片，会首先看到什么内 容？当过载信息映入眼帘时，我 们的大脑会把注意力放在主要的 信息上，这就是大脑的注意力机 制。 8 1.Transformer介绍 每个词的Attention计算 每个词的Q会 量上更优、更易于并行化，所需训练时间明显更少 ◼ Transformer通过成功地将其应用于具有大量和有限训 练数据的分析，可以很好地推广到其他任务 ◼ Transformer，它完全基于注意力机制， 完全不用重复 和卷积，因而这些模型在质量上更优，同时更易于并 行化，并且需要的训练时间明显更少。 ◼ Transformer出现以后，迅速取代了RNN系列变种，跻 身主流模型架构基础。（RNN缺陷正在于流水线式的 图：Transformer模型架构 1.Transformer介绍 12 Transformer Transformer —— 大力出奇迹的起点 • 在Transformer提出之后，大模型的基础模 型架构基本形成，注意力机制代替卷积神 经网络称为主流基础模型组件 – 有利于模型向更大的参数量扩展 – Transformer有兼容多模态信息的天生优势特 性，这有力地丰富了大模型的应用场景。 参数少 速度快

网络架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106 3.4.3 全连接层的参数开销 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 3.4.4 softmax运算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127 4.1.1 隐藏层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128 4.1.2 激活函数 提交Kaggle预测 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188 5 深度学习计算 191 5.1 层和块 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191

将位置编码信息加入提取的特征 2.模型介绍 14 位置编码信息对准确率的影响 2.模型介绍 结论:编码有用,但是怎么编码影响不大,干脆用简单的得了 2D(分别计算行和列的编码,然后求和)的效果还不如1D的每一层都加共享的 位置编码也没啥太大用 15 位置编码 2.模型介绍 16 将 3) 的 结 果 喂 入 标 准 Transformer 的 encoder 中 作 者将类别作为一个可学习的 attention 的输入。 可以叠加多层encoder： 2.模型介绍 17 将encoder得到的结果 输入分类层 encoder 会输出多个上 下文向量，对于图像分 类，只需要 ?0。 2.模型介绍 18 1.背景知识 将encoder得到的结果 输入分类层 encoder 会输出多个上 下文向量，对于图像分 类，只需要 ?0。 19 模型框架 最简洁的Vision Transformer模型 2.模型介绍 20 来自输入空间的注意力表达 输入 输入 输入 注意力 注意力 注意力 2.模型介绍 21 左图展示了模型学习到的图嵌入，中图展示了学习到的位置嵌入，右图展示了不同层注意 力的平均距离。 2.模型介绍 22 加入位置信息的原因 如下图所示，将左图的patch打乱，则两个图是不同的，但 对于Transformer的最后一层来说会得到相同的特征(认为是 一个图)，

亿，70 亿、80 亿是指大模型的神经元参数（权重参数 weight+bias）的 总量。目前大模型都是基于 Transformer 架构，并且是很多层的 Transformer 结构，最后还有全连接层等，所有参数加起来 70 亿，80 亿，还有的上千亿。 教程作者：郭震，工作 8 年目前美国 AI 博士在读，公众号：郭震 AI，欢迎关注获取更多原创教程。资 料用心打磨且开源，是为了帮助更多人了解获取 mer 由多个关键组件组成：1. 自注意 力机制（Self-Attention）：模型在处理文本时，会自动关注句子中的重要单 词，理解不同词语间的联系。2. 多头注意力（Multi-Head Attention）：使用 多个注意力头同时分析不同的语义信息，使得模型的理解能力更强。3. 前 馈神经网络（FFN）：非线性变换模块，提升模型的表达能力。4. 位置编码 （Positional E Encoding）：在没有循环结构的情况下，帮助模型理解单词的顺 序信息。 Transformer 结构的优势 1. 高效的并行计算：摒弃循环结构，使计算速度大幅提升。 2. 更好的上下文理解：注意力机制可捕捉长文本中的远程依赖关系。 3. 良好的可扩展性：可适配更大规模模型训练，增强 AI 泛化能力。 教程作者：郭震，工作 8 年目前美国 AI 博士在读，公众号：郭震 AI，欢迎关注获取更多原创教程。资

PubScholar平台 知网研学平台 斯坦福STORM 文本长度 文本长度较长，内容丰富， 涵盖了多个研究领域和研 究层次，提供了详细的分 析和评述 文本长度中等长度，内容 较为丰富，也分了多个层 次进行总结 文本长度稍长，内容丰富 性在中文文献的分析上具 有优势，能够详细呈现中 文领域的研究成果 文本长度适中，内容精炼， 重点突出，适合快速阅读 和理解 研究视角 研究视角多样，从不同领 无辅助损失的自然负载均衡和共享专 家机制，解决了专家模块工作量不平 衡的问题。 混合专家（MoE）架构 通过低秩压缩减少推理时的内存占用， 同时保持与传统多头注意力（MHA） 相当的性能。MLA在训练中减少了 内存和计算开销，在推理中降低了 KV缓存占用空间。 多头潜在注意力（MLA）机制 通过序列化预测未来多个令牌，增强 模型的上下文建模能力，并支持推测 解码加速推理。MTP在特定场景下同 时预测多个令牌，提高信号密度，减

服务网格中管理任何七层流量 赵化冰@腾讯云 #IstioCon Huabing Zhao Software Engineer @ Tencent Cloud https://zhaohuabing.com @zhaohuabing @zhaohuabing @zhaohuabing @zhaohuabing #IstioCon Agenda ❏ Service Mesh 中的七层流量管理能力 中的七层流量管理能力 ❏ 几种扩展 Istio 流量管理能力的方法 ❏ Aeraki - 在 Isito 服务网格中管理所有七层流量 ❏ Demo - Dubbo Traffic Management ❏ MetaProtocol - Service Mesh 通用七层协议框架 #IstioCon Protocols in a Typical Microservice Application Service Security, Observability) #IstioCon What Do We Expect From a Service Mesh? 为了将基础设施的运维管理从应用代码中剥离，我们需要七层的流量管 理能力： ● Routing based on layer-7 header ○ Load balancing at requet level ○ HTTP host/header/url/method