Golang主动式内存缓存的优化探索之路 安晏伯 学而思网校 技术专家 目 录 问题引入 01 难点攻克 02 主动式内存缓存框架 03 总结 04 问题引入 第一部分 为什么能有极致的性能？ 01. 如何优化？ 解决了哪些技术难题？ 主动式内存缓存 如何优化？ 极致的性能 除了网络IO，与Redis有什么区别？ 复杂的查询怎么办？ 02. 传统的Cache很难 • 复杂的查询场景，内存数据如何高效组织？ • 主动式内存缓存，如何保证数据实时性？ • 数据太多，内存不够用，如何进行存储扩展？ 通过本次分享，可以带来哪些收获？ 难点攻克 第二部分 使用内存缓存 数据一致性如何保证？ 一致性 01. 缓存如何保证更新，如何与数据库同步 同步、更新  被动方式  缓存过期  定期同步  主动方式  监听数据变化 数据加载，更新 热数据的交换 冷 热 新 系 统 历 史 数 据 冷数据、数据量多 缓存成本大、命中低、收益小 热 数 据 当前系统中的热点数据 命中率高 系 统 新 增 数 据 近期新增数据，较大概率命中 存储空间 缓存性能 冷热可交换，引擎可扩展 06. 冷热数据交换，通过栈式缓存结构，实现多级缓存策略 语言的局限性 07. 基于golang语言，内存对象超过百万量级后出现的GC耗时问题

LOGO p2p缓存系统 基于Golang的Aop设计模式 龚浩华 QQ 29185807 月牙寂 背景 v Web缓存（类似CDN技术） § 网页、图片 § 普通下载 § 普通视频 v P2P缓存 § 下载（bt等） § 视频（qvod、百度影音等） 背景 v P2P缓存好处 § 一次获取，多次利用 § 减少局域网出网流量 减少局域网出网流量 § 提升用户体验 背景 v P2P缓存服务器（基于c++开发） § 代码量大 § 协议数量多 § 耦合性高 § 潜在bug多 重构 or 重新推倒？ 背景 现实世界是怎么样的 分布式、并发 职能化、松散化 自组织、智能化 程序框架是否也可以这样？ OOP v C++对象代码运行 仍然存在不确定性 现实世界的设计模式直接可以拿来借鉴 P2P缓存框架 P2P缓存框架 1、入口监听模块 常驻 功能监听识别连接 2、任务管理模块 常驻 管理任务、分流client P2P缓存框架 3、任务模块 文件缓存度：是否需要下载 文件热点程度：是否热点

最后，在运营配置上线后，如果发现问题，可以通过快速回滚，最大限度地实现“止损”。 接口SDK化 接口SDK化 对于运营数据，无论是通过数据库的落地方案、还是通过分布式缓存的方案，都无法彻底解决服务中心化 和服务抖动的问题。通过接入的SDK化，可以做到数据的本地缓存更新机制，解除对中心化服务的依赖， 大大提升服务的稳定性和性能。同时整个APPKIT服务变成可水平扩展，在扩展过程中也不会影响中心服 务的稳定性。 APPKIT打造稳定、灵活、高效的运营配置平台 - 美团技术团队 4.1 数据层 4.1 数据层 数据层作为最底层的数据存储，其保存了最基本的运营后台数据、流程数据和线上数据。对持久化的数 据，我们采用MySQL进行存储；对于缓存数据，我们采用了Redis的解决方案。这样数据层形成基本的两 级存储结构：MySQL保证了数据的持久性，Redis保证了数据获取的速度。 这里我们对底层数据划分为三个不同域：后台数据，相当于草稿数据，运营人员所有的操作都记录在这 APPKIT服务），配置 后台数据服务读取缓存数据。如果缓存数据不存在，则从数据库中读取数据，同时将数据库数据同步到 Redis缓存中。这是经典的数据获取模型，但它有以下几个缺点： 1. 数据调用有网络时延。 2. Redis缓存抖动（网络抖动）会对服务的稳定性产生影响。 3. 缓存的单Key存储的容量限制。 7.2 缓存方案 7.2 缓存方案 针对以上经典方案的缺点，我们做了进一步

 容量管理：管理每个租户，分组下的容量，防止存储被写爆，影响服务可用性。  流量管理：按照租户，分组等多个维度对请求频率，长链接个数，报文大小，请求流控进行控制。  缓存机制：容灾目录，本地缓存，Server 缓存机制，是 Nacos 高可用的关键。  启动模式：按照单机模式，配置模式，服务模式，DNS 模式模式，启动不同的模块。  ⼀致性协议：解决不同数据，不同⼀致性要求情况下，不同⼀致性要求，是 变更快了之后如何管控控制变更风险，如灰度、回滚等  敏感配置如何做安全配置 Nacos 架构 < 22 概念介绍 配置(Configuration) 在系统开发过程中通常会将⼀些需要变更的参数、变量等从代码中分离出来独立管理，以独立的配 置文件的形式存在。目的是让静态的系统工件或者交付物（如 WAR，JAR 包等）更好地和实际的物 理运行环境进行适配。配置管理⼀般包含在系统部署的过程中，由系统管理员或者运维人员完成这 SDK 会在本地生成配置的快照。当客户端无法连接到 Nacos Server 时，可以使 用配置快照显示系统的整体容灾能力。配置快照类似于 Git 中的本地 commit，也类似于缓存，会 在适当的时机更新，但是并没有缓存过期（expiration）的概念。 Nacos 配置模型 基础模型 上图是 Nacos 配置管理的基础模型： 25 > Nacos 架构 1. Nacos 提供可视化

大众点评的搜索相关性早期模型就借鉴了 NRM 和 SentenceBERT 的思想，采用了 图 2(a) 所示的基于表示的多域相关性模型结构，基于表示的方法可以将 POI 的向量 提前计算并存入缓存，线上只需计算 Query 向量与 POI 向量的交互部分，因此在线 上使用时计算速度较快。 基于交互的深度语义匹配模型：基于交互的方法不直接学习 Query 和 Doc 的语义表 示向量，而是在底层输入阶段就让 侧的复杂多源信息，构造了适配点评搜索场景 的 POI 文本摘要；为了让模型更好地适配点评搜索相关性计算，采用了两阶段训练 的方法，并根据相关性计算的特点改造了模型结构；最后，通过优化计算流程、引入 缓存等措施，成功降低了模型实时计算和整体应用链路的耗时，满足了线上实时计算 BERT 的性能要求。 3.1 如何更好地构造 POI 侧模型输入信息 在判定 Query 与 POI 的相关程度时，POI 12 层 BERT 预训练相关性模型，需 要对每个 Query 下的数百个 POI 经过 12 层 BERT 的模型预测。为保证线上计算效 率，我们从模型实时计算流程和应用链路两个角度出发，通过引入缓存机制、模型预 测加速、引入前置黄金规则层、将相关性计算与核心排序并行化等措施优化相关性模 型在线上部署时的性能瓶颈，使得 12 层基于交互的 BERT 相关性模型在线上稳定高 效运行，保证可以支持数百个商户和

如需总的线程编号： blockDim * blockIdx + threadIdx 分离 __device__ 函数的声明和定义：出错 • 默认情况下 GPU 函数必须定义在同一个文件里。 如果你试图分离声明和定义，调用另一个文件里 的 __device__ 或 __global__ 函数，就会出错 。 分离 __device__ 函数的声明和定义：解决 • 开启 CMAKE_CUDA_ CMAKE_CUDA_SEPARABLE_COMPILATION 选 项（设为 ON ），即可启用分离声明和定义的支持。 • 不过我还是建议把要相互调用的 __device__ 函数放在 同一个文件，这样方便编译器自动内联优化（第四课讲 过）。 两种开启方式：全局有效 or 仅针对单个程序 只对 main 这个程序启用： 对下方所有的程序启用（推荐）： 顺便一提， CXX_STANDARD 和 CUDA_ARCHITECTURES cudaMallocManaged 、 cudaFree • 如果我没记错的话，统一内存是从 Pascal 架构开始支持的，也就是 GTX9 开头及以上 。 • 虽然方便，但并非完全没有开销，有条件的话还是尽量用分离的设备内存和主机内存吧。 第 3 章：数组 分配数组 • 如 malloc 一样，可以用 cudaMalloc 配 合 n * sizeof(int) ，分配一个大小为 n 的 整型数组。这样就会有

0新增符合CRUD接口的合约接口规范，简化了将主流的面向SQL设计的商业应用迁移到 区块链上的成本。其好处显而易见： • 与传统业务开发模式类似，降低了合约开发学习成本； • 合约只需关心核心逻辑，存储与计算分离，方便合约升级； • CRUD底层逻辑基于预编译合约实现，数据存储采用分布式存储，效率更高； 同时，2.0版本仍然兼容1.0版本的合约，更多关于CRUD接口的介绍，请参考 使用CRUD接口 。 condition查询 更改 • MySQL存储模式支持MySQL 8.0 • 重构交易和区块相关的RPC接口，返回交易和区块的所有字段内容 • 交易推送的回执中带有交易执行结果的报错信息 • P2P模块添加读写idle检查的逻辑 修复 • 解决gcc9和clang12编译报错的问题 • Precompiled合约报错信息写入到回执中，给出更明确的报错提示 • 优化落盘加密，解决落盘加密模式下，存储空间占用大的问题 优化落盘加密，解决落盘加密模式下，存储空间占用大的问题 12 Chapter 2. 版本信息 FISCO BCOS Documentation, 发布 v2.9.0 • 修复MacOS系统下CachedStorage清理缓存导致节点宕机的问题 • 修复MySQL存储模式下，CNS合约名过长导致区块提交异常的问题 兼容性 向前兼容，旧版本可以直接替换程序升级 兼容模式回滚至v2.6.x方法 当节点采用兼容模式从v2.6.x升级至v2

0新增符合CRUD接口的合约接口规范，简化了将主流的面向SQL设计的商业应用迁移到 区块链上的成本。其好处显而易见： • 与传统业务开发模式类似，降低了合约开发学习成本； • 合约只需关心核心逻辑，存储与计算分离，方便合约升级； • CRUD底层逻辑基于预编译合约实现，数据存储采用分布式存储，效率更高； 同时，2.0版本仍然兼容1.0版本的合约，更多关于CRUD接口的介绍，请参考 使用CRUD接口 。 condition查询 更改 • MySQL存储模式支持MySQL 8.0 • 重构交易和区块相关的RPC接口，返回交易和区块的所有字段内容 • 交易推送的回执中带有交易执行结果的报错信息 • P2P模块添加读写idle检查的逻辑 修复 • 解决gcc9和clang12编译报错的问题 • Precompiled合约报错信息写入到回执中，给出更明确的报错提示 • 优化落盘加密，解决落盘加密模式下，存储空间占用大的问题 优化落盘加密，解决落盘加密模式下，存储空间占用大的问题 12 Chapter 2. 版本信息 FISCO BCOS Documentation, 发布 v2.9.0 • 修复MacOS系统下CachedStorage清理缓存导致节点宕机的问题 • 修复MySQL存储模式下，CNS合约名过长导致区块提交异常的问题 兼容性 向前兼容，旧版本可以直接替换程序升级 兼容模式回滚至v2.6.x方法 当节点采用兼容模式从v2.6.x升级至v2

0新增符合CRUD接口的合约接口规范，简化了将主流的面向SQL设计的商业应用迁移到 区块链上的成本。其好处显而易见： • 与传统业务开发模式类似，降低了合约开发学习成本； • 合约只需关心核心逻辑，存储与计算分离，方便合约升级； • CRUD底层逻辑基于预编译合约实现，数据存储采用分布式存储，效率更高； 同时，2.0版本仍然兼容1.0版本的合约，更多关于CRUD接口的介绍，请参考 使用CRUD接口 。 condition查询 更改 • MySQL存储模式支持MySQL 8.0 • 重构交易和区块相关的RPC接口，返回交易和区块的所有字段内容 • 交易推送的回执中带有交易执行结果的报错信息 • P2P模块添加读写idle检查的逻辑 修复 • 解决gcc9和clang12编译报错的问题 • Precompiled合约报错信息写入到回执中，给出更明确的报错提示 • 优化落盘加密，解决落盘加密模式下，存储空间占用大的问题 优化落盘加密，解决落盘加密模式下，存储空间占用大的问题 12 Chapter 2. 版本信息 FISCO BCOS Documentation, 发布 v2.9.0 • 修复MacOS系统下CachedStorage清理缓存导致节点宕机的问题 • 修复MySQL存储模式下，CNS合约名过长导致区块提交异常的问题 兼容性 向前兼容，旧版本可以直接替换程序升级 兼容模式回滚至v2.6.x方法 当节点采用兼容模式从v2.6.x升级至v2

0新增符合CRUD接口的合约接口规范，简化了将主流的面向 SQL设计的商业应用迁移到区块链上的成本。其好处显而易见： 与传统业务开发模式类似，降低了合约开发学习成本； 合约只需关心核心逻辑，存储与计算分离，方便合约升级； CRUD底层逻辑基于预编译合约实现，数据存储采用分布式存储，效率 更高； 同时，2.0版本仍然兼容1.0版本的合约，更多关于CRUD接口的介绍，请参考 使用CRUD接口 。 控制台 有字段内容 交易推送的回执中带有交易执行结果的报错信息 P2P模块添加读写idle检查的逻辑 修复 解决gcc9和clang12编译报错的问题 Precompiled合约报错信息写入到回执中，给出更明确的报错提示 优化落盘加密，解决落盘加密模式下，存储空间占用大的问题 修复MacOS系统下CachedStorage清理缓存导致节点宕机的问题 修复MySQL存储模式下，CNS合约名过长导致区块提交异常的问题 e 升级EVMC接口版本为7.3.0 源码编译要求GCC版本不小于5.4.0 支持AMOP消息路由到节点自身 MySQL存储模式下区块等数据使用二进制存储并启动压缩 修复 修复因为交易广播标记缓存没有清理干净导致的轻微内存泄露问题 修复raft共识下，非leader节点交易池中的交易不能被打包的问题 在MySQL存储模式下，Solidity合约写接口中调用Table的select接口时， 偶现的Gas计算不一致问题