和平统一 微服务场景下的数据一致性解决方案 殷湘 华为PaaS微服务架构师 开源能力中心 大纲 •离 数据一致性的起因 •合 数据一致性的解决方案 •断 方案选择建议 离 数据一致性的起因 单体应用 • 单体应用由于所有模块(A/B/C)使用同一个数据库 • 数据一致性通过数据库事务保证 A B C commit rollback 微服务场景 MySQL MongoDB MongoDB Cassandra 数据一致性无法完全通过数据库保证 离 独立进程 独立部署 独立技术 独立团队 合 数据一致性的解决方案 T1 T2 T3 C2 C1 • 1987年Hector & Kenneth 发表论文 Sagas • Saga = Long Live Transaction (LLT) • LLT = T1 + T2 + T3 + ... + Tn • 每个本地事务Tx 有对应的补偿

因为 Rust 的 async 机制是无栈协程，会将 async 部分在编译时隐式转换成一个 Future。 所以我们可以利用这一点来实现一个 Async 的 Wasm。 Async Wasm 解决方案 Photo / image / chart 利用本身 Async 机制 自行实现 Async Runtime Async 的 Wasm • 在 wasm 中把 future 存入固定内存处。 fiber / ucontext Async Wasm 解决方案 wasmtime-fiber 是一个通过内联汇编，保存当前寄存 器和栈数据来实现有栈协程的 rust 库。 wasmtime-fiber Ucontext 和 fiber 功能相同，但是 linux 的系统库。 ucontext 执行流程 Async Wasm 解决方案 • 与 WASM 的语言无关。 • 可以复用 WASM ucontext 优点 • 实现困难，涉及到汇编。容易出错。 • 需要极其注意内存安全。 缺点 Async Wasm 解决方案 效果示例 Async Wasm 解决方案 基于 Asyncify(Binaryen) Async Wasm 解决方案 Binaryen 是一个编译器基础架构库，提供了一套用于处理 WebAssembly 的工具。 其中一个功能是 asyncify，它允许将同步的

的存在是出于兼容性和性能的考虑。 << 取决于内存的随机值 编译器默认生成的构造函数：无参数（ POD 陷阱解决方案） • 不过我们可以手动指定初始化 weight 为 0 。 • 通过 {} 语法指定的初始化值，会在编译器自 动生成的构造函数里执行。 编译器默认生成的构造函数：无参数（ POD 陷阱解决方案，续） • 不过我们可以手动指定初始化 weight 为 0 。 • 通过 {} 语法指定的初始化值，不仅会在编译 您必须同时定义或删除拷贝构造函数和拷贝赋值函 数，否则出错。” 解决方案：要么删除 • 最简单的办法是，直接禁止用户拷贝这个 类的对象，在 C++11 中可以用 = delete 表示这个函数被删除，让编译器不要自动 生成一个默认的（会导致指针浅拷贝的） 拷贝构造函数了。 • 这样就可以在编译期提前发现错误： 解决方案：要么定义 • 如果需要允许用户拷贝你的 Vector 类对象 double free ）的问题。 解决方案 1 ：获取原始指针（ C * 这种类型的指针） • 解决这个问题需要分两种情况讨论。 • 第一种是，你的 func() 实际上并不需要 “夺走”资源的占有权（ ownership ）。比如 刚才这个例子， func() 只是调用了 p 的 某个成员函数而已，并没有接过掌管对象 生命周期的大权。 解决方案 2 ： unique_ptr 不能拷贝，但可以移动

3 线，如何快速进行模型特征的迭代？如何确保良好的预估性能？在线预估框架 Augur 应运而生。经过一段时间的实践，Augur 也有效地满足了算法侧的需求，并成为美团 搜索与 NLP 部通用的解决方案。下面，我们将从解读概念开始，然后再分享一下在 实施过程中我们团队的一些经验和思考。 2. 抽象过程：什么是模型预估 其实，模型预估的逻辑相对简单、清晰。但是如果要整个平台做得好用且高效，这就 而运筹优化则是调度系统、定价系统、规划系统的核心技术。接下来，我们分享几个 典型的运筹优化案例。 实战业务项目 智能区域规划 为了帮助大家快速理解配送业务的基本背景，这里首先分享智能区域规划项目中经常 遇到的问题及其解决方案。 配送网络基本概念 配送连接的是商家、顾客、骑手三方，配送网络决定了这三方的连接关系。当用户打 开 App，查看哪些商家可以点餐，这由商家配送范围决定。 每个商家的配送范围不一 算法 < 了可视化离线训练平台，通过拖拉拽的方式生成 DAG 图，屏蔽多个训练框架 的差异，统一模型训练和资源分配，降低了算法 RD 的接入门槛。 ● 模型管理平台，提供统一的模型注册、发现、部署、切换、降级等解决方案， 并为机器学习和深度学习模型实时计算提供高可用在线预测服务。 ● 离线特征平台，收集分拣线下日志，计算提炼成算法所需要的特征，并将线下 的特征应用到线上。 ● 实时特征平台，实时

自动化测试在美团外卖的实践与落地 483 深入理解函数式编程（上） 512 深入理解函数式编程（下） 541 Android 对 so 体积优化的探索与实践 568 从 0 到 1：美团端侧 CDN 容灾解决方案 589 美团高性能终端实时日志系统建设实践 608 后端 622 可视化全链路日志追踪 622 设计模式二三事 647 基于代价的慢查询优化建议 670 Java 系列 | 据集，而是多问题的多数据集，并且在最终评估的 b 榜数据集问题也是未知的。因 此，对于方案的鲁棒性要求非常高。如表 1 所示，后续将具体介绍七个比赛赛道的获 胜方案，但会合并为五个核心解决方案进行具体的介绍。 表 1 竞赛及解决方案 40 > 2022年美团技术年货 2.1 推荐系统问题 本节主要介绍 Kaggle Outbrain Ads Click Prediction 和 KDD Cup 2020 同，存在着不同的挑战：前者的数据规模庞大，涉及到数亿个用户在千级别数量异构 站点上的数十亿条浏览记录，对模型优化、融合有着严格的要求；后者则尤为关注推 荐系统中的偏差问题，要求参赛选手提出有效的解决方案，来缓解选择性偏差以及流 行度偏差，从而提高推荐系统的公平性。本节将分别介绍这两场比赛。 Kaggle Outbrain Ads Click Prediction：基于多层级多因子的模型融合方案

配置容易出错，上线前不能提前预览上线后的效果，只有“事后”（上线后）才能验证效果。 APPKIT打造稳定、灵活、高效的运营配置平台 - 美团技术团队 三、我们的思考 三、我们的思考 针对以上问题，我们希望通过设计一个通用的解决方案，去解决上文阐述的各种运营资源管理的问题。我 们把这个整体的项目称之为APPKIT，寓意是App的运营配置工具（Kit）。通过不断的实践和总结，我们 希望能从三个维度解决上述问题： 数据JSON化 4.1 数据层 4.1 数据层 数据层作为最底层的数据存储，其保存了最基本的运营后台数据、流程数据和线上数据。对持久化的数 据，我们采用MySQL进行存储；对于缓存数据，我们采用了Redis的解决方案。这样数据层形成基本的两 级存储结构：MySQL保证了数据的持久性，Redis保证了数据获取的速度。 这里我们对底层数据划分为三个不同域：后台数据，相当于草稿数据，运营人员所有的操作都记录在这 城市的过滤逻辑大体是这样：用户所在城市与从数据库获取到的城市列表（“1,2,3,4…… ”）进行匹配， 在每次匹配过程中都需要做字符串“split”的切割操作。这种操作的特点是流量越大，对机器CPU的消耗 越大。 解决方案：基于以上两点考虑，再结合Java语言提供的BitSet机制。我们从数据库里取出城市列表数据后 只做一次“split”切割操作，将数据转化为BitSet类型。这样在实际过滤过程中只需要通过BitSet的get机

全，运维部署工具提供了一种机构间相互合作部署联盟链方式。 数据治理通用组件：释放数据价值 数据治理通用组件的全名是“WeBankBlockchain-Data数据治理通用组件”， 它是一套稳定、高效、安全的区块链数据治理组件解决方案，可无缝适配 FISCO BCOS区块链底层平台。它由数据导出组件(Data-Export)、数据仓库 组件(Data-Stash)、数据对账组件(Data-Reconcile)这三款相互独立、可插 二次开发。 区块链多方协作治理组件：开启治理实践新起点 WeBankBlockchain-Governance区块链多方协作治理组件是一套轻量解耦、 简洁易用、通用场景和一站式的区块链治理组件解决方案。 首批开源的有 账户治理组件(Governance-Account)、权限治理组件(Governance-Auth)、 私 钥管理组件(Governance-Key)和证书管理组件（Governance-Cert）。上述组 基于区块链的实体身份标识及可信数据交换解决方案: [GitHub] [https://github.com/WeBankFinTech/WeIdentity] [Gitee] [https://gitee.com/WeBank/WeIdentity] [文档] [https://weidentity.readthedocs.io/] WeDPR 即时可用，场景式隐私保护高效解决方案套件和服务： [GitHub]

全，运维部署工具提供了一种机构间相互合作部署联盟链方式。 数据治理通用组件：释放数据价值 数据治理通用组件的全名是“WeBankBlockchain-Data数据治理通用组件”， 它是一套稳定、高效、安全的区块链数据治理组件解决方案，可无缝适配 FISCO BCOS区块链底层平台。它由数据导出组件(Data-Export)、数据仓库 组件(Data-Stash)、数据对账组件(Data-Reconcile)这三款相互独立、可插 二次开发。 区块链多方协作治理组件：开启治理实践新起点 WeBankBlockchain-Governance区块链多方协作治理组件是一套轻量解耦、 简洁易用、通用场景和一站式的区块链治理组件解决方案。 首批开源的有 账户治理组件(Governance-Account)、权限治理组件(Governance-Auth)、 私 钥管理组件(Governance-Key)和证书管理组件（Governance-Cert）。上述组 基于区块链的实体身份标识及可信数据交换解决方案: [GitHub] [https://github.com/WeBankFinTech/WeIdentity] [Gitee] [https://gitee.com/WeBank/WeIdentity] [文档] [https://weidentity.readthedocs.io/] WeDPR 即时可用，场景式隐私保护高效解决方案套件和服务： [GitHub]

全，运维部署工具提供了一种机构间相互合作部署联盟链方式。 数据治理通用组件：释放数据价值 数据治理通用组件的全名是“WeBankBlockchain-Data数据治理通用组件”， 它是一套稳定、高效、安全的区块链数据治理组件解决方案，可无缝适配 FISCO BCOS区块链底层平台。它由数据导出组件(Data-Export)、数据仓库 组件(Data-Stash)、数据对账组件(Data-Reconcile)这三款相互独立、可插 二次开发。 区块链多方协作治理组件：开启治理实践新起点 WeBankBlockchain-Governance区块链多方协作治理组件是一套轻量解耦、 简洁易用、通用场景和一站式的区块链治理组件解决方案。 首批开源的有 账户治理组件(Governance-Account)、权限治理组件(Governance-Auth)、 私 钥管理组件(Governance-Key)和证书管理组件（Governance-Cert）。上述组 基于区块链的实体身份标识及可信数据交换解决方案: [GitHub] [https://github.com/WeBankFinTech/WeIdentity] [Gitee] [https://gitee.com/WeBank/WeIdentity] [文档] [https://weidentity.readthedocs.io/] WeDPR 即时可用，场景式隐私保护高效解决方案套件和服务： [GitHub]

么手动提取不变量到循环体外。 调用不在另一个文件的函数： SIMD 优化失败 因为编译器看不到那个文件的 other 函数里是什么，哪怕 other 在定义他的文件里是个空函数，他也不敢优化掉。 解决方案：放在同一个文件里 结论：避免在 for 循环体里调用外部函数，把他们移到 同一个文件里，或者放在头文件声明为 static 函数。 将 other 放到 和 func 同一个 .cpp 文件里，这样编译器看得到 SOA 是针对这个案例最高效的数据排布格式 第 7 章： STL 容器 std::vector ：也有指针别名问题 __restrict ：能否用于 std::vector ？ 没用！ 解决方案： pragma omp simd 或 pragma GCC ivdep C/C++ 的缺点：指针的自由度过高，允许多个 immutable reference 指向同一个对象，而 Rust 章：数学运算 数学优化：除法变乘法 相当于变成了 a * 0.5f 编译器放弃的优化：分离公共除数 为什么放弃优化？因为编译器害怕 b = 0 。 解决方案 1 ：手动优化 乘法比除法更快！提前计算好 b 的 倒数避免重复求除法。 解决方案 2 ： -ffast-math -ffast-math 选项让 GCC 更大胆地尝试浮点 运算的优化，有时能带来 2 倍左右的提升。 作为代价，他对