对于App里运营资源、基础配置，需要根据城市、版本、平 台、渠道等不同的维度进行运营管理。如何在版本快速迭代过程中，保持运营资源能够被高效、稳定和灵 活地配置，是我们团队面临的重大考验。在这种背景下，大众点评移动开发组必须要打造一个稳定、灵 活、高效的运营配置平台。本文主要分享我们在建设高效的运营配置平台过程中，积累的一些经验，以及 面临的挑战和思考。 运营资源 运营资源 简单而言，运 简单而言，运营资源可以理解为App中经常变动的一些广告、运营活动等等，譬如下图中电影首页顶部的 Banner位，就是一个典型的运营资源。对于这类运营资源，它们有如下明显特征： 1. 时效性，只在一定时间范围内显示在C端固定位置。 2. 城市强相关，这类运营资源往往是基于LBS类服务，每个活动、广告都只会出现在固定的某些城市（或区域）。 基础配置 基础配置 基础配置，常见的有入口资源的配置、网络的配置 等。相对运营资源来说，其变更的频繁度相对较低，与 时间、城市的关系也没那么强。譬如下面大众点评App-我的页面里的入口。这类配置有如下几个特征： 1. 多维度：需要针对不同的版本、平台、渠道，做不同的配置。 2. 长期有效：这种类型的配置一般长期存在，不会存在过期问题。 APPKIT打造稳定、灵活、高效的运营配置平台 - 美团技术团队 二、遇到的问题 二、遇到的问题 在从0到1打造运营

879 工程效能 CI/CD 之流水线引擎的建设实践 912 美团外卖搜索基于 Elasticsearch 的优化实践 933 美团图灵机器学习平台性能起飞的秘密（一） 953 提升资源利用率与保障服务质量，鱼与熊掌不可兼得？ 971 标准化思想及组装式架构在后端 BFF 中的实践 992 外卖广告大规模深度学习模型工程实践 | 美团外卖广告工程实践专题连载 1013 数据库全量 的利用率只有 95%，还有压 榨空间，而 16 核 CPU 利用率已经超过了 1500%，几乎满负荷运转。我们推测整个 线上服务的“瓶颈”可能在 CPU，而图片预处理会使用大量 CPU 资源。 表 9 服务器资源配置 算法 < 33 3.2.1 DALI 预处理 为了解决 CPU 预处理带来的“瓶颈”，我们采用了 NVIDIA 的 DALI 库，将预处理 直接放到 GPU 中运算。该库可以在 预处理后，T4 GPU 利用率达到了 100%，而 16 核 CPU 的利 用率则下降到了 1100% 左右，部分 CPU 资源得到了“解放”。另外，我们也测试 FP16 + DALI 的吞吐，反而有略微的下降。我们推测是 DALI 抢占了部分 GPU 计 算资源，而 FP16 服务的瓶颈在 GPU，所以对整体性能产生了负面影响。 34 > 2022年美团技术年货 图 13 使用 DALI

由于当时 Spring-cloud 的崛起，微服务多个模块逐步被划分，包括注册中心、配置中心，如果从 产品定位上，期望定位简单清晰，利于传播，我们需要分别开源我们内部产品，这样又会分散我们 品牌和运营资源。另外大部分客户没有阿里这么大的体量，模块拆分过细，部署和运维成本都会成 倍上涨，而且阿里巴巴也是从最早⼀个产品逐步演化成 3 个产品的，因此我们最终决定将内部三个 产品合并统⼀开源。定位为：⼀ Nameserver：解决 Namespace 到 ClusterID 的路由问题，解决用户环境与 Nacos 物理环境 映射问题。  CMDB：解决元数据存储，与三方 CMDB 系统对接问题，解决应用，人，资源关系。  Metrics：暴露标准 Metrics 数据，方便与三方监控系统打通。  Trace：暴露标准 Trace，方便与 SLA 系统打通，日志白平化，推送轨迹等能力，并且可以和计 量计费系统打通。 、线程池、日志级别等配置项。 命名空间（Namespace） 用于进行租户粒度的配置隔离。不同的命名空间下，可以存在相同的 Group 或 Data ID 的配置。 Namespace 的常用场景之⼀是不同环境的配置的区分隔离，例如开发测试环境和生产环境的资源 （如数据库配置、限流阈值、降级开关）隔离等。如果在没有指定 Namespace 的情况下，默认使 用 public 命名空间。

位与选型 需要解决的问题 1 6 4 3 2 … 异构／多语言难以支持 5 缺乏统一监控、统一管理 (进程假死、运行状态未知) 缺乏容错、容灾，高可 用 缺乏分布式处理 无法合理利用机器资源 难以问题追踪 选型对比 Crontab Quartz Linux系统级的定时任务执行器 缺乏分布式运算和集中管理功能 无法做到高可用 TBSchedule Elatic-Job Java事实任务标准 功能单一，只支持Java，不支持 Shell(PHP)和消息驱动的作业调度 对任务超时、任务执行情况、监控逻辑 支持粒度功能较单一或缺乏 没有容器化选型？ 调度产品的定位 简易开发、简单维护 高可用、分片并发处理、资源调度动态平衡 支持Java、Shell以及本地模式(VIP还支持消息模式) 统一配置、统一监控、统一管理 VIP弹性调度系统 -- Saturn 开源地址： Github.com/vipshop/Saturn 多种作业类型与 作业模式 资源动态平衡 框架与业务隔离 三大功能特性 Shell作业 消息作业* JAVA作业 分布式与本 地作业模式 • 完美兼容现有PHP的作业，可无缝迁移，成本最低 • 提供多种业务开发模式，满足不同的业务需求 • 多种业务运行模式，即可分布式管理也可本地管理 • 通过异步消息实现业务编排* 多种作业类型 人工指定 运行节点 系统自动 平衡负载 资源利用 • 灵活的运维配置与部署

• 提供强⼀一致保障 • 准备阶段完成资源操作 • 如果准备过程中出现问题，可以回滚 • 提交阶段不不允许出错 • 资源层⾯面提供保障业务侵⼊入性低 • 协议成本⾼高，并且存在全局锁的问题 ACID 与 BASE • ACID • 原⼦子性 （Atomicity） • ⼀一致性 （Consistency） • 隔离性 ( Isolation) • 持久性 cfm?id=1394128 TCC • Try: 尝试执⾏行行业务 • 完成所有业务检查，预留留必须的业务资源 • Confirm：确认执⾏行行业务 • 真正执⾏行行业务，不不做业务检查 • Cancel：取消执⾏行行业务 • 释放Try阶段预留留的业务资源 业务服务 try confirm cancel 通过领域建模来解决 • 微服务内：聚合通过数据库事务保证强⼀一致 （Consistency） • 隔离性 ( Isolation) • 持久性 (Durability) • Saga只提供ACD保证 • 原⼦子性（通过Saga协调器器实现） • ⼀一致性 (本地事务 + Saga log) • 隔离性 （Saga不不保证） • 持久性 （Saga log） 缺乏隔离性带来的问题 • 两个Saga事务同时操作⼀一个资源会出现数据语义不不⼀一致的的情况。

• 提供强⼀一致保障 • 准备阶段完成资源操作 • 如果准备过程中出现问题，可以回滚 • 提交阶段不不允许出错 • 资源层⾯面提供保障业务侵⼊入性低 • 协议成本⾼高，并且存在全局锁的问题 ACID 与 BASE • ACID • 原⼦子性 （Atomicity） • ⼀一致性 （Consistency） • 隔离性 ( Isolation) • 持久性 cfm?id=1394128 TCC • Try: 尝试执⾏行行业务 • 完成所有业务检查，预留留必须的业务资源 • Confirm：确认执⾏行行业务 • 真正执⾏行行业务，不不做业务检查 • Cancel：取消执⾏行行业务 • 释放Try阶段预留留的业务资源 业务服务 try confirm cancel 通过领域建模来解决 • 微服务内：聚合通过数据库事务保证强⼀一致 （Consistency） • 隔离性 ( Isolation) • 持久性 (Durability) • Saga只提供ACD保证 • 原⼦子性（通过Saga协调器器实现） • ⼀一致性 (本地事务 + Saga log) • 隔离性 （Saga不不保证） • 持久性 （Saga log） 缺乏隔离性带来的问题 • 两个Saga事务同时操作⼀一个资源会出现数据语义不不⼀一致的的情况。

例如，百度的BAE平台的PaaS服务由Docker支持。 Technologies in Docker Docker是一个操作系统级的、容器化的虚拟化方法。 隔离性 Linux Namespace (NS) pid namespace 不同用户的进程就是通过pid namespace隔离开的，且不 同namespace中可以有相同pid，所有的LXC进程在docker 中的父进程为docker进程，每个LXC进程具有不同的 实现 Docker in Docker。 net namespace 网络隔离是通过net namespace实现的， 每个net namespace有独立的network devices、IP addresses、IP routing tables、/proc/net目录，每个container的网络能够 隔离，docker默认采用veth的方式将container中的虚拟网 卡同host上的一个docker Docker 隔离性 Linux Namespace (NS) ipc namespace Container中进程交互还是采用Linux常见的进程间交互方 法（interprocess communication – IPC），包括常见的信号 量、消息队列和共享内存。Container的进程间交互实际 上还是Host上具有相同pid namespace的进程间交互，因 此在IPC资源申请时加入namespace信息，每个IPC资源有

大规模分布式系统架构下调测能力构建之道 李鑫 大纲 分布式环境下开发的调测效率问题 应对之道 远程应用服务 契约测试 分布式消息服务 分布式缓存 分布式服务的“租户”隔离策略 总体调测框架实践 分布式环境下调测方法论 单体应用 服务化 微服务 小中型规模应用+小型团队 中大型规模应用+多团队协同 Cache DB NFS Load Balancer 我写了个消息Consumer，布到线上准备测测，结果，别人的消 息先到了，一下把我的预置数据全搞乱了… 7. 我的开发机性能还行，我想自己装一套依赖环境提高开发调测 效率，结果消息服务、缓存服务、服务框架装完一启动，80% 的系统资源就没有了，想想还有一堆的应用服务还没装，直接 泪崩… 8. 办公区断网，所有线上依赖环境都无法访问了，得，今天啥也 干不了了，回家洗洗睡吧…. … ….. ……… 1 2 3 解决之道 提供消息的发布、暂存、订阅、消费处理能力 代理门面 将MQ的调用用代理模式做一层封装。 开关机制 支持多级开关切换 消息预取 通过消息预判定，解决找不到消费者导致消息被抛弃 的问题。 优势：能用极低的资源损耗实现单机环境下对分布式 MQ服务的仿真模拟 分布式MQ服务 Producer2 …. Broker2 Topic1-q3 Topic2-q2 Topic3-q1 Broker3 …

2、异步I/O通信：I/O通信方式与服务调用方式没关联关 系，无论是同步服务调用还是异步服务调用，I/O通信都 可以采用异步非阻塞模式 同步服务调用的几个缺点： 1、业务线程利用率低：线程资源是系统中比较重要的资源， 在一个进程中线程总数是有限制的。提升线程的使用率，就能 够有效提升系统的吞吐量。在同步服务调用中，如果服务端没 有返回响应，客户端业务线程就会一直阻塞（wait）,傻等期 间，无法处理其它业务消息。 28% 左右，CPU占用降低 56% 左右 实践-故障隔离 Website: http://servicecomb.incubator.apache.org/ Gitter: https://gitter.im/ServiceCombUsers/Lobby 利用ServiceComb的隔离仓技术，实现业务不同接口的故障隔离 充值服务 APP付费下载服务 APP评论服务 业务线程池 图书门户 单点故障 故障扩散 故障扩散 无线程池隔离仓： 充值服务 开户服务 客户资料查询服务 其它非关键服务 隔离仓-1 隔离仓-3 手机客户端 WAP客户端 图书门户 单点故障 正常 正常 隔离仓-2 配置隔离仓： 通过配置线程池隔离仓，实现快 慢接口、读写接口、核心和非核 心接口、管理和业务接口的调度 隔离，提升微服务可靠性 实践-轻量化 Website:

等地位的商业利益共同体 所建立的新型生产关系，是通过预设的透明规则进行组织管理、职能分工、价值交换、共同提供商品与 服务并分享收益的新型经济活动行为。在主要表现特征上，分布式商业显现出多方参与、共享资源、智 能协同、价值整合、模式透明、跨越国界等特点。一个成熟的分布式商业场景具备生产资料由多方持 有、产品和服务能力由多方共同构建、商业过程中的相互关系对等，产品和利益分配规则透明等要求。 分布式商 • 各群组独立执行共识流程，由群组内参与者决定如何进行共识，一个群组内的共识不受其他群组 影响，各群组拥有独立的账本，维护自己的交易事务和数据，使得各群组之间解除耦合独立运 作，可以达成更好的隐私隔离； • 机构的节点只需部署一次，通过群组设置即可参与到不同的多方协作业务中，或将一个业务按用 户、时间等维度分到各群组，群组架构可快速地平行扩展，在扩大了业务规模同时，极大简化了 运维复杂度，降低管理成本。 统中，克服了本地 化数据存储的诸多限制。该方案有以下优点： • 支持多种存储引擎，选用高可用的分布式存储系统，可以支持数据简便快速地扩容； • 将计算和数据隔离，节点故障不会导致数据异常； • 数据在远端存储，数据可以在更安全的隔离区存储，这在很多场景中非常有意义； • 分布式存储不仅支持Key-Value形式，还支持SQL方式，使得业务开发更为简便； • 世界状态的存储从原来的MPT存