Rust并行编译的挑战与突破 李原 2022年5月28日 • 相关浅谈 • Rust并行编译的挑战与突破 • 从并行编译到并行程序设计 • Rust社区与并行编译 目录 相关浅谈 Rust编译速度之殇 编译器设计造成编译速度缓慢 · 单态化 · 借用检查 · 宏展开 · MIR优化 ... Rust规模编译速度慢于C++ Rust编译速度之殇 提升编译效率成为近年社区重点工作 代码复杂度及健壮性 · benchmark资源限制 · profileing成本 ... 收益 > 代价？ Rust并行编译的挑战与突破 挑战：消减共享数据结构效率损失 共享数据结构的性能损耗问题 基于条件编译的共享数据结构实现 缺点：用户需自行生成编译器 挑战：消减共享数据结构效率损失 Specailization —— 基于GAT的共享数据结构实现 接口 入口 非共享 数据结构 执行结果 同一份代码 线程数为1 线程数大于1 同一份代码 缺点：业务代码带有泛型参数 挑战：消减共享数据结构效率损失 动态线程安全检查 —— 自动切换数据同步模式 数据结 构方法 数据 同步 数据 同步 返回结果 线程数为1 线程数>1 Lock 单线程 同步器 多线程 同步器 挑战：并行环境内存分配器的设计 allocator1 allocator2 allocator3

可想而知，也很难保证分配的公平性。 排班方案选型 配送团队最终选用的是按组排班的方式，把所有骑手分成几组，规定每个组的开工时 段。然后大家可以按组轮岗，每个人的每个班次都会轮到。 这个问题最大的挑战是，我们并不是在做一项业务工具，而是在设计算法。而算法要 有自己的优化目标，那么排班的目标是什么呢？如果你要问站长，怎么样的排班是好 的，可能他只会说，要让需要用人的时候有人。但这不是算法语言，更不能变成模型 认为每一单和每个骑手的匹 配有不同的适应度，那么这个适应度并不是可线性叠加的。也就意味着多单对多人的 匹配方案中，任意一种匹配都只能重新运算适应度，其计算量可想而知。 总结一下，这个问题有三类挑战： 1. 性能要求极高，要做到万单对万人的秒级求解。我们之前做了一些比较有意 思的工作，比如基于历史最优指派的结果，用机器学习模型做剪枝。基于大 量的历史数据，可以帮助我们节省很多无用的匹配方案评价。 实数据和算法设计者的经验，学习和演进而得。只有这样，才能在性能要求 极高的业务场景下，快速的得到鲁棒的优化方案。 目前，美团配送团队的研究方向，不仅包括运筹优化，还包括机器学习、强化学习、 数据挖掘等领域。这里具有很多非常有挑战的业务场景，欢迎大家加入我们。 作者简介 圣尧，2017 年加入美团，美团配送团队资深算法专家。 算法 < 77 一站式机器学习平台建设实践 作者：艳伟 本文根据美团配送资深技术专家郑艳伟在

日志导致线程 Block 的这些坑，你不得不防 713 基于 AI 算法的数据库异常监测系统的设计与实现 775 目录 < v Replication（上）：常见复制模型 & 分布式系统挑战 792 Replication（下）：事务，一致性与共识 818 TensorFlow 在美团外卖推荐场景的 GPU 训练优化实践 855 CompletableFuture 原理与实践 路，从而提升运行速度。但现有的训练后量化方法，不能很好应对多分支结构带来的 剧烈变动的数值范围，导致量化后产生严重的精度损失 [3]。另外，如何针对多分支结 构设计量化感知训练（QAT）方法也面临着较大的挑战。蒸馏常被用来辅助 QAT 提 升性能，但如何应用 2D 目标检测的蒸馏方法来辅助 YOLOv6 模型的量化，也需要 设计合理的方案在实际应用中进行检验。 18 > 2022年美团技术年货 图 55%。 此外，由于重参数化结构在训练和部署时结构不同，因此无法直接适配现有的量化感 知训练（QAT）方法，如何使用 QAT 方法来提高 YOLOv6 量化模型的精度，同样存 算法 < 19 在着挑战。近期，一篇重参数化优化器的工作 RepOpt [3] 较好地解决了重参数化结构 的量化问题。 2.1.1 RepOpt RepOpt [3] 对重参数化结构量化困难的问题进行了研究，发现重参数结构的分支融合

活地配置，是我们团队面临的重大考验。在这种背景下，大众点评移动开发组必须要打造一个稳定、灵 活、高效的运营配置平台。本文主要分享我们在建设高效的运营配置平台过程中，积累的一些经验，以及 面临的挑战和思考。 运营资源 运营资源 简单而言，运营资源可以理解为App中经常变动的一些广告、运营活动等等，譬如下图中电影首页顶部的 Banner位，就是一个典型的运营资源。对于这类运营资源，它们有如下明显特征： SDK方案的平均线为0.0是因为统计时舍入引起的，真实值其实非常小。 八、总结与展望 八、总结与展望 本文通过美团点评移动运营平台的实践，详细介绍了我们在打造稳定、灵活、高效的运营配置平台过程中 遇到的问题和挑战，同时本文也提供我们的解决思路：通过数据JSON化，运营流程化，接口SDK化分别 解决了运营平台的灵活性、高效性和稳定性。APPKIT帮助产品、运营和研发提升C端的开发和运营效 率，加速产品的迭代进程。 项目的架构设计。专注于 高性能、高稳定、大并发系统的设计与应用。 小龙，目前为APPKIT项目负责人，主要负责APPKIT项目开发、技术对接和实施、开放平台等。专注于前后端全栈技 术开发，喜欢挑战新的技术和业务问题。 CAT 3.0 开源发布，支持多语言客户端及多项性能提升 - 美团技术团队 CAT 3.0 开源发布，支持多语言客户端及多项性能提升 CAT 3.0 开源发布，支持多语言客户端及多项性能提升

产品介绍 业务挑战及架构目标 架构演进 总结展望 CONTENTS CONTENT 产品介绍 业务挑战及架构目标 架构演进 总结展望 全过程、全流程、一站式平台 产品特点 业务复杂 多专业领域 BIM全过程流转 人机交互频繁 产品规模大 350万+代码行 150+人团队 3+技术平台 产品特点 CONTENTS CONTENT 产品介绍 业务挑战及架构目标 架构演进 总结展望 业务挑战与架构目标 建筑造型多样化，业务模 型复杂度越来越高 业务挑战 新业务基于现有业务进行 扩展，而应用场景及性能 要求不同，既复用又独立； 产品云+端转型，核心业 务逐步实现服务化，不同 业务演化路径不同 简化业务模型复杂度 架构演进目标 不同业务间解耦 各业务独立演化 单体架构 共享模型 模糊分层 应对复杂业务挑战的思考 关注点分离 抽象建模 抽象建模 应对复杂业务挑战的策略 领域驱动设计 1 2 3 领域拆分 架构分层 构建领域模型 CONTENTS CONTENT 产品介绍 业务挑战及架构目标 架构演进 总结展望 架构演进 1 2 3 领域拆分 架构分层 构建领域模型 业务分析 2 1 3 4 分析业务流程 提炼业务规则 分析业务用例 识别业务对象 子域拆分 • 业务流程 • 专业知识 建模子域

产品发展中遇到的问题 • 异地多活存在哪些挑战 • 讯飞输入法异地多活解决方案 • 实际应用效果 • 未来规划 单机房遇到的问题 可用性低 响应时间慢 系统扩容难 可用性低 响应时间慢 系统扩容难 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法解决方案 • 实际应用效果 • 后续规划 技术挑战 几十毫秒的延迟； 跨机房性能较慢 机房天然延迟 需要封装屏蔽细节 业务开发影响 如何精准调度； 如何合理调度 流量调度 存储系统自带同步 不成熟； 自研组件之间同步 数据同步 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法异地多活解决方案 • 实际应用效果 • 未来规划 业务特点分析 业务分类 业务举例 业务特点 场景归类 核心业务 皮肤、表情、资源、广告、应用墙译等 读多写少 主从模式 冗余机器与其他系统复用，弹性伸缩 配套系统支撑 测试场景覆盖 灰度发布上线 机房流量调度 监控覆盖 故障模拟演练 数据恢复 配置平台 服务化平台 日常运维 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法解决方案 • 实际应用效果 • 未来规划 可用性 机房内故障 机房入口网 络故障 DNS问题 自动流量切换，业务 几乎没影响 10分钟迁移95%流量， 总体可控 几乎无劫持，延迟降低

Gopher  China  2015  话题  n 金融行业  IT  基础架构的现状、特点、挑战  n 求解之路的探索  n 雏形和明天  Gopher  China  2015  金融行业IT基础架构的现状、特点、挑战   RISC  Server  RISC  Server  RISC  Server   C  Gopher  China  2015  金融行业IT基础架构的现状、特点、挑战   Dev/Test  Staging  Production  Gopher  China  2015  金融行业IT基础架构的现状、特点、挑战  n “RISC  to  IA”  来了  n “Unix  to  Linux” “敏捷”和“Devops”来了  n “去IOE”来了  n “自主可控”来了   Gopher  China  2015  金融行业IT基础架构的现状、特点、挑战   Dev/Test  Staging  Production  RISC  Server  RISC  Server  RISC  Server 

刘浩杨 端点科技 Erda 微服务和监控平台负责人 目 录 微服务系统监控的挑战 01 可观测性技术理论 02 Erda 服务观测平台技术内核分析 03 Erda 服务观测平台功能概览 04 Erda:新一代企业级云原生 PaaS 平台 当前微服务系统面临的挑战 目 录 微服务系统监控的挑战 01 可观测性技术理论 02 Erda 服务观测平台技术内核分析 03 Erda 可观测性三大支柱 （一）Tracing 模型 （二）Metrics 时序模型 Writes are vertical，reads are horizontal （三）数据关联 目 录 微服务系统监控的挑战 01 可观测性技术理论 02 Erda 服务观测平台技术内核分析 03 Erda 服务观测平台功能概览 04 Erda MSP 微服务观测平台 Erda 微服务观测平台优势 指标覆盖完整 指标到索引 01 02 03 自动索引滚动 根据容量和 TTL 自动评估数据 删除周期 InfluxQL To ES 消除 ES 查询的复杂性 统一图表交互接口 目 录 微服务系统监控的挑战 01 可观测性技术理论 02 Erda 服务观测平台技术内核分析 03 Erda 服务观测平台功能概览 04 谢谢观看

目 录 Why 01 What 02 How 03 Takeaway 04 Why Part 1/4 1. SaaS 产品的特点 2. API 的重要性 3. 我们 API 面临的挑战 1.1 SaaS 产品的特点 SaaS 产品提供某一领域的解决方案的软件服务，本质是提供订阅服 务。 1.1 SaaS 产品的特点 AfterShip 属于国际 SaaS 的 B2B2C 产品 做好了所以业务增长了，而是良 好的 API 设计才能支撑业务增长。 1.3 我们 API 面临的挑战 挑战一、变更不规律，打乱客户更新计划 向后兼容 - API 的稳定性要求避免破坏性的更改。在进行更新或修改时，应 保持对现有功能的支持，以防止影响已部署的应用程序或客户端。 1.3 API 变更面临的挑战 挑战二、新功能缺少调试环境 What Part 2/4 1. 本质 2. 实现效果 2

Java/NodeJS/C++/… App P a a S 降级限流 流量镜像 … 消息 缓存 8 事情没有那么 简单 新的挑战 1：应用跟基础设施强绑定 9 MOSN App 业务逻辑 RPC SDK port1 bolt SOFA-RPC 基础设施 RPC 新的挑战 1：应用跟基础设施强绑定 10 MOSN App 业务逻辑 RPC SDK port 1 各种各样的SDK Config port 4 SOFA- config 基础设施 RPC Cache MQ Config 新的挑战 2：异构语言接入成本高 11 MOSN NodeJS 业务逻辑 RPC SDK 通信序列化协议 RPC SOFA-RPC 基础设施 新的挑战 2：异构语言接入成本高 12 MOSN NodeJS 业务逻辑 RPC SDK 通信序列化协议 RPC RPC Cache MQ Config SOFA-RPC Redis SOFA-MQ SOFA- config 基础设施 X SDK 通信序列化协议 新的挑战 2：异构语言接入成本高 13 MOSN NodeJS 业务逻辑 X SDK 通信序列化协议 RPC Cache MQ Config python 业务逻辑 X SDK 通信序列化协议 go 业务逻辑 X SDK