第三届中国 Rust 开发者大会 Rust 构建分布式账务系统 在 Fintech 公司落地 Rust 项目的经验分享 Airwalle x 胡宇 Airwallex 我们是一家跨境支付领域的 Fintech 独角兽 关于我们 E2 轮 Fintech 独角兽，业务遍布全球 关于我们： Airwallex 墨尔本 新加坡 伦敦 深圳 香港 北京 旧金山 上海 东京 提供高效，低成本的数字银行服务 关于我们： Airwallex 从设计架构到实现细节 项目介绍 分布式账务系统 Fintech 互联网 正确性 bug= 资损 bug 不可怕，快速迭代 可靠性 丢数据 = 资损 允许数据丢失 性能 超低延迟 + 高吞吐 超高吞吐 交易日志 审计，监管 调试使用 分布式账务系统 Fintech 领域中的软件与互联网软件的不同 需求分析 支付处理： ● 转账 ● 水平扩展性：利用分布式事务实现钱包集群的的水平扩 展，应对高达 100 万 TPS 的流量 可演化性：业务逻辑与底层 API 解耦，当业务发生改变 时，底层 API 不用改变 分布式账务系统 设计理念 - Rust 是我们可靠的基石 分布式账务系统 存算分离 API 解耦 读写分离 层级账号 Rust ● 事务层与账户层分 离 ● 独立水平扩展 ● CQRS ● Event Sourcing ● 针对读场景，写场

MySQL 架构设计—高可用架构  系统优化：硬件、架构 系统优化：硬件、架构  服务优化 服务优化  应用优化 应用优化 MySQL MySQL 优化方式 优化方式 影响性能的因素 影响性能的因素 应用程序 应用程序 查询 查询 事务管理 事务管理 数据库设计 数据库设计 数据分布 数据分布 网络 网络 操作系统 操作系统 硬件 硬件  使用好的硬件，更快的硬盘、大内存、多核 读写分离；数据库分表、数据库切片（分 读写分离；数据库分表、数据库切片（分 布式），也考虑使用相应缓存服务帮助 布式），也考虑使用相应缓存服务帮助 MySQL MySQL 缓解访问 缓解访问 压力 压力 系统优化 系统优化  配置合理的 配置合理的 MySQL MySQL 服务器，尽量在应用本身达到一 服务器，尽量在应用本身达到一 个 个 MySQL MySQL 最合理的使用 最合理的使用  针对 每个线程的排序缓存大小，一般按照内存可 以设置为 2M 以上，推荐是 16M ，该选项对 排序 order by ， group by 起作用 record_buffer 128K 64M 每个进行一个顺序扫描的线程为其扫描的每 张表分配这个大小的一个缓冲区，可以设置 为 2M 以上 table_cache 64 1024 为所有线程打开表的数量。增加该值能增加 mysqld 要求的文件描述符的数量。 MySQL

今天，双核或者四核机器在多线程应用方面，其性能不见得的是单核机器的两倍或者四倍。 这一问题一直伴随 CPU 发展至今。 并发和并行的区别 • 运用多线程的方式和动机，一般分为两种。 • 并发：单核处理器，操作系统通过时间片调 度算法，轮换着执行着不同的线程，看起来 就好像是同时运行一样，其实每一时刻只有 一个线程在运行。目的：异步地处理多个不 同的任务，避免同步造成的阻塞。 • 并行：多核处理器，每个处理器执行一个线 parallel_for_each 二维区间上的 for 循环： blocked_range2d 三维区间上的 for 循环： blocked_range3d 所有区间类型 第 2 章：缩并与扫描 缩并（ reduce ） 1 个线程，依次处理 8 个元素的缩并，花了 7 秒 用电量： 1*7=7 度电 总用时： 1*7=7 秒 结论：串行缩并的时间复杂度为 O(n) ，工作复杂度为 O(n) e 并行缩并的额外好处：能避免浮点误差，例如求平均值 扫描（ scan ） 如图所示，扫描和缩并差不多，只不过他会把求和的中间结果存到数组里去 1 个线程，依次处理 8 个元素的扫描，花了 7 秒 用电量： 1*7=7 度电 总用时： 1*7=7 秒 结论：串行扫描的时间复杂度为 O(n) ，工作复杂度为 O(n) 。 并行扫描 第一步、 4 个线程，每人处理 2 个元素的缩并，花了 1

程、工具” 四维协同基线，沉 淀全流程数据，从感知到赋 能，服务于工程师 释放云基建能力：链接任何云 及自建资源（容器、主机、车 机、端等），释放云原生价值 和企业创新力 生态开放：广泛开放系统 模块和 OpenAPI ，链接 一切流程、服务、工具和 上下游伙伴 安全简单自主可控：私有化 部署，现有服务 0 迁移成本 、体验丝滑接入容易、学习 使用门槛极低 现存做法大多以「单点工具 赋能开发、员工成就感高 碎片化：手工协作 + 复杂工具链 工程化：一个平台 一键发布 工作流、环境配置自动更新、高 效调试、消除手工操作、精准快 速迭代、研发生产力 / 幸福感提 升 自助运行、系统化管理、自动化 程度高、测试有效性提升、质量 有保障、横向赋能、技能提升 随时调用工程基线提供的能力、 产品视角开发交付、团队高效协 同、稳定迭代 产研数字化过程数据透明、关键 指标易抽取、有能力合理调动资 平面，操作使用自动化工作流和云原生环境 面向角色 功能描述 工作流名称样例 具体配置 开发工程师 CI 过程 project-unit-test project-scan • 单元测试、代码扫描 更新日常开发环境及 dev 业务配 置 project-dev-workflow • 构建、配置变更（ Apollo/Nacos ）、数 据变更、部署、冒烟测试、项目管理任务 变更 测试工程师

/ 架构 开发 测试 运维 运维 / 开发 技术支持 事件 需求设计 架构设计 拆任务、写代码 代码集成 xN 单元测试验证 xN 代码扫描 xN 自测、联调 xN 集成验证 xN 写测试用例 系统验证 xN 自动化测试 xN 性能测试 xN 安全测试 xN 数据变更 xN 代码变更 xN 配置变更 xN 部署测试环境 传统 DevOps 体系 Zadig 云原生 DevOps 平台 高人效 低人效 低人效 / 低质量 / 低效率 / 高成 本： 人淹没在系统的海洋里，无数平台手工切换 高人效 / 高质量 / 高效率 / 低成 本： 人在系统之外 / 上，复杂性下沉到单一平台 希望 工程师不再花时间在开发写代码之外的脏活累活，比如服务部署、找环境，服务编排等 Infra 的事情。 1 0 开发者常处于 今天发版、明早升级 嗷嗷待哺状态 Zadig 优势、使用场景、解决问题域 Zadig 解决问题域 Zadig 云原生开放性：极简、 0 负担接入 Zadig 业务架构 Zadig 系统架构 1 Zadig 行业方案 对比分析 职能 传统 DevOps 方案 ZadigX 云原生 DevOps 方案 降本提效 组织能力提升 业务负责人 研发不透明，规划凭感觉： • 发版时间靠运气

需要先创建 build 目录 • 切换到 build 目录 • 在 build 目录运行 cmake < 源码目录 > 生成 Makefile • 执行本地的构建系统 make 真正开始构建（ 4 进程并 行） • 让本地的构建系统执行安装步骤 • 回到源码目录 现代 CMake 提供了更方便的 -B 和 --build 指令，不同平台，统一命 令！ • cmake -B build • --build 命令。 // 在源码目录用 -B 直接创建 build 目录并生成 build/Makefile // 自动调用本地的构建系统在 build 里构建，即： make -C build -j4 // 调用本地的构建系统执行 install 这个目标，即安 装 -D 选项：指定配置变量（又称缓存变量） • 可见 CMake 项目的构建分为两步： 项目的构建分为两步： • 第一步是 cmake -B build ，称为配置阶段（ configure ），这时只检测环境并生成构建规则 • 会在 build 目录下生成本地构建系统能识别的项目文件（ Makefile 或是 .sln ） • 第二步是 cmake --build build ，称为构建阶段（ build ），这时才实际调用编译器来编译代码 • 在配置阶段可以通过 -D 设置缓存变量。第二次配置时，之前的

也有人说 1 KiB 才是 1024 B 的，但是很少有人采用这种写法…… • 在买硬盘和 u 盘等存储设备的时候，往往会出现容量减少的情况，这是因为生产厂家按照 的是 1000 倍的换算的，而我们的系统中一般都是按照 1024 倍去计算的。 字还被用于表示内存地址 • 字的长度除了决定一次处理的整数大小之外，还决定了能访问的内存地址的范围。 • 这是因为内存是一维排列的，假如内存容量是 65536 是短整数类型，大小为 16 位或者说 2 字节。 int 是整数类型，大小为 32 位或者说 4 字节。 long long 是超长整数类型，大小为 64 位或者说 8 字节。 long 比较特殊，在 Unix 上随系统位数变化， Windows 上始终是 32 位。 C 语言的基础整数类型 类型 Unix 32 位 Unix 64 位 Windows 32 位 Windows 64 位 char 8 位 8 64 位 64 位 注意到 Unix 和 Windows 关于 long 的定义有分歧： Unix 认为 long 的大小应该和系统架构位数一样， 32 位系统上就 32 位， 64 位系统上就 64 位。 Windows 认为 long 不论 32 位系统还是 64 位系统都一样应该为 32 位，认为这样安全。 因此我们在编写 C 语言程序时，应该避免使用 long 类型，他会导致你的程序难以跨平台。

在新模块（ Carer ）的头文件和源文件中都导入其他模块（ Animal ）的头 文件。 • 注意不论是项目自己的头文件还是外部的系统的头文件，请全部统一采用 < 项目名 / 模块名 .h> 的格式。不要用 “模块名 .h” 这种相对路径的格式，避 免模块名和系统已有头文件名冲突。 十、依赖其他模块但不解引用，则可以只前向声明不导入头文件 • 如果模块 Carer 的头文件 Carer.h 中则是基于定义者所在路径，优先访问定义者的作用域。这里需要 set(key val PARENT_SCOPE) 才能修改到外面的变量。 第二章：第三方库 / 依赖项配置 用 find_package 寻找系统中安装的第三方库并链接他们 find_package 命令 • 常用参数列表一览： • find_package( [version] [EXACT] [QUIET] Config.cmake 的文件，我称之为包配置文件。 • Qt5Config.cmake 是你安装 Qt5 时，随 libQt5Core.so 等实际的库文件，一起装到你的 系统中去的。以我的 Arch Linux 系统为例： • 包配置文件位于 /usr/lib/cmake/Qt5/Qt5Config.cmake 。 • 实际的动态库文件位于 /usr/lib/libQt5Core.so 。

中的字符串（称为源码），并根据 C+ + 标准生成相应的机器指令码，输出到 a.out 这个文件中，（称为可执行文件）。 • > ./a.out • 之后执行该命令，操作系统会读取刚刚生成的可执行文件，从而执行其中编译成机器码， 调用系统提供的 printf 函数，并在终端显示出 Hello, world 。 厂商 C C++ Fortran GNU gcc g++ gfortran LLVM clang -c 选项指定生成临时的对象文件 main.o ，之后再根据一系列对象文件进行链接 ，得到最终的 a.out ： • > g++ hello.o main.o -o a.out 为什么需要构建系统（ Makefile ） • 文件越来越多时，一个个调用 g++ 编译链接会变得很麻烦。 • 于是，发明了 make 这个程序，你只需写出不同文件之间的依赖关系，和生成各文件的规则。 • > make 但坏处也很明显： 1. make 在 Unix 类系统上是通用的，但在 Windows 则不然。 2. 需要准确地指明每个项目之间的依赖关系，有头文件时特别头疼。 3. make 的语法非常简单，不像 shell 或 python 可以做很多判断等。 4. 不同的编译器有不同的 flag 规则，为 g++ 准备的参数可能对 MSVC 不适用。 构建系统的构建系统（ CMake ） • 为了解决 make

专注于数据智能技术赋能中国数字经济发展 海致高性能图计算院士专家工作站 郑纬民 - 海致科技首席科学家 中国工程院院士、清华大学计算机科学与技术系教 授、中国计算机学会前理事长，中国计算机系统结构 的学科带头人，我国高性能计算和存储系统等方面的 泰斗和先行者。 2021 年 3 月 25 日，海致科技与清华大学计算机科学与技术系共同建设高性能图计算院士专家工作站 。 高性能图计算是高性能计算、图计算两项 Computer Federation ）“ 2021 年 CCF 科 学技术奖科技进步卓越奖”。 伴随市场对于知识图谱应用的不断深入，图数据规模和应用性能之间的矛盾愈 加凸显，海致针对以上背景展开了系统性的技术攻关，解决了图数据的高效存 储、索引及复制难题，提出了基于图缩减的高效分析方法，并孵化出了一个大 规模图数据分析平台 AtlasGraph 。 5 获得 2022 年中国电子学会科学技术奖科技进步一等奖 其中异质图建模与表示学习技术和超大规模图学习系统处于国际领 先水平。” 以终为始，以行为知，这一项目从图计算所面临的挑战出发，解决了大规模图数据所产生 的建模能力不足、结构知识难用、巨量数据难算等技术挑战，实现了大规模复杂异质图数 据的表示学习模型、语义推荐和风险管理关键技术，构建了完整的兼具理论指导与应用检 验的大规模图数据智能分析系统与平台，满足了大数据时代从复杂异质图数据中进行知识