讯飞输入法异地多活架构实践之路 凌 军 自我介绍 • 凌军 • 2010年加入科大讯飞 • 讯飞输入法、灵犀语音助手等产品服务端架构负责人 • 科大讯飞消费者BG基础平台架构负责人 产品介绍 • 稳居国内输入法第一阵营 • 2010-10~至今 • 4亿用户 • 1.1亿月活 来自：中国科学院《互联网周刊》 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些挑战 • • 讯飞输入法异地多活解决方案 • 实际应用效果 • 未来规划 单机房遇到的问题 可用性低 响应时间慢 系统扩容难 可用性低 响应时间慢 系统扩容难 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法解决方案 • 实际应用效果 • 后续规划 技术挑战 几十毫秒的延迟； 跨机房性能较慢 机房天然延迟 专线费用高； 专线不稳定 跨机房专线问题 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法异地多活解决方案 • 实际应用效果 • 未来规划 业务特点分析 业务分类 业务举例 业务特点 场景归类 核心业务 皮肤、表情、资源、广告、应用墙译等 读多写少 主从模式 （单点写，多点读） 用户个性化数据同步、账号等 读写均衡 多主模式 （多点读写） 分布式日志收集等 写多读少 汇聚模式 （多点写，单点读）

历了无数的悲喜，也留下了满满的回忆。 也许生活就是这样，只有历尽波澜，才能欣赏茫茫大海的辽阔和无边， 才能感受到漫天星辰的光芒和温暖。 在2023年春节到来之际，我们从去年美团技术团队公众号上精选了60多 篇技术文章，整理制作成一本1300多页的电子书，作为新年礼物赠送给 大家。 这本电子书内容覆盖算法、前端、后端、数据、安全等多个技术领域， 希望能对同学们的工作和学习有所帮助。 也欢迎大家转给更多有相同兴趣、积极上进的同事和朋友们，一起切 目标检测开源框架 YOLOv6 全面升级，更快更准的 2.0 版本来啦 13 通用目标检测开源框架 YOLOv6 在美团的量化部署实战 17 7 次 KDD Cup&Kaggle 冠军的经验分享：从多领域优化到 AutoML 框架 37 图神经网络训练框架的实践和探索 66 图技术在美团外卖下的场景化应用及探索 83 大规模异构图召回在美团到店推荐广告的应用 102 美团搜索粗排优化的探索与实践 最具代表性，但在实际使用中，我们发现上述框架在速度和精度方面 仍有很大的提升的空间。基于此，我们通过研究并借鉴了业界已有的先进技术，开发 了一套新的目标检测框架——YOLOv6。该框架支持模型训练、推理及多平台部署 等全链条的工业应用需求，并在网络结构、训练策略等算法层面进行了多项改进和优 化，在 COCO 数据集上，YOLOv6 在精度和速度方面均超越其他同体量算法，相关 结果如下图 1 所示：

此简单需求，随着业务规模变大也会变的非常复杂。如何能将数据准确的在 3 秒钟之内推送到每⼀ 个计算节点，这是当时提出的⼀个要求，围绕这个要求，系统要做大量的研发和改造，类似的这种 关键的技术挑战点还非常非常的多。本书就是将面对复杂的分布式计算场景，海量并发的业务场景， 对软负载⼀个系统的进行阐述，通过 Nacos 开源分享阿里软负载最佳实践，希望能够帮助到各位开 发者，各位系统架构师，少走弯路。 阿里巴巴云原生应用平台负责人 性，可观测性等分布式系统指标影 响整个分布式系统的运行。历史上，这个系统在阿里也触发过大故障，经历过数次血与火的考验。 在阿里数次架构升级中，Nacos 都做了大量的功能迭代，用来支持阿里的异地多活，容灾演练，容 器化，Serverless 化。Nacos 经过阿里内部锤炼十年以上，各项指标已经及其先进，稳定，为服务 好全球开发者，Nacos 经过数十名工程师持续努力，以开源形式和大家见面，相信 ⼀次配 置要将全部实例重启，不仅增加了系统的不稳定性，也提高了维护的成本。 那么如何能够做到服务不重启就可以修改配置？所有就产生了四个基础诉求：  需要支持动态修改配置  需要动态变更有多实时  变更快了之后如何管控控制变更风险，如灰度、回滚等  敏感配置如何做安全配置 Nacos 架构 < 22 概念介绍 配置(Configuration) 在系统开发过程中通常会将⼀

各国法律法规(版权,协议,第三方,accessibility), 安全性和隐私… • 地域不同: 服务器的部署, 用户的访问, 组织架构, 团队沟通… 项目实例 -- XA项目背景及需求 • 多设备协作 PC, Mobile, Pad, Cloud… • 跨设备及云智能搜索 • 语音等多种输入方式 用例示意图 用户输入支持举例 3D Camera 项目实例 -- 项目开发团队 日本,印度 三方合作伙伴 6-7家 系统组件设计 图示 系统整体架构I 系统整体架构II 对架构设计的影响I -- 数据中心的设计 数据中心早期架构 数据中心碰到的问题 • 跨国网络引起的技术问题 • 来自法务的问题 • 来自安全部门的问题 数据中心最终方案 用户访问量对应的web架构 用户访问量 服务器架构 百万以下 单台或多台的简单架构,可以简单通过升级服务器 配置支持更多用户 增加Nginx(反向代理)或DNS负载均衡,redis内存 cache,数据库(Mysql)多台(数据在一个数据中心) 千万到亿 增加Web服务器内存缓存,集群,IP负载均衡,基于内 容请求分发,Mysql优化(如减少写,2/8原则),数据在 一个数据中心 亿以上 增加异地部署(建议核心点集中,其它节点分散开),较 难分割或核心数据在同一数据中心,其它分散到不 同的节点 对架构设计的影响II -- 数据库表设计 数据库表早期设计

分布式文件系统 BFS 集群调度系统 Galaxy 分布式协调服务 Nexus 分布式数据库 Tera 分布式计算框架 Shuttle Apps(Spider/Index/Search) 数据中心操作系统(DCOS) • 进程调度&内存管理 - Galaxy - 应用部署和任务调度 • 锁和信号量 - Nexus - 分布式锁 - 分布式通知 • 文件系统 - The Baidu 每一两天就坏一个 • 典型数据中心 - 过热：5分钟内数千台机器宕机 - 供电异常： 500~1000台机器突然消失 - 机架晃动： 几十台机器出现50%丢包 - 交换机故障： 几十台机器突然消失 - 磁盘、单机故障 • 通过冗余应对故障 一个典型的数据处理场景 数据处理模块 数据接收模块 存储 主 从 从 1. 写入 2. 通知 3. 读取 多副本冗余 一致性问题 • 怎么定义写成功

开源时间 2016.5 2018.6 配置实时推送 支持（HTTP长轮询1s内） 支持（HTTP长轮询1s内） 版本管理 自动管理 自动管理 配置回滚 支持 支持 权限管理 支持 待支持 多集群多环境 支持 支持 监听查询 支持 支持 多语言 Go,C++,Python,Java,.net,OpenAPI Python,Java,Nodejs,OpenAPI 分布式高可用最小集群数量 dubbo， service mesh等集成； • 配置中心与注册中心原生打通； 落地的改造和升级 Nacos Sync • 接入TARS注册服务 • 对接K8S注册服务 • 解决多数据中心环形同步 DNS-F • DNS-F 增加对外部域名的预缓存支持； • Agent监控数据对接公司内部监控； • 日志输出对接公司内部日志服务； • 对接公司CMDB； • DNS-F Cluster； Provider Fat SDK 订阅 xDS xDS 发布 接入Mesh应用 未接入Mesh应用 Nacos 订阅 发布 发布 • 基于开源Istio，对接Nacos实现服 务注册与发现 • 解决多技术栈复杂性 • 解决多语言Dubbo客户端功能差异问题 在闲鱼落地： Nacos支持Service Mesh方案 Nacos支持Service Mesh规划 Istio/Pilot Nacos

[Github ] https://github.com/apache?q=servicecomb 面对用户痛点持续创新 在同一个业 务领域的微 服务中使用 了多种不同 语言进行开 发部署 使能多微服 务技术栈开 发的微服务 应用之间协 同工作和共 同治理 使能满足第三 方认证被广泛 采纳的趋势下 认证鉴权的性 能和安全的要 求 帮助企业用 户达成业务 模型和数据 集成标准统 一 通过易于理 q=servicecomb Syncer是一个多服务中心的同步工具，对应用程序透明。专为大型微服务架构设计，实现不同的微服务技术栈实现的微服 务业务可以进行数据通信，未来可支持跨云的数据通信支持 • 项目地址：https://github.com/apache/servicecomb-service-center/tree/master/syncer Syncer - 融合异构、多服务中心的同步工具 gossip Register Discover Syncer Register Instances of other SC SERVICECENTER A • 开发计划 - 支持动态连接集群 - 支持跨数据中心能力 - 支持对接流行认证鉴权服务 [Website] http://servicecomb.apache.org [Github ] https://github.com/apache?q=servicecomb

基于Go语言的生 态积累 • 更好的稳定性和安 全性 • 易于开发扩展功能 • 代表：BFE， Traefik API网关 七层负载均衡 BFE主要设计思想 • 转发模型优化 • 支持多租户 • 引入条件表达式，减少正则表达式使用 • 降低动态配置加载的难度 • 区分“常规配置”和“动态配置” • 增强服务状态监控能力 • 向外展现大量内部的执行状态 • 将大存储功能转移到外部 req_cookie_value_prefix_in("deviceid", "x", false) Demo-D1 req_host_in(“www.c.com”) Demo-D 内网流量调度 • 使用场景 • 多数据中心 / 多容器云集群 • 内部服务故障 • 内部服务压力不均 健康检查 • 主动健康检查 • 负载均衡系统持续向RS发送探测请求 • 问题：在响应速度和发送压力间存在权衡 • 在分布式场景下问题更加明显

AsyncRestTemplate CompletableFuture 生态支持 Java 9支持 Spring Boot 2.0 支持 脚手架应用示例 服务中心 多数据中心支持 契约测试 微服务管理控制 开源配置中心 对接多监控系统 Service Mesh 多语言微服务支持 监控管理对接 微服务事务协调器 服务端高可用 管理控制台 同步异步事件支持 如何加入到ServiceComb社区

主键 倒排 业务快速增长 存储如何无限扩展？ 存储扩展 05. 业务数据已经超过1000万，海量数据下，如何实现冷热数据的交换 冷 热 新 系 统 历 史 数 据 冷数据、数据量多 缓存成本大、命中低、收益小 热 数 据 当前系统中的热点数据 命中率高 系 统 新 增 数 据 近期新增数据，较大概率命中 存储空间 缓存性能 冷热可交换，引擎可扩展 06. 冷 MemoryTile反序列化性能提升近10倍 基于MemoryTile的映射，特殊场景反序列化性能提升近600倍 主动式内存缓存框架 第三部分 技术全景图 01. 主动式内存缓存架构的技术全景图 数据中心、数据源 02. 分布式部署，解决海量数据的传输、加载 数据全量加载时，缓解数据库压力 链路优化 优化 协议 编码 空值剔除 数据存储、数据传输 带宽减少40% 2GB -> 1