讯飞输入法异地多活架构实践之路 凌 军 自我介绍 • 凌军 • 2010年加入科大讯飞 • 讯飞输入法、灵犀语音助手等产品服务端架构负责人 • 科大讯飞消费者BG基础平台架构负责人 产品介绍 • 稳居国内输入法第一阵营 • 2010-10~至今 • 4亿用户 • 1.1亿月活 来自：中国科学院《互联网周刊》 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些挑战 • • 讯飞输入法异地多活解决方案 • 实际应用效果 • 未来规划 单机房遇到的问题 可用性低 响应时间慢 系统扩容难 可用性低 响应时间慢 系统扩容难 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法解决方案 • 实际应用效果 • 后续规划 技术挑战 几十毫秒的延迟； 跨机房性能较慢 机房天然延迟 专线费用高； 专线不稳定 跨机房专线问题 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法异地多活解决方案 • 实际应用效果 • 未来规划 业务特点分析 业务分类 业务举例 业务特点 场景归类 核心业务 皮肤、表情、资源、广告、应用墙译等 读多写少 主从模式 （单点写，多点读） 用户个性化数据同步、账号等 读写均衡 多主模式 （多点读写） 分布式日志收集等 写多读少 汇聚模式 （多点写，单点读）

Contract Correlation IDs Chaos Monkey incremental change “架构量量⼦子（architectural quantum）”是⼀一个可独 ⽴立变化并部署的单元组件，其具有⾼高功能内聚性， 包含⼀一个系统正常⼯工作所需的所有结构要素。 Checkout component component component database component component component component microservice container ⼤大泥泥球 ⼤大量量⼦子尺⼨寸的应⽤用阻碍频 繁增量量变更更，因为⾼高耦合 性需要⼀一次部署⼤大量量代码、 ⼤大量量的应⽤用。 单例例架构 ⾮非结构的单例例架构 user interface Class Class Class Class Class Class Class 研发学习成本 企业研发⼯工具链⽣生态 敏敏捷协作平台 部署发布 平台 持续交付流⽔水线平台 ⾃自动测试 平台 微服务系统设计，研发与运维管理理 微服务 /API设 计 代码 ⽣生成 契约 服务 架构 演进 微服务 运维治 理理 部署架 构 设计 统⼀一协作平台 研发⼯工具连 为某企业做的微服务平台规划 部署架构设计 服务 契约 定义 契约 代码 评审

新技术的应用 目录 关于极光 36.9 万 开发者 107.6 万 APP 198 亿 移动终端 10.4 亿 月独立 活跃设备 90 % 覆盖率 亿级长连接用户 SDK多版本并存 消息实时性 触达率要求 移动网络环境复杂性 海量用户数据存储 消息推送系统面临的挑战 极光推送服务架构 系统通道 API 用户筛选 用户分发 推送通道 极光通道 共享通道 极光推送后台系统架构 02 01 06 03 07 05 04 08 模块化 异步化 并行化 缓存化 程序及系统优化 基础组件服务化 链接管理 系统安全 09 新技术的应用——K8S部署业务 模块化 • 模块业务逻辑All In导致相互影响，更新升级难度大 • 功能按照业务拆分解耦 • 数据和业务分离 • 快速迭代 • 模块间通过MQ/RPC交互 极光推送后台系统架构 • IDC数据同步 • 异步RPC • ICE - 负载均衡，AMI，AMD，多线程 极光推送后台系统架构 02 并行化 • 横向扩展处理能力 • 数据分片存储 • 多节点+分片+多副本架构 • 数据读写动态路由 • 请求并行处理 • 模块级别并行 • 代码级别并行 极光推送后台系统架构 03 MQ Segment OnlineMsg OnlineMsg OnlineMsg

www.163yun.com 设计要点十一：全链路监控 www.163yun.com 设计要点十二：全链路压测 www.163yun.com 微服务平台总览 容器平台 (多集群基础设施) Pod & Deployment 网络 Calico, OVS 存储 Ceph 滚动更新 弹性伸缩 日志中心 基础设施监控 开 发 集 群 测 试 集 注册发现 服务管理 www.163yun.com 开发集群 测试集群 CICD (开发流程管理) 流水线管理 代码 检出 代码 编译 镜像 构建 集成 测试 部署 测试平台 (集成，场景测试) 单接口 用例 场景 用例 执行 集 定时 执行 接口 Mock 覆盖 率 生产镜像 仓库 测试镜像 仓库 历史 管理 批量 手 动 触 发 代码到线上全流程管理 互联网化接口测试，场景测试 灵活执行集：冒烟，日常，回归 定时测试，MOCK测试 测试，生产镜像仓库分离，自 动同步 开发测试环境自动部署，生产 环境手动触发 持续集成 www.163yun.com 微服务框架 (服务治理) 服务 目录 注册 发现 限流 熔断 降级 容错 路由 负载 均衡 参数 分流

五、政务服务系统架构小结与思考 4、一个特殊的移动政务应用项目 3 资源少：初期团队人员少、 业务推动阻力大 1 时间紧： 1月启动，5月上线 2 目标高：高频便民服务、 突出改革亮点，迎接大领 导视察 4 需求多：公积金、社 保、出入境、交管等， 服务很多，需要梳理 目录 一、移动政务应用服务现状与痛点 二、一个特殊的移动政务应用项目 三、政务服务小程序平台研发过程 四、政务服务小程序平台架构演化 下载成本高、推广难、占流量、占内存 开发成本 只需开发一套，组件丰富 每个端都得开发，标准化组件少 版本更新 无感知，轻量级更新 更新麻烦，审核周期长 服务触达 利用微信载体，消息通知更简单 APP消息，打扰多，用户遗漏概率大 拓展性 程序包小，可以关联调转 无大小限制，调转较难 智能化服务能力 微信自带组件，对接更容易 需根据场景单独对接，如人脸识别、支付等 产品自主性 需依托微信平台 完全自主可控 来保证一致性。 2.后台服务采用Go开发，围绕业务功能需求，构建后台服务模块 包括个人中心、服务、待办服务、证照服务、公共服务、外部能力、业务办理服务和运营管理服务模块 12、系统部署架构反复评审论证 一、部署架构 1、政务云电子政务外网 ：数据库、应用服务 2、政务云互联网区：静态资源、网关 3、互联网区：小程序、云服务 二、安全防护 1、仅开放指定端口 80 443 2、域名须有HTTPS证书

独立应用模块 • 通信：协议、队列 • SDK引用 • 通信：http、 RPC… • 服务治理 • 透明代理 • 通信：通用协议 • 服务治理 • Cloud Native部署 ServiceComb 一个基于SDK的“传统”微服务框架 Service Center service Java chassis Config Center service Service Discovery Instance Cache Management Service Center Istio Kubernetes Service Center 多协议支持 HTTP gRPC Other protocols invocation Handler Chain Rate Limiting Load Balancing myns sidecar-injector=enabled 用户案例 原则 • 架构稳定，有可持续发展、演进能力 • 支持多语言、传统微服务和新兴ServiceMesh微服务 架构混合场景部署 • 有大型成功商用案例 • 无商业强绑定，高自由度，企业自主可控 • 完整的生态栈，涵盖开源主流微服务运维和安全领域 • 低学习成本，有编程语言基础即可快速上手 华为开源 ServiceMesh方案

耗时类（交易总时长、分段时长、SQL耗时、代码耗时） 统计类（订单量异常预警、非法IP预警、交易额过大） 网络异常（单通道和多通道、不同的分布场景） 撒网与实时监控 REAL-TIME MONITORING 可视化运营 VISUAL OPERATION 优先恢复 蓝绿部署 提前准备 服务降级 kill 慢SQL、摘节点、线 程栈和内存堆现场保留 反 向 代 理 反 向 代 理 APP1 和第三方接口交互，需要考虑设置合适的work线程符合第三方并发数量限制 二 安全规范 1.页面请求参数严格限制或者校验处理，防止SQL注入 2.页面URL请求做细粒度的权限拦截，防止访问权限过大 3.部署在公网的应用做好防止XSS攻击的防范措施 4.和第三方系统交互需要互加白名单确保安全 5.系统全站提供HTTPS服务 6.和第三方系统交互报文需要加密传输 7.用户敏感数据做数据脱敏 8.预防页面被频繁请求，占用系统资源 随着业务量的增加，考虑功能拆分和数据库表拆分，除此支付系统建议按照通道 拆分，不同的通道指定独立的work线程，分而治之，避免相互之间影响；提高并发的一个思路就是拆分， 拆分后通过异步提高并发效率 金融系统最大的成功是部署了一套可靠的、稳定的解决方案， 而不是什么新奇的东西。

降级操作 请求合并 请求缓存 实践过程中遇到的问题 • 业务改造成本⾼高，代码耦合，维护成本增⾼高 • 固化策略略，需线下修改代码，测试，发布，线上应急策略略响应不不 友好 • ⽆无法⽀支撑多系统的复合指标计算，业务降级⽀支持不不友好 • ⼤大量量应⽤用各⾃自实现降级熔断，代码散落在各应⽤用，没有统⼀一的管 理理和治理理。久⽽而久之，⽆无⼈人知道系统内有多少降级点，降级是如 何实现的 service metadata degrade strategy center mysql sharding watch admin • 使⽤用ETCD实现注册中⼼心 • 简单 - Go语⾔言编写部署维护简单，定义良好的API • 安全 - SSL认证机制 • 快速 - ⽀支持上万次写⼊入操作 • 可信 - Raft算法保证强⼀一致性，Proxy反向代理理模式⽀支持 • 服务数据存储 • JVM内存 JVM线程 GC数据 业务数据 SDK数据 ⾃自定义数据 数据通道（⻓长链接单通道） 数据采集 Proxy • 单⼯工直连数据通道 • ⻓长链接，数据流⽅方式实时发送 • 本地多队列列轮循，数据缓冲，合并异步发送 指标如何计算处理理 数据采集 KAFKA ETL 复合指标 ⾃自定义指标 系统指标 业务指标 指标脚本计算 指标规则计算 指标脚本 规则表达式 熔断

客户需求, 用户体验… • 要求不同: 各国法律法规(版权,协议,第三方,accessibility), 安全性和隐私… • 地域不同: 服务器的部署, 用户的访问, 组织架构, 团队沟通… 项目实例 -- XA项目背景及需求 • 多设备协作 PC, Mobile, Pad, Cloud… • 跨设备及云智能搜索 • 语音等多种输入方式 用例示意图 用户输入支持举例 3D Camera 数据库(Mysql)多台(数据在一个数据中心) 千万到亿 增加Web服务器内存缓存,集群,IP负载均衡,基于内 容请求分发,Mysql优化(如减少写,2/8原则),数据在 一个数据中心 亿以上 增加异地部署(建议核心点集中,其它节点分散开),较 难分割或核心数据在同一数据中心,其它分散到不 同的节点 对架构设计的影响II -- 数据库表设计 数据库表早期设计 ID ... Type Name Size

分布式系统设计实践 • 总结与致谢 百度的集群环境 • 单个集群通常几千台机器 • 百度文件系统(BFS)、集群调度系统（Galaxy）、分布式协 调服务（Nexus）是核心服务 • 实时任务与批量任务混合部署 Galaxy master BFS master Nexus lock service 分布式软件栈中的BFS The Baidu Stack 网络通信框架Sofa-pbrpc 分布式文件系统 分布式数据库 Tera 分布式计算框架 Shuttle Apps(Spider/Index/Search) 数据中心操作系统(DCOS) • 进程调度&内存管理 - Galaxy - 应用部署和任务调度 • 锁和信号量 - Nexus - 分布式锁 - 分布式通知 • 文件系统 - The Baidu File System - 持久化存储 百度文件系统架构 设计一个分布式系统要考虑的 交换机故障： 几十台机器突然消失 - 磁盘、单机故障 • 通过冗余应对故障 一个典型的数据处理场景 数据处理模块 数据接收模块 存储 主 从 从 1. 写入 2. 通知 3. 读取 多副本冗余 一致性问题 • 怎么定义写成功 - 3副本成功, 影响可用性 • 可以读从节点 - 刚写入的读不到 - 不一致 • 只允许读主节点 - 扩展性受限 数据处理模块 数据接收模块