QCon北京2018-业务高速发展下的互联网金融系统架构演变-张现双+不断的进行性能优化和系统架构升级。 从事过研发、运维、dba等工作,在应对互联网系统流 量、并发、安全、一致性问题等方面有一些经验。 翻译出版专著:《可伸缩架构:面向增长应用的高可用》 大纲� 01 宜人贷发展历程 02 移动后台架构演进 03 流量应对策略 04 关于监控 第一部分 宜人贷发展历程 宜人贷发展历程 2011.12 宜人贷成立 包打天下 DB Server PC WEB 容错性、稳定性差 技术债迅速积累 代码安全带来挑战 初始,� 效率优先 成长,移动后台旁路追赶 DB主 Server PC WEB AND/IOS/H5/Open 静态站 网贷服务 借款流程 Cache集群 安全加密 网贷服务 CDN 支付结算 订单 DB从 批 处 理 系 统 活动 DB主 DB从 CDN/页面缓存/静态站/缓存集群 移动后台旁路 流程double,冗余开始出现 移动后台单体 继续成长,瓶颈明显 后台日益庞大,业务冗余严重 N多业务排队上线,瓶颈明显 热点场景频发,影响单体稳定 2pizza团队,系统单体制约 商城 核心服务 业务 网贷 保险 基金 商城 财富圈 健康财富 加密 验签 拦截 校验 安全 性能 并发0 码力 | 42 页 | 19.96 MB | 1 年前3
降级预案在同程艺龙的工程实践-王俊翔ETCD ETCD 服务注册监听 降级控制中⼼心 元数据 TurboMQ 熔断降级监听 Application Application Application SDK 熔断降级接⼊入 Application Application Application SDK Application Application Application SDK 熔断 降级 流控 隔离 故障动态注⼊入 Attach 故障注⼊入 指标聚合查询 熔断降级计算(Flink) ⽇日志中⼼心 KAFKA 数据采集、计算、存储 指标(HBase) 指标明细(ES) 降级⽇日志(ES) ETL 指标计算(Flink) 脚本引擎 查 询 服 务 ⽇日志数据 指标(Redis) 业务异常数据快照(ES) 熔断降级通知 降级服务管理理 故障代码注⼊入 降级服务注册设计 center mysql sharding watch admin • 使⽤用ETCD实现注册中⼼心 • 简单 - Go语⾔言编写部署维护简单,定义良好的API • 安全 - SSL认证机制 • 快速 - ⽀支持上万次写⼊入操作 • 可信 - Raft算法保证强⼀一致性,Proxy反向代理理模式⽀支持 • 服务数据存储 • 应⽤用、服务元数据、状态数据,etcd、mysql双份存储 •0 码力 | 26 页 | 18.67 MB | 1 年前3
领域驱动设计&中台/可视化的遗留系统微服务改造Storming是⼀一种领域建模的实践,是⼀一种快速 探索复杂业务领域的⽅方法: - 最初由Alberto Brandolini 开发,经过DDD社区和 TW的很多团队实践验证后,于2015年年11⽉月进⼊入 ThoughtWorks技术雷雷达 ‣Powerful:可以让实践者在数⼩小时内理理解复杂的业务 模型 ‣Engaging:把带着问题的⼈人和拥有答案的⼈人共聚⼀一 堂构建模型 ‣Effi 什什么是命令? 为什什么⽤用命令? 如何进⾏行行命令⻛风暴暴? 命令:什什么活动产⽣生了了事件 例例1: 提交客户订单 例例2: 启动夜间对账 事件是业务上的输出,命令是业务 上的输⼊入。命令以及相应⻆角⾊色可以 明确最终软件系统会有哪些功能给 外界使⽤用。命令和事件将会在后续 的环节中指导API的设计。 1. 将命令写在蓝⾊色即时贴上,可以是 • ⽤用户从UI界⾯面进⾏行行的操作 这个领域模型是否可以独⽴立访问?如果是 就是聚合 • 如果不不能独⽴立访问应该需要通过哪个领域 模型来访问?当前领域模型就是与该可独 ⽴立访问的领域模型为同⼀一个聚合 2. 将命令贴在聚合的左⾯面,是聚合的输 ⼊入;事件贴到聚合的右⾯面,是聚合的输 出。 3. 再根据聚合的原则(下⼀一⻚页描述)来 检验上⾯面的划分结果是否匹配,如不不匹 配则基于划分原则并结合业务重新调整 聚合。 使⽤用聚合的⽬目的是封装业务的不不0 码力 | 54 页 | 3.85 MB | 1 年前3
微服务和Service Mesh 在多个行业落地实践Calico, OVS 存储 Ceph 滚动更新 弹性伸缩 日志中心 基础设施监控 开 发 集 群 测 试 集 群 生 产 集 群 API网关 (流量接入层) 路由 路由 插件 分流 流量 镜像 维护 开关 API 监控 认证 鉴权 治理 文档 报表 微服务框架 (服务治理) 服务 目录 注册 发现 限流 熔断 降级 容错 路由 某物流企业 www.163yun.com 线上 系统A API网关 (流量接入层) 路由 路由 插件 分流 流量 镜像 维护 开关 API 监控 认证 鉴权 治理 文档 报表 线上 系统B 预发 环境 新上 线服 务 99% 1% 灰度发布 A/B测试 流量镜像 测试预发 新上服务 定时开关 接口文档统一维护 文档与运行时一致 文档与运行时一致 减少调用沟通成本 可自行定制:路由插件,可开发插件拦截请求,进行定制化 API网关负责流量接入 www.163yun.com 微服务框架 (服务治理) 服务 目录 注册 发现 限流 熔断 降级 容错 路由 负载 均衡 参数 分流 拓扑 依赖 配置 中心 服务 监控 服务 告警 认证 鉴权 统计 概览 知识 库 服务 告警0 码力 | 39 页 | 3.06 MB | 1 年前3
领域驱动设计&中台/淘宝应用架构升级——反应式架构的探索与实践资源利利⽤用率 应⽤用本身的解决⽅方案? 并⾏行行度有限 • ⽆无法纯业务依赖并发 • 微服务化让问题更更凸 显 • RT 累积 RT 与 ⽤用户增⻓长 RT 累积带来成本 • 过早引⼊入 cache • 每个服务都在设置超 时 维护成本、业务实现复 杂化 天⽣生异步的架构 流 Stream / Flow / Flux 什什么是流 • ⼀一个流是顺序串串⾏行行执⾏行行的 Github 上 RxJava Star 36k+, Java 语⾔言 Star No.2 项⽬目 业界拥抱 Reactive 理理念 * Reactive Stream 已经转正 已经纳⼊入在 Java 9 的 java.util.concurrent.Flow 中 * Spring5 、Spring Boot 2 拥抱 Reactive github 11⽉月份数据 CONTENTS 已有集成,或集成成本低 5. DB(JDBC)(Block) * ⽤用 Ali JVM协程 异步集成 * 或⽤用线程池异步集成 6. 限流组件 7. 分布式跟踪系统 解决业务异步/回调 引⼊入的 上下⽂文传递 问题 8. iOS Objective-C 的 Rx 框架 实现 AliRxObjC (会开源) 业务实施 1. 先⾯面向应⽤用级升级 * 应⽤用实施升级0 码力 | 27 页 | 1.13 MB | 1 年前3
刘道平-从0到1,移动政务应用小程序系统架构演化小程序? 对比项 微信小程序 政务APP 统一身份认证 无需注册直接登录,提供活体检测、人脸核身 需要注册,使用密码和手机盾认证 推广传播 下载成本低、通过微信裂变传播 下载成本高、推广难、占流量、占内存 开发成本 只需开发一套,组件丰富 每个端都得开发,标准化组件少 版本更新 无感知,轻量级更新 更新麻烦,审核周期长 服务触达 利用微信载体,消息通知更简单 APP消息,打扰多,用户遗漏概率大 APP消息,打扰多,用户遗漏概率大 拓展性 程序包小,可以关联调转 无大小限制,调转较难 智能化服务能力 微信自带组件,对接更容易 需根据场景单独对接,如人脸识别、支付等 产品自主性 需依托微信平台 完全自主可控 数据安全性 微信前端数据通过HTTPS传输 全业务流程数据传输监控 使用路径 微信端二级应用 一级入口 从技术的角度来比对,小程序和APP各具优势:小程序具备轻量级、跨平台、成本低、功能强和易传播的特征; •从功能导航为中心,转变以个人为中心 •不再按横向具体部门和纵向省、市、县层级设计,用户感受到的是一个不分部 门、不分层级的整体型政府。统一页面设计、统一使用体验 •充分发挥微信平台用户使用高粘度及流量优势,聚焦高频民生服务。 •三大板块:电子证照 ,高频服务, 专题、不同群体服务 ---- 参考《【To G设计赋能】重塑政务服务体验设计初探:粤省事小程序设计总结》 http://www.woshipm0 码力 | 35 页 | 15.60 MB | 1 年前3
全球架构师峰会2019北京/量子计算/量子计算及其潜在应用&mdash“专用”量子计算机 “通用”量子计算机 主要应用 量子系统仿真 量子化学 组合优化 机器学习 大数分解 数据库搜 索 量子动力学 量子人工智 能 影响领域 学术界 制药、能源、材料、物流、网络等 电信、网络安全、大数据、金融、医药等 核心算法 Analog Sim VQE 量子退火/QAOA QNN Shor Grover Suzuki- Trotter HHL 关键技术 硬件调控 量子+经典计算混合架构、量子调控 程模式 推出 mapper功 能 开放 HiQ 源码到 公开平台 提供噪声模拟选项 增加哈密顿量期望 值的分布式模拟计 算模块 推出基于张量网络的 全概率模拟器 HiQ Fermion: 一站式量子化学模拟计算 量子化学模拟:量子计算机的杀手级应用 量子化学是应用量子力学原理 来研究化学问题的一门学科, 包括分子结构、分子与分子之 间的相互作用、碰撞和化学反 应等问题。 1. 华为HiQ Fermion: 一站式量子化学模拟计算解决方案 核心技术体现 HiQ Fermion 是针对近期NISQ量子器件的杀手级应用量子化学模拟开 发的一套软件包。它包括数据结构和工具用以获取和操作费米子哈密 顿量、并将之转化为量子-经典混合架构可以实现的量子态制备、演化 和测量、以及优化参数更新等全套工具。HiQ Fermion 可以在华为云 上提供一站式量子化学模拟解决方案。 10 码力 | 34 页 | 5.57 MB | 1 年前3
QCon北京2018-《美团配送系统架构演进实践》-阴永俊快速 放心 省钱 销量 品牌 信赖 收入 稳定 安全 SLA更高 业务复杂性高 • 用户:花了钱却饿着肚子 • 商家:出了餐却无人配送 • 骑手:投入的时间、劳动却少赚了钱 • 多业务线的共性与差异:专送、代理、众包⋯ • 运营复杂度高:定义科学的订单供给与运力结构,并精准调控 • 安全管理:用户安全、商家安全、骑手安全 履约SLA要求高,重线下业务运营 配送系统的技术定位与思路 任务系统 骑手运营 (人) 任务 活动 等级 结算平台 (钱) 清算 结算 对账 接单网关 标准API 容灾 容灾 API管理 标准API APP运维 多链路 安全框架 管理工作台 HRM 移动办公 招募 IM 物料 薪资 培训 成长 快速起量,系统质量、研发效率问题凸显 合同 骑手网关 规模化阶段:核心领域细分 主数据平台 (核心模型) 任务系统 骑手运营 (人) 任务 活动 等级 结算平台 (钱) 清算 结算 对账 接单网关 标准API 容灾 容灾 API管理 标准API APP运维 多链路 安全框架 管理工作台 HRM 移动办公 招募 IM 物料 薪资 培训 成长 快速起量,系统质量、研发效率问题凸显 合同 履约系统 • 如何解耦用户侧与骑手侧 • 调度系统如何设计0 码力 | 31 页 | 15.26 MB | 1 年前3
ServiceComb 开源微服务框架技术演进之路 巨震Istio Apollo Huawei CSE 拥抱Istio开源生态 • Envoy Sidecar替换方案 • Go SDK接入Istio • 网络代理替代Iptables流量劫持 • Handler chain接入不同生态,不依赖Mixer Istio Pilot Proxy SDK Discovery Config xDS API Server 支持多语言、传统微服务和新兴ServiceMesh微服务 架构混合场景部署 • 有大型成功商用案例 • 无商业强绑定,高自由度,企业自主可控 • 完整的生态栈,涵盖开源主流微服务运维和安全领域 • 低学习成本,有编程语言基础即可快速上手 华为开源 ServiceMesh方案 Mesher ServiceCenter Java-chassis ServiceComb0 码力 | 20 页 | 861.58 KB | 1 年前3
分布式异地多活架构实践之路专线费用高; 专线不稳定 跨机房专线问题 依赖小服务,有一 定改造成本; 依赖外部服务 服务依赖问题 减少对业务开发影响; 需要封装屏蔽细节 业务开发影响 如何精准调度; 如何合理调度 流量调度 存储系统自带同步 不成熟; 自研组件之间同步 数据同步 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法异地多活解决方案 • 实际应用效果 • 未来规划 混合模式 (多点写,单点读, 单点写,多点读) 非核心业务 老版本兼容服务、运营活动、配置、管 理平台、官网、论坛等 N/A 本地模式 (单点读写) 设计思路 核心业务异地多活 精准流量调度 数据同步 多元化 最终一致性 依赖关系优化 配套系统支撑 主 从 多 主 汇 聚 混 合 场景区分 封装屏蔽细节 容量合理规划 当前总体架构 合肥 北京 广州 HTTPDNS 法快速容灾 精准流量调度-全局 HTTPDNS LocalDNS 智能DNS 合肥IDC 北京IDC 广州IDC 弱依赖,可控 SDK封装: 重点域名预解析 缓存域名解析结果(sp、 wifi名) 出错或快过期异步解析 合法IP动态下发 IP请求结果统计 多级兜底容错 解析IP合法,IP请求 解析IP不合法,固定IP请求 GSLB HTTPDNS 精准流量调度-用户 智能DNS0 码力 | 36 页 | 1.66 MB | 1 年前3
共 29 条
- 1
- 2
- 3













