大型Web项目可用性提升 零脚本错误的实战 郭林烁 2017.100 码力 | 62 页 | 7.09 MB | 1 年前3
QCon北京2018-《美团配送系统架构演进实践》-阴永俊UU跑腿 海内外掀起一波创业浪潮 美团配送系统:机器与海量骑手协作,服务于全国商家与用户 履约能力 实现平台对运单调度的实时把控,对运单与运力的供需匹配 运营效率 加强对配送骑手的管控能力 提升配送全业务的运营效率,降低成本 履约流程:下单 -> 派单 -> 接单 -> 取货 -> 送达… 业务团队:招聘、采购、物料、培训、薪酬、保险.... 运营团队:运力结构、经营分析、绩效考核. 整体需要思考的关键问题 • 整体系统架构应该如何演化 • 履约系统与运营系统的边界在哪里 • 履约系统面临的问题 • 如何保证可用性 • 如何保证系统容量 • 如何提升计算能力 • 运营系统面临的问题 • 提升运营系统迭代效率 骑手网关 规模化阶段:核心领域细分 主数据平台 (核心模型) 账号权限 组织架构 核心数据模型 配送服务 配送运力 ⋯ 订单中心 (送什么) 品类 培训 成长 快速起量,系统质量、研发效率问题凸显 合同 运营系统 • 需求长期多而杂,运营系统到底应该管什么 • 科学设定目标并达成的能力 • 各类管理动作的效率提升与结果保证 • 定义科学的运力结构 • 提升物质激励效果 骑手网关 规模化阶段:核心领域细分 主数据平台 (核心模型) 账号权限 组织架构 核心数据模型 配送服务 配送运力 ⋯ 订单中心 (送什么) 品类0 码力 | 31 页 | 15.26 MB | 1 年前3
分布式 KV 存储系统 Cellar 演进之路存储系统研发 有多年分布式存储研发经验 个人简介 • Cellar起源 • 中心节点架构演进 • 节点高可用和异地容灾 • 服务可用性提升 • Cellar规划 目录 • Cellar起源 • 中心节点架构演进 • 节点高可用和异地容灾 • 服务可用性提升 • Cellar规划 目录 Cellar,英文原意是酒窖,项目取名Cellar,一方面借用其储藏 之意,同时,也希望使用Cellar的用户,可以像用酒窖藏酒一样,越 Cellar起源—Tair问题 Cellar起源 架构升级 性能优化 可用性优 化 可运维性 Cellar 开源 Tair • Cellar起源 • 中心节点架构演进 • 节点高可用和异地容灾 • 服务可用性提升 • Cellar规划 目录 Cellar—中心节点架构演进 • 性能问题 客户端集中获取路由表 • 隔离性问题 中心节点暴露给客户端 单独的路由表获取模块 Cellar—中心节点架构演进 元数据Zookeeper存储 Cellar—中心节点架构演进 一致性: • 主备强一致 • observer同步强一致 • Cellar起源 • 中心节点架构演进 • 节点高可用和异地容灾 • 服务可用性提升 • Cellar规划 目录 存储节点Failover,越快越好? • 数据补全对业务影响 • 机器宕机五分钟,数据补全两小时 节点升级,先切走流量再操作? • 节点流量只能切到有其他副本的节点0 码力 | 34 页 | 1.66 MB | 1 年前3
全球架构师峰会2019北京/量子计算/量子计算及其潜在应用&mdash量子-经典混合计算 随着量子工艺和调控技术的进步,“可用”量子 比特数在短期内将达到50-100个,量子-经典混 合计算是发挥其应用潜力的最重要途径之一! 华为量子计算云服务2.0,功能和性能全面大幅提升 量子应用 量子算法库 量子编程框架 量子控制 量子芯片 模拟器 化学模拟 组合优化 人工智能 模拟算法 优化算法 学习算法 编程语言 编译器 资源管理 资源调度 量子纠错 控制脉冲 基于多种新型算法和技术实现量子优化控制算法性能数倍提升 2: 自研新型量子优化控制算法适应更广泛的应用场景 HiQ Pulse Control pulse library Utils GUI Optimal algorithm library 华为HiQ Pulse: 全面的云上脉冲设计平台方案 品质 基于开环和闭环控制,改进优化算法,性能大幅提升 量子优化控制算法 品质 采用HiQ Pulse算法库优化单比特量子门操作, 布洛赫球上展示量子态的演化过程 HiQ Simulator + Framework 华为HiQ simulator + HiQ framework: 持续提升完善用户编程体验 业界领先的单振幅模拟器相 较于HiQ 1.0 性能提升8X以上 新增高性能多振幅模拟器, 性能全面领先 全新设计IDE界面 上线BlockUI编程模式 让量子编程更简单 联合业界打造最强量子平台 托管HiQ源码和技术文档到开0 码力 | 34 页 | 5.57 MB | 1 年前3
领域驱动设计&中台/淘宝应用架构升级——反应式架构的探索与实践CONTENTS 01 架构升级的效果 02 架构升级的思考 03 架构升级的实践 架构升级的效果 我的淘宝 · RT 降低 40%+ · QPS 提升 30% 猜你喜欢 · QPS 提升 90%+ · LOAD下降 70%+ 到底是怎样的架构升级 能达到这种效果? CONTENTS 01 架构升级的效果 02 架构升级的思考 03 线程池设置⼊入⼝口,由应⽤用架构统⼀一管控 • 整个应⽤用 CPU数个业务线程 • 涉及线程池:EventLoop / Provider / Consumer / 阻塞操作 的线程池 • 进⼀一步提升性能 •阻塞检测(异步配套):提早发现问题,降低全异步升级成本和⻛风险 • 基于 基础软件 AliJDK(JVM团队) 提供JVM级API的阻塞点检测(业界领先) • 基于 ⾮非阻塞的任务(计算线程)的执⾏行行时⻓长0 码力 | 27 页 | 1.13 MB | 1 年前3
大规模分布式系统架构下调测能力构建之道餐开户、基金业 务中的基金购买等,手工制作这些mock数据费时费力。通过对线上(一般是测试环境)实际服务调用的真实数据的抓 取来制作mock数据能非常有效的降低Mock数据制作的工作量,同时还能提升Mock数据的质量。 1.定制现网数据抓取过滤器 2.定制抓取时间段 3.定制抓取数量 4.一服务一文件 5.一请求一记录 服务容器(Provider) Consumer Consumer 数据库。 2.预置数据独立管理,并通过测试框架提供预置数据前置导入及后置清除能力。 逻辑上支持“租户”隔离模式的分布式服务一般对多团队并行开发/调测的支持较好,分布式环境下,一般不会成为工程效率提升 的瓶颈。针对这类服务,不用急于构建其Mock服务,可以根据其特性,寻找成本较低的实现途径。 分布式文件/对象存储 Tom/assets/product/… John/assets/product/… Mock+线上服务 图例 项目初始 项目进行中 项目终结 mock 直连调测 线上服务 项目各个阶段灵活组合使用各调测手段 总结 介绍了分布式环境下开发调测所遇到的各种效率问题 分布式环境下工程效率提升的应对之道 远程应用服务采用服务mock+直连调测 通过契约测试保障mock数据及协议的可靠性 分布式消息服务的mock实践 分布式缓存的mock实践 分布式存储(File+DB)的“逻辑”隔离策略0 码力 | 19 页 | 2.74 MB | 1 年前3
从百度文件系统看大型分布式系统设计中的定式与创新CA->CAD/CAL • 多数情况下我们更重视可用性 - CAD->CD • 一致性与延迟的折衷 - 要求强一致的, 容忍延迟 - 要求低延迟的, 选择最终一致 提升系统扩展性 • 架构的可扩展性 - 拆分元数据节点 - 引入MetaServer 提升系统扩展性 • 设计的可扩展性 - 保证在规模扩大5倍或10倍是正常工作 • BFS避免了过渡设计 - 用设计中的不可扩展达到最大的可扩展 •0 码力 | 24 页 | 937.45 KB | 1 年前3
QCon北京2018-业务高速发展下的互联网金融系统架构演变-张现双+移动服务C 接入层/GW 服务A 2 1 移动服务C 接入层 服务A 1 2 措施:优化链路[合并.重组.丢弃] before� after 收益: 优化组合流程8条,效率提升 单点得到弱化 丢弃僵尸接口36个(版本覆盖率) 挑战: 接口管理带来挑战 链路追踪趋于复杂 "� "� 丢弃 移动服务�C� 接入层/gw� 优秀的系统=� 适应性架构设计(指导)+超强工程能力(落地) 03 04 技术要紧贴业务,接地气 技术是手段而不是目的,生产力适应生产关系,技术业务相互促进共同发展 安于现状=走下坡路 提升团队整体工程能力,前瞻性改造 Thanks�0 码力 | 42 页 | 19.96 MB | 1 年前3
唯品会调度系统的前世今生容器化架构 我们的经典例子 图片扫描(侵权),格式/大小转换 女大须嫁 弹性调度系统开源版本 开源的目的 利用社区的力量,提升 产品的稳定性、可靠性, 进而降低产品的开发、 维护等成本 减少维护成本 增强公司在技术领域的 品牌影响力,吸引更优 秀人才加入 提升技术品牌 目前已经开源的类似功 能的产品的功能性、实 用性、规模性都比 Saturn有很大差距 填补开源业界空白 内外代码管理策略0 码力 | 58 页 | 5.40 MB | 1 年前3
降级预案在同程艺龙的工程实践-王俊翔消息队列列 ⽀支付通知 交易易中台 ⽀支付时限任务 出票处理理 队列列故障 已⽀支付订单被取消 ⽀支付超时 订单取消 缺乏降级设计 稳定性之路路到底有多远 如何设计⾯面向容错的系统,如何提升系统的可⽤用性 强弱依赖 • 弱依赖 - 熔断限流,有损服务 • 强依赖 - 备选服务,降级实现 什什么是强弱依赖,如何确定强弱依赖 • ⽤用户是否强烈烈感知 • 核⼼心业务是否有损 参数修正,及时调整流控、降级策略略,优化告警、超时参数设置 • 模拟线上故障,进⾏行行故障复现,验证故障后续的处理理措施是否⾏行行之有效 • 以战养兵,历练团队,让⼯工程师有更更多机会积累经验,提升应对故障的能⼒力力 常态化的故障演练对系统进⾏行行反复验证 系统设计 Agent Core Custom Code Model Burn CPU Servlet Module0 码力 | 26 页 | 18.67 MB | 1 年前3
共 18 条
- 1
- 2













