 从百度文件系统看大型分布式系统设计中的定式与创新容忍性 • 分布式系统 - 容忍网络隔离是必须的 - CP、AP Quorum机制 • Quorum写(NWR) - Write 写成功W副本 - Read 读R副本 - W+R>N,就不会丢失更新 • 一致性协议 - Paxos - Raft CAP到CAD的演变 • 必须容忍网络隔离 - CAP->CA • 跨地域的延迟 - CA->CAD/CAL • 多数情况下我们更重视可用性0 码力 | 24 页 | 937.45 KB | 1 年前3 从百度文件系统看大型分布式系统设计中的定式与创新容忍性 • 分布式系统 - 容忍网络隔离是必须的 - CP、AP Quorum机制 • Quorum写(NWR) - Write 写成功W副本 - Read 读R副本 - W+R>N,就不会丢失更新 • 一致性协议 - Paxos - Raft CAP到CAD的演变 • 必须容忍网络隔离 - CAP->CA • 跨地域的延迟 - CA->CAD/CAL • 多数情况下我们更重视可用性0 码力 | 24 页 | 937.45 KB | 1 年前3
 QCon北京2018-业务高速发展下的互联网金融系统架构演变-张现双+-------Joe Armstrong 关键点 分而治之,缩小竞争面 加速资源交换,更快响应 共享资源串行操作 数据一致性(脏读,丢失更新等) 业务纵向拆分,化整为零 资源拆分,横向扩展 cache,index,partition parallel non-blocking sync、lock,cas 额度、库存、积分、优惠券…0 码力 | 42 页 | 19.96 MB | 1 年前3 QCon北京2018-业务高速发展下的互联网金融系统架构演变-张现双+-------Joe Armstrong 关键点 分而治之,缩小竞争面 加速资源交换,更快响应 共享资源串行操作 数据一致性(脏读,丢失更新等) 业务纵向拆分,化整为零 资源拆分,横向扩展 cache,index,partition parallel non-blocking sync、lock,cas 额度、库存、积分、优惠券…0 码力 | 42 页 | 19.96 MB | 1 年前3
 领域驱动设计&中台/如何让DDD落地软件中最痛苦的就是需求经常发⽣生变化,这也是DDD想要解 决的问题之⼀一, 03 当需求发⽣生变化时 为什什么需求会变化? 需求提出者不不⼀一定想好了了 需求提出者的问题变化了了 沟通过程信息丢失 需要增加⼀一些业务逻辑时 3.创建订单服务收到命令后,会把创建订单命令转换成订单,然后调⽤用订单仓库进⾏行行 保存,保存成功后会让事件发布器器发布订单已创建事件 4.事件发布器器会根据事件类0 码力 | 32 页 | 3.25 MB | 1 年前3 领域驱动设计&中台/如何让DDD落地软件中最痛苦的就是需求经常发⽣生变化,这也是DDD想要解 决的问题之⼀一, 03 当需求发⽣生变化时 为什什么需求会变化? 需求提出者不不⼀一定想好了了 需求提出者的问题变化了了 沟通过程信息丢失 需要增加⼀一些业务逻辑时 3.创建订单服务收到命令后,会把创建订单命令转换成订单,然后调⽤用订单仓库进⾏行行 保存,保存成功后会让事件发布器器发布订单已创建事件 4.事件发布器器会根据事件类0 码力 | 32 页 | 3.25 MB | 1 年前3
 唯品会调度系统的前世今生内部集成 – 认证与授权 内部集成 – 命名空间管理CMDB 内部集成 – 监控系统/调用链 内部集成 – 流程管理 内部集成 – 容器管理 婆媳关系 那些年我们踩过的坑 坑1-ZK事件丢失 Curator-client-A Client-B Add data change listener for PathA Set PathA=1 Set PathA=0 Event notify0 码力 | 58 页 | 5.40 MB | 1 年前3 唯品会调度系统的前世今生内部集成 – 认证与授权 内部集成 – 命名空间管理CMDB 内部集成 – 监控系统/调用链 内部集成 – 流程管理 内部集成 – 容器管理 婆媳关系 那些年我们踩过的坑 坑1-ZK事件丢失 Curator-client-A Client-B Add data change listener for PathA Set PathA=1 Set PathA=0 Event notify0 码力 | 58 页 | 5.40 MB | 1 年前3
 数字货币交易系统架构 Python实现 黄毅撮合 trades = book.match(order) # 更新资金余额 update_user_fund(trades) # 记录成交历史 save_trade(trades) # 更新订单状态 save_order(order, trades) # 更新K线 update_kline(trades) # 推送用户信息变更 交易系统架构设计-redis stream • Kafka-like • 一个订阅者的情况,消息有序 • Consumer group负载均衡(不保证消息顺序) • 可以批量处理消息 • 在同一个事务中存储处理结果和更新消费offset $ redis-cli > xread block 60 count 100000 streams b{btc_usdt}o offset … 交易系统架构设计-异步任务 def0 码力 | 24 页 | 799.65 KB | 1 年前3 数字货币交易系统架构 Python实现 黄毅撮合 trades = book.match(order) # 更新资金余额 update_user_fund(trades) # 记录成交历史 save_trade(trades) # 更新订单状态 save_order(order, trades) # 更新K线 update_kline(trades) # 推送用户信息变更 交易系统架构设计-redis stream • Kafka-like • 一个订阅者的情况,消息有序 • Consumer group负载均衡(不保证消息顺序) • 可以批量处理消息 • 在同一个事务中存储处理结果和更新消费offset $ redis-cli > xread block 60 count 100000 streams b{btc_usdt}o offset … 交易系统架构设计-异步任务 def0 码力 | 24 页 | 799.65 KB | 1 年前3
 美团点评旅游推荐系统的演进•5KM范围内的热销POI •区域购买热门POI •5KM范围内的用户购买的POI •回龙观附近没有POI 协同过滤 •Item CF •基于POI浏览行为 •POI相似度每天离线更新,User浏览POI行为实时更新 •相似度改进:时间序列衰减 •基于用户搜索行为 •基于搜索后浏览POI行为构造 美团点评旅游推荐系统的演进•5KM范围内的热销POI •区域购买热门POI •5KM范围内的用户购买的POI •回龙观附近没有POI 协同过滤 •Item CF •基于POI浏览行为 •POI相似度每天离线更新,User浏览POI行为实时更新 •相似度改进:时间序列衰减 •基于用户搜索行为 •基于搜索后浏览POI行为构造- 矩阵,计算 POI相似度 •User CF •loglikelihood •流程抽象化、组件化 •提供公共组件,支持定制组件 效果评估&线上迭代 •离线评估 •AUC •logloss •在线评估 •ABTest:按UUID分流 •线上迭代 •模型更新 •特征漂移:更新延迟 训练集表现 测试集表现 问题 <期望目标值 <期望目标值 Underfiting >期望目标值 接近或略逊于训练集 合适 >期望目标值 远差于训练集 Overfiting 模型调试 0 码力 | 49 页 | 5.97 MB | 1 年前3
 刘道平-从0到1,移动政务应用小程序系统架构演化需要注册,使用密码和手机盾认证 推广传播 下载成本低、通过微信裂变传播 下载成本高、推广难、占流量、占内存 开发成本 只需开发一套,组件丰富 每个端都得开发,标准化组件少 版本更新 无感知,轻量级更新 更新麻烦,审核周期长 服务触达 利用微信载体,消息通知更简单 APP消息,打扰多,用户遗漏概率大 拓展性 程序包小,可以关联调转 无大小限制,调转较难 智能化服务能力 微信自带组件,对接更容易0 码力 | 35 页 | 15.60 MB | 1 年前3 刘道平-从0到1,移动政务应用小程序系统架构演化需要注册,使用密码和手机盾认证 推广传播 下载成本低、通过微信裂变传播 下载成本高、推广难、占流量、占内存 开发成本 只需开发一套,组件丰富 每个端都得开发,标准化组件少 版本更新 无感知,轻量级更新 更新麻烦,审核周期长 服务触达 利用微信载体,消息通知更简单 APP消息,打扰多,用户遗漏概率大 拓展性 程序包小,可以关联调转 无大小限制,调转较难 智能化服务能力 微信自带组件,对接更容易0 码力 | 35 页 | 15.60 MB | 1 年前3
 全球架构师峰会2019北京/量子计算/量子计算及其潜在应用&mdash是针对近期NISQ量子器件的杀手级应用量子化学模拟开 发的一套软件包。它包括数据结构和工具用以获取和操作费米子哈密 顿量、并将之转化为量子-经典混合架构可以实现的量子态制备、演化 和测量、以及优化参数更新等全套工具。HiQ Fermion 可以在华为云 上提供一站式量子化学模拟解决方案。 1.全面的初态 Ansatz 函数库,包括 UCC、Hardware Efficient, Qubit CC Quantum Eigensolver) 量子-经典混合算法VQE结合经典计算机和量子计算机各自的优 势,协同求解能量本征值。用量子计算机处理量子态的制备、演化 和测量,用经典计算机处理能量及参数优化更新。 量子部分 经典部分 华为 HiQ Fermion: 部分关键功能测试数据 提供不同优化器作对比 支持量子化学主流的费米子编码方法 Bravyi-Kitaev Transform 华为0 码力 | 34 页 | 5.57 MB | 1 年前3 全球架构师峰会2019北京/量子计算/量子计算及其潜在应用&mdash是针对近期NISQ量子器件的杀手级应用量子化学模拟开 发的一套软件包。它包括数据结构和工具用以获取和操作费米子哈密 顿量、并将之转化为量子-经典混合架构可以实现的量子态制备、演化 和测量、以及优化参数更新等全套工具。HiQ Fermion 可以在华为云 上提供一站式量子化学模拟解决方案。 1.全面的初态 Ansatz 函数库,包括 UCC、Hardware Efficient, Qubit CC Quantum Eigensolver) 量子-经典混合算法VQE结合经典计算机和量子计算机各自的优 势,协同求解能量本征值。用量子计算机处理量子态的制备、演化 和测量,用经典计算机处理能量及参数优化更新。 量子部分 经典部分 华为 HiQ Fermion: 部分关键功能测试数据 提供不同优化器作对比 支持量子化学主流的费米子编码方法 Bravyi-Kitaev Transform 华为0 码力 | 34 页 | 5.57 MB | 1 年前3
 海量用户推送后台系统架构实践-曾振波08 模块化 异步化 并行化 缓存化 程序及系统优化 基础组件服务化 链接管理 系统安全 09 新技术的应用——K8S部署业务 模块化 • 模块业务逻辑All In导致相互影响,更新升级难度大 • 功能按照业务拆分解耦 • 数据和业务分离 • 快速迭代 • 模块间通过MQ/RPC交互 极光推送后台系统架构 01 Segment Conn StatCenter OnlineMsg0 码力 | 23 页 | 1.26 MB | 1 年前3 海量用户推送后台系统架构实践-曾振波08 模块化 异步化 并行化 缓存化 程序及系统优化 基础组件服务化 链接管理 系统安全 09 新技术的应用——K8S部署业务 模块化 • 模块业务逻辑All In导致相互影响,更新升级难度大 • 功能按照业务拆分解耦 • 数据和业务分离 • 快速迭代 • 模块间通过MQ/RPC交互 极光推送后台系统架构 01 Segment Conn StatCenter OnlineMsg0 码力 | 23 页 | 1.26 MB | 1 年前3
 分布式 KV 存储系统 Cellar 演进之路Cellar规划 目录 影响可用性的问题 • 数据迁移 • 请求超时抖动 Cellar—服务可用性提升 Cellar—无损数据迁移 数据迁移的问题 • 迁移速度不可控,易影响业务请求 • 路由表更新瞬间请求失败 • key级别迁移写入,引擎压力大 节点状态指标 • 引擎压力 • 网卡 • 队列 • QPS • ··· Cellar—无损数据迁移 智能调速+全程代理 A节点 B节点 桶20 码力 | 34 页 | 1.66 MB | 1 年前3 分布式 KV 存储系统 Cellar 演进之路Cellar规划 目录 影响可用性的问题 • 数据迁移 • 请求超时抖动 Cellar—服务可用性提升 Cellar—无损数据迁移 数据迁移的问题 • 迁移速度不可控,易影响业务请求 • 路由表更新瞬间请求失败 • key级别迁移写入,引擎压力大 节点状态指标 • 引擎压力 • 网卡 • 队列 • QPS • ··· Cellar—无损数据迁移 智能调速+全程代理 A节点 B节点 桶20 码力 | 34 页 | 1.66 MB | 1 年前3
共 12 条
- 1
- 2













