 领域驱动设计&中台/在一个实际复杂业务中落地DDD方法与相关架构0 码力 | 31 页 | 4.74 MB | 1 年前3 领域驱动设计&中台/在一个实际复杂业务中落地DDD方法与相关架构0 码力 | 31 页 | 4.74 MB | 1 年前3
 海尔实时计算平台技术选型与实践Sink : 已经处理的event数 Flume监控 日志数据获取实践 入库 解析 收集 采集 插码 实时数据采集新要求 业务系统无法配合修改,怎么办? CDC的几种方法: • 触发器 • 时间戳 • 全表比对 • 日志对比 Change Data Capture(CDC) Oracle CDC建议方案-OGG OGG监控 OGG监控可选方案: • 前端的计算逻辑都改到后端 前端: • 前端nvd3.js替换成echarts • 更强大易用的报表设计器 改造后的zeppelin报表设计器 字段 控制区 行列控制区 数据执行区 标记卡 控制区 图表辅助 设置区 1、图表参数设置 2、图内筛选器 3、图表辅助线 4、图表预警 4、图表坐标轴控制 5、图表图例显示控制 1、字段设置 2、添加计算字段 3、字段分组0 码力 | 41 页 | 3.21 MB | 1 年前3 海尔实时计算平台技术选型与实践Sink : 已经处理的event数 Flume监控 日志数据获取实践 入库 解析 收集 采集 插码 实时数据采集新要求 业务系统无法配合修改,怎么办? CDC的几种方法: • 触发器 • 时间戳 • 全表比对 • 日志对比 Change Data Capture(CDC) Oracle CDC建议方案-OGG OGG监控 OGG监控可选方案: • 前端的计算逻辑都改到后端 前端: • 前端nvd3.js替换成echarts • 更强大易用的报表设计器 改造后的zeppelin报表设计器 字段 控制区 行列控制区 数据执行区 标记卡 控制区 图表辅助 设置区 1、图表参数设置 2、图内筛选器 3、图表辅助线 4、图表预警 4、图表坐标轴控制 5、图表图例显示控制 1、字段设置 2、添加计算字段 3、字段分组0 码力 | 41 页 | 3.21 MB | 1 年前3
 付钱拉金融云系统架构演进和最佳实践服 务 服 务 服 务 任务队列 基于消息的分布式架构 MESSAGE - BASED DISTRIBUTED ARCHITECTURE 管理区 LVS-master C1 RabbitMq-1 数 据 库 服 务 器 区 LVS-slave Nginx-1 Nginx-2 C2 C3 C4 实时 oltp2 SSS-1 C5 C6 非实时 oltp4 SSS-2 Nginx-3 Nginx-4 C8 C9 C10 实时 oltp6 SSS-3 C11 oltp7 C12 非实时 oltp8 SSS-4 01_Group 应用服务区 CP … KQ TLT CB 第三方区 RabbitMq-3 RabbitMq-4 oltp1 oltp3 RabbitMq-2 PAIN POINTS 业务3.0痛点 BUSINESS 3.0 PAIN 当前架构的 适用范围 微服务迁移 继续前行 MOVE ON 统一API网关 规范 SPECIFICATION 一 编程规范 1.业务代码中所有SQL耗时打印耗时 2.业务代码中关键方法打印耗时 3.和第三方接口交互,需要设置连接超时和读取超时时间,避免同步线程阻塞 4.和第三方接口交互,需要考虑是否需要通过代理出网 5.和第三方接口交互,需要考虑是否要相互添加白名单 6.0 码力 | 35 页 | 6.05 MB | 1 年前3 付钱拉金融云系统架构演进和最佳实践服 务 服 务 服 务 任务队列 基于消息的分布式架构 MESSAGE - BASED DISTRIBUTED ARCHITECTURE 管理区 LVS-master C1 RabbitMq-1 数 据 库 服 务 器 区 LVS-slave Nginx-1 Nginx-2 C2 C3 C4 实时 oltp2 SSS-1 C5 C6 非实时 oltp4 SSS-2 Nginx-3 Nginx-4 C8 C9 C10 实时 oltp6 SSS-3 C11 oltp7 C12 非实时 oltp8 SSS-4 01_Group 应用服务区 CP … KQ TLT CB 第三方区 RabbitMq-3 RabbitMq-4 oltp1 oltp3 RabbitMq-2 PAIN POINTS 业务3.0痛点 BUSINESS 3.0 PAIN 当前架构的 适用范围 微服务迁移 继续前行 MOVE ON 统一API网关 规范 SPECIFICATION 一 编程规范 1.业务代码中所有SQL耗时打印耗时 2.业务代码中关键方法打印耗时 3.和第三方接口交互,需要设置连接超时和读取超时时间,避免同步线程阻塞 4.和第三方接口交互,需要考虑是否需要通过代理出网 5.和第三方接口交互,需要考虑是否要相互添加白名单 6.0 码力 | 35 页 | 6.05 MB | 1 年前3
 大规模分布式系统架构下调测能力构建之道大纲 分布式环境下开发的调测效率问题 应对之道 远程应用服务 契约测试 分布式消息服务 分布式缓存 分布式服务的“租户”隔离策略 总体调测框架实践 分布式环境下调测方法论 单体应用 服务化 微服务 小中型规模应用+小型团队 中大型规模应用+多团队协同 Cache DB NFS Load Balancer website website website 7. 我的开发机性能还行,我想自己装一套依赖环境提高开发调测 效率,结果消息服务、缓存服务、服务框架装完一启动,80% 的系统资源就没有了,想想还有一堆的应用服务还没装,直接 泪崩… 8. 办公区断网,所有线上依赖环境都无法访问了,得,今天啥也 干不了了,回家洗洗睡吧…. … ….. ……… 1 2 3 解决之道:通过技术手段,降低系统对外部的依赖,而“MOCK”,是最 有效的手段。 契约测试 通过mock手段可以解决外部不可控因素对本地调测的影响,如果真实的外 部服务改变了,我们的mock数据也要随之改变,但 问题是: 我们如何及时感知到服务接口/逻辑发生变化了? 解决方法:契约测试 通过将契约测试集成到CI流程中,在构建的过程中完成接口的联调测试,和 接口变动的验证测试,从而实现对接口变动的及时感知。 Consumer 报告 Provider Consumer0 码力 | 19 页 | 2.74 MB | 1 年前3 大规模分布式系统架构下调测能力构建之道大纲 分布式环境下开发的调测效率问题 应对之道 远程应用服务 契约测试 分布式消息服务 分布式缓存 分布式服务的“租户”隔离策略 总体调测框架实践 分布式环境下调测方法论 单体应用 服务化 微服务 小中型规模应用+小型团队 中大型规模应用+多团队协同 Cache DB NFS Load Balancer website website website 7. 我的开发机性能还行,我想自己装一套依赖环境提高开发调测 效率,结果消息服务、缓存服务、服务框架装完一启动,80% 的系统资源就没有了,想想还有一堆的应用服务还没装,直接 泪崩… 8. 办公区断网,所有线上依赖环境都无法访问了,得,今天啥也 干不了了,回家洗洗睡吧…. … ….. ……… 1 2 3 解决之道:通过技术手段,降低系统对外部的依赖,而“MOCK”,是最 有效的手段。 契约测试 通过mock手段可以解决外部不可控因素对本地调测的影响,如果真实的外 部服务改变了,我们的mock数据也要随之改变,但 问题是: 我们如何及时感知到服务接口/逻辑发生变化了? 解决方法:契约测试 通过将契约测试集成到CI流程中,在构建的过程中完成接口的联调测试,和 接口变动的验证测试,从而实现对接口变动的及时感知。 Consumer 报告 Provider Consumer0 码力 | 19 页 | 2.74 MB | 1 年前3
 美团点评旅游推荐系统的演进Service Thrift请求 DataHub POI Feature User Feature 实时策略效果统计 推荐在美团点评酒旅的应用实践 推荐应用 美团/点评双平台 品类区 banner 人气区 角标 周边游频道首页 酒旅交叉推荐 看了又看 景点POI详情页 推荐应用 POI标签 筛选异地召回 筛选列表页 推荐应用 搜索少/无结果推荐 • 无结果推荐 •0 码力 | 49 页 | 5.97 MB | 1 年前3 美团点评旅游推荐系统的演进Service Thrift请求 DataHub POI Feature User Feature 实时策略效果统计 推荐在美团点评酒旅的应用实践 推荐应用 美团/点评双平台 品类区 banner 人气区 角标 周边游频道首页 酒旅交叉推荐 看了又看 景点POI详情页 推荐应用 POI标签 筛选异地召回 筛选列表页 推荐应用 搜索少/无结果推荐 • 无结果推荐 •0 码力 | 49 页 | 5.97 MB | 1 年前3
 刘道平-从0到1,移动政务应用小程序系统架构演化包括个人中心、服务、待办服务、证照服务、公共服务、外部能力、业务办理服务和运营管理服务模块 12、系统部署架构反复评审论证 一、部署架构 1、政务云电子政务外网 :数据库、应用服务 2、政务云互联网区:静态资源、网关 3、互联网区:小程序、云服务 二、安全防护 1、仅开放指定端口 80 443 2、域名须有HTTPS证书 3、白名单 13、安全渗透测试、运维监控 -- 确保系统稳定 一、业务应用上线前必须经过安全渗透测试。0 码力 | 35 页 | 15.60 MB | 1 年前3 刘道平-从0到1,移动政务应用小程序系统架构演化包括个人中心、服务、待办服务、证照服务、公共服务、外部能力、业务办理服务和运营管理服务模块 12、系统部署架构反复评审论证 一、部署架构 1、政务云电子政务外网 :数据库、应用服务 2、政务云互联网区:静态资源、网关 3、互联网区:小程序、云服务 二、安全防护 1、仅开放指定端口 80 443 2、域名须有HTTPS证书 3、白名单 13、安全渗透测试、运维监控 -- 确保系统稳定 一、业务应用上线前必须经过安全渗透测试。0 码力 | 35 页 | 15.60 MB | 1 年前3
 分布式异地多活架构实践之路合肥IDC 北京IDC 广州IDC GSLB 获取服务IP IP请求 DNS劫持严重 用户设置DNS服务器 DNS各级缓存 DNSTTL不遵循 EDNS普及缓慢 根据用户IP来 进行运营商区 域的调度 结果:无法就近返回最优的机房IP、机房之间负载不均衡、机房异常后无法快速容灾 精准流量调度-全局 HTTPDNS LocalDNS 智能DNS 合肥IDC 北京IDC 广州IDC0 码力 | 36 页 | 1.66 MB | 1 年前3 分布式异地多活架构实践之路合肥IDC 北京IDC 广州IDC GSLB 获取服务IP IP请求 DNS劫持严重 用户设置DNS服务器 DNS各级缓存 DNSTTL不遵循 EDNS普及缓慢 根据用户IP来 进行运营商区 域的调度 结果:无法就近返回最优的机房IP、机房之间负载不均衡、机房异常后无法快速容灾 精准流量调度-全局 HTTPDNS LocalDNS 智能DNS 合肥IDC 北京IDC 广州IDC0 码力 | 36 页 | 1.66 MB | 1 年前3
 QCon北京2018-《美团配送系统架构演进实践》-阴永俊深耕LBS平台,丰富、打磨各类算法策略场景 线 骑行导航 步行导航 车行导航 配送 范围 规划 定价 ETA 配送 轨迹 骑手 位置 筛选 动态 补贴 运单 Rank 您已到达 南湖中园 一区3号楼 顾客地址 附近 您已经导到顾客 附近 面 GeoHash 地理围栏 任务地图 导航 热力图 空间 室内定位 高度/楼层 点 nearby查询 地理编码 交付点 美团点评技术团队0 码力 | 31 页 | 15.26 MB | 1 年前3 QCon北京2018-《美团配送系统架构演进实践》-阴永俊深耕LBS平台,丰富、打磨各类算法策略场景 线 骑行导航 步行导航 车行导航 配送 范围 规划 定价 ETA 配送 轨迹 骑手 位置 筛选 动态 补贴 运单 Rank 您已到达 南湖中园 一区3号楼 顾客地址 附近 您已经导到顾客 附近 面 GeoHash 地理围栏 任务地图 导航 热力图 空间 室内定位 高度/楼层 点 nearby查询 地理编码 交付点 美团点评技术团队0 码力 | 31 页 | 15.26 MB | 1 年前3
 降级预案在同程艺龙的工程实践-王俊翔应⽤用、服务元数据、状态数据,etcd、mysql双份存储 • 后台实时监控应⽤用、服务,实时变更更降级策略略 proxy 服务质量量数据采集 业务数据采集 ⽇日志 ⽂文件 应⽤用数据采集 应⽤用数据 ⽅方法数据 执⾏行行结果 执⾏行行耗时 异常数据 … JVM内存 JVM线程 GC数据 业务数据 SDK数据 ⾃自定义数据 系统数据采集 容器器数据 CPU数据 内存数据 磁盘数据 … ⽹网络数据 ⽇日志 ⽂文件 系统数据采集 容器器数据 CPU数据 内存数据 磁盘数据 … ⽹网络数据 采集 Agen t ⽇日志中⼼心 KAFKA 数据处理理 应⽤用数据采集 应⽤用数据 ⽅方法数据 执⾏行行结果 执⾏行行耗时 异常数据 … JVM内存 JVM线程 GC数据 业务数据 SDK数据 ⾃自定义数据 数据通道(⻓长链接单通道) 数据采集 Proxy • 单⼯工直连数据通道 线下开发 策略略配置 测试 发布 WEB IDE 线上开发 降级⽅方法使⽤用 Git 降级代码 线下代码管理理 脚本 降级服务如何⾃自动探测恢复 ⽅方法代理理 降级 正常流程 保护期窗⼝口 (10min) 窗⼝口期 探测期窗⼝口 (5min) 探测流量量分配 窗⼝口期外 窗⼝口期外 降级⽅方法 熔断 降级流程 恢复探测 探测 开启 开启 未降级 已降级0 码力 | 26 页 | 18.67 MB | 1 年前3 降级预案在同程艺龙的工程实践-王俊翔应⽤用、服务元数据、状态数据,etcd、mysql双份存储 • 后台实时监控应⽤用、服务,实时变更更降级策略略 proxy 服务质量量数据采集 业务数据采集 ⽇日志 ⽂文件 应⽤用数据采集 应⽤用数据 ⽅方法数据 执⾏行行结果 执⾏行行耗时 异常数据 … JVM内存 JVM线程 GC数据 业务数据 SDK数据 ⾃自定义数据 系统数据采集 容器器数据 CPU数据 内存数据 磁盘数据 … ⽹网络数据 ⽇日志 ⽂文件 系统数据采集 容器器数据 CPU数据 内存数据 磁盘数据 … ⽹网络数据 采集 Agen t ⽇日志中⼼心 KAFKA 数据处理理 应⽤用数据采集 应⽤用数据 ⽅方法数据 执⾏行行结果 执⾏行行耗时 异常数据 … JVM内存 JVM线程 GC数据 业务数据 SDK数据 ⾃自定义数据 数据通道(⻓长链接单通道) 数据采集 Proxy • 单⼯工直连数据通道 线下开发 策略略配置 测试 发布 WEB IDE 线上开发 降级⽅方法使⽤用 Git 降级代码 线下代码管理理 脚本 降级服务如何⾃自动探测恢复 ⽅方法代理理 降级 正常流程 保护期窗⼝口 (10min) 窗⼝口期 探测期窗⼝口 (5min) 探测流量量分配 窗⼝口期外 窗⼝口期外 降级⽅方法 熔断 降级流程 恢复探测 探测 开启 开启 未降级 已降级0 码力 | 26 页 | 18.67 MB | 1 年前3
 全球架构师峰会2019北京/量子计算/量子计算及其潜在应用&mdash来研究化学问题的一门学科, 包括分子结构、分子与分子之 间的相互作用、碰撞和化学反 应等问题。 1.经典化学计算中最重要的问题的是求解基态能量。传 统化学计算方法如CCSD,FCI等只能计算较小分子体 系。 2.目前流行的密度泛函理论(DFT)等方法,在超算上可 以计算10000个电子(耗时长),但存在着“大而不 精”的问题,依旧无法很好满足设计新材料、新药 物、新能源、预测化学反应等实际需要。 新药物 新能源 预测化学反应 1.分子系统本质是量子系统,使用量子计算 机模拟量子系统更加自然高效 2. 基于量子计算机的量子叠加、量子纠缠等 特性可以加速求解分子基态问题,化解FCI 等经典方法中的“指数墙”问题。 3. 可以预见,在50-100量子比特内,量子 计算机将率先在量子化学模拟中展现量子 优势。 ?? = ?? 华为HiQ Fermion: 一站式量子化学模拟计算解决方案 Efficient, Qubit CC 等 2.兼容多种常见的经典量子化学软件如 Gaussian,NWChem,PySCF 和 Psi4的 Drivers 模块 3.提供多种主流的费米子编码方法:Jordan-Wigner, Parity,Bravyi-Kitaev 等 4.提供支持并行计算梯度的 Optimziers,能更快收敛 5.模拟业界最大规模 VQE (C2H4,14 orbitals)(核心技术:高质量初态0 码力 | 34 页 | 5.57 MB | 1 年前3 全球架构师峰会2019北京/量子计算/量子计算及其潜在应用&mdash来研究化学问题的一门学科, 包括分子结构、分子与分子之 间的相互作用、碰撞和化学反 应等问题。 1.经典化学计算中最重要的问题的是求解基态能量。传 统化学计算方法如CCSD,FCI等只能计算较小分子体 系。 2.目前流行的密度泛函理论(DFT)等方法,在超算上可 以计算10000个电子(耗时长),但存在着“大而不 精”的问题,依旧无法很好满足设计新材料、新药 物、新能源、预测化学反应等实际需要。 新药物 新能源 预测化学反应 1.分子系统本质是量子系统,使用量子计算 机模拟量子系统更加自然高效 2. 基于量子计算机的量子叠加、量子纠缠等 特性可以加速求解分子基态问题,化解FCI 等经典方法中的“指数墙”问题。 3. 可以预见,在50-100量子比特内,量子 计算机将率先在量子化学模拟中展现量子 优势。 ?? = ?? 华为HiQ Fermion: 一站式量子化学模拟计算解决方案 Efficient, Qubit CC 等 2.兼容多种常见的经典量子化学软件如 Gaussian,NWChem,PySCF 和 Psi4的 Drivers 模块 3.提供多种主流的费米子编码方法:Jordan-Wigner, Parity,Bravyi-Kitaev 等 4.提供支持并行计算梯度的 Optimziers,能更快收敛 5.模拟业界最大规模 VQE (C2H4,14 orbitals)(核心技术:高质量初态0 码力 | 34 页 | 5.57 MB | 1 年前3
共 19 条
- 1
- 2













