QCon北京2018-业务高速发展下的互联网金融系统架构演变-张现双+代码安全带来挑战 初始,� 效率优先 成长,移动后台旁路追赶 DB主 Server PC WEB AND/IOS/H5/Open 静态站 网贷服务 借款流程 Cache集群 安全加密 网贷服务 CDN 支付结算 订单 DB从 批 处 理 系 统 活动 DB主 DB从 版本管理 产品 ... 同步 …... 网站、基础服务 移动后台 业务和团队规模迅速扩张 后台日益庞大,业务冗余严重 N多业务排队上线,瓶颈明显 热点场景频发,影响单体稳定 2pizza团队,系统单体制约 商城 核心服务 业务 网贷 保险 基金 商城 财富圈 健康财富 加密 验签 拦截 校验 安全 性能 并发 幂等 交易 缓存 基础服务 消息 监控 配置 报警 MIS OpenAPI 微信 财富圈 移动后台 商城MIS WAP 流量调度 降级 限流 灰度 接口分发 运营活动动态配置,接口重新编排 热点功能前置,网关分发许可限流,保护底层 接口req/resp重写,透明操作 全功能API配置,热加载 方案: nginx、 istio spring-gateway、linkerd、zuul 移动服务C 接入层 服务A 服务B 措施:合冗余[消除链路.裁剪节点]0 码力 | 42 页 | 19.96 MB | 1 年前3
付钱拉金融云系统架构演进和最佳实践最佳实践-如何早于 用户发现问题 04 不忘初心 继续前进 01 业务模型 BUSINESS MODEL BUSINESS MODEL 业务模型 BUSINESS MODEL 服务/方案 基础产品 基础支撑 金融云服务 聚合支付 乐享理财 帮你贷 八方数据 … 资金管理 供应链 分期支付 扫码分销 … 基础支付1 SDK支付 扫码支付 分期支付 比特币 银行卡 开户 代付工资 对外付款 企业理财 企业报销 资金划拨 供应链 … 其他 贷款 理财 供应链 征信 … 数据分析 … 运营后台 用户系统 商户后台 官网 企业网银 个人网银 解决方案 实时监控 业务属性 BUSINESS ATTRIBUTES 实时性、一致性 安全性、中间账户 聚合的复杂性、第三方依赖性 金融系统 The complexity of aggregation 页面URL请求做细粒度的权限拦截,防止访问权限过大 3.部署在公网的应用做好防止XSS攻击的防范措施 4.和第三方系统交互需要互加白名单确保安全 5.系统全站提供HTTPS服务 6.和第三方系统交互报文需要加密传输 7.用户敏感数据做数据脱敏 8.预防页面被频繁请求,占用系统资源 9.预防API被频繁请求,占用系统资源 规范(续) SPECIFICATION (CONTINUED) 三 性能规范0 码力 | 35 页 | 6.05 MB | 1 年前3
海量用户推送后台系统架构实践-曾振波Segment PushTask XPNS MQ MQ IDC6 Conn 系统安全 • 网络安全 • 对外业务隔离,异地多机房部署,健康检查,业务快速部署及调度 • 通信安全 • SSL,私有加密协议 • 服务安全 • 安全校验,异常行为识别,过载保护,白名单/黑名单,服务降级 • 监控及告警 • 多维度监控,告警系统 极光推送后台系统架构 08 K8S部署业务 • 原有系统的运维工作繁杂,资源利用率低0 码力 | 23 页 | 1.26 MB | 1 年前3
海尔实时计算平台技术选型与实践Capture(CDC) Oracle CDC建议方案-OGG OGG监控 OGG监控可选方案: • GoldenGate Director • GoldenGate Monitor • Yelp MySQLStreamer Mysql CDC建议方案 Mysql CDC可选方案: • Canal Postgresql CDC 建议方案 BottledWater: • 支持postgresql 上图摘自confluent官网 Flume适合: • 日志收集 • 日志传输 • 拦截数据 消息队列适合: • 消息持久化 • 解耦 推荐:Flume+ 消息队列 为何要引入消息队列 消息队列可选方案 • Kafka • Jafka • RocketMQ • RabbitMQ • ActiveMQ • Apollo 消息队列使用场景及选型 事务可靠性场景(ActiveMQ/RabbitMQ/RocketMQ): Web Console •Kafka Manager •KafkaOffsetMonitor •Uber开源Kafka监控工具--Chaperone Kafka web监控管理界面 流式计算可选方案 仅流处理框架: • Storm • JStorm • Samza • Heron 混合框架: • Spark • Flink Core Storm or Storm Trident?0 码力 | 41 页 | 3.21 MB | 1 年前3
QCon北京2018-《美团配送系统架构演进实践》-阴永俊0 • 服务化 • 原语层+应用层 v3.0 • 借鉴CQRS + MDM思想 • 生产与应用独立建模 快速起量,系统质量、研发效率问题凸显 运营侧应用 • 提供搜索、权限、审批解决方案,保证扩展性 规模化阶段:可用性建设 研发高压线、月度Case复盘、CaseStudy 故障演练 规避能力 解决能力 线上故障处理SOP 上线规范、扩容流程、重构流程、CR流程 周巡检/日巡检制度 ���� �K�� Eb_�Kd ������/��������� ���g��luveHU�A ��� ������M� Lmjh ���K�� �s�c • 打造运营系统集成统一解决方案 • 例:流程平台 + 动态表单 流程大盘提升业务流程效率与结果 快速起量,系统质量、研发效率问题凸显 美团配送业务介绍 01 Agenda 02 MVP阶段 03 规模化阶段 04 精细化阶段 定位 骑行 导航 供需 平衡 弹性 研究 配送 范围 站点 规划 订单 指派 路径 规划 语音 助手 配送 硬件 学科方向 技术方向 具体技术 同城建设方案 配送履约方案 骑手运营方案 行业方案 如何更好地发挥大数据与AI的价值 降低试错成本 提升算法特征迭代效率 提升导航数据质量 仿真平台 最大化降低算法的线上试错成本 打造算法沙箱环境 特征平台 统一算法策略迭代框架,数据生产框架0 码力 | 31 页 | 15.26 MB | 1 年前3
全球架构师峰会2019北京/量子计算/量子计算及其潜在应用&mdashcosts with classical quantum simulator A complete quantum ecosystem is still missing. 华为量子云服务解决方案HiQ 2.0 Hi Quantum world! Huawei Quantum Computing Hadamard | Qubit 〉 华为量子计算云服务HiQ 1.0 HiQ云服务平台 Fermion: 一站式量子化学模拟计算解决方案 核心技术体现 HiQ Fermion 是针对近期NISQ量子器件的杀手级应用量子化学模拟开 发的一套软件包。它包括数据结构和工具用以获取和操作费米子哈密 顿量、并将之转化为量子-经典混合架构可以实现的量子态制备、演化 和测量、以及优化参数更新等全套工具。HiQ Fermion 可以在华为云 上提供一站式量子化学模拟解决方案。 1.全面的初态 Ansatz 物理极限的信号放大。 量子调控:利用外场控制量子系统的技术,在量子计算机中是利用微波、激光或电流去操控量子芯片,是提高精度确保量 子计算机可用性的关键技术。 华为HiQ Pulse: 全面的云上脉冲设计平台方案 核心技术呈现 HiQ Pulse是针对近期NISQ量子硬件调控开发的一套普适的控制脉冲设计 软件包,它包含了常见已知的控制脉冲库和算法库, 对于目标量子态制 备、量子逻辑门以及量子线路的物理实现,HiQ0 码力 | 34 页 | 5.57 MB | 1 年前3
分布式异地多活架构实践之路• 产品发展中遇到的问题 • 异地多活存在哪些挑战 • 讯飞输入法异地多活解决方案 • 实际应用效果 • 未来规划 单机房遇到的问题 可用性低 响应时间慢 系统扩容难 可用性低 响应时间慢 系统扩容难 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法解决方案 • 实际应用效果 • 后续规划 技术挑战 几十毫秒的延迟; 跨机房性能较慢 如何精准调度; 如何合理调度 流量调度 存储系统自带同步 不成熟; 自研组件之间同步 数据同步 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法异地多活解决方案 • 实际应用效果 • 未来规划 业务特点分析 业务分类 业务举例 业务特点 场景归类 核心业务 皮肤、表情、资源、广告、应用墙译等 读多写少 主从模式 (单点写,多点读) 用户个性化数据同步、账号等 测试场景覆盖 灰度发布上线 机房流量调度 监控覆盖 故障模拟演练 数据恢复 配置平台 服务化平台 日常运维 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法解决方案 • 实际应用效果 • 未来规划 可用性 机房内故障 机房入口网 络故障 DNS问题 自动流量切换,业务 几乎没影响 10分钟迁移95%流量, 总体可控 几乎无劫持,延迟降低 20%,解析失败率率下0 码力 | 36 页 | 1.66 MB | 1 年前3
领域驱动设计&中台/淘宝应用架构升级——反应式架构的探索与实践架构升级的思考 03 架构升级的实践 架构升级的思考 现有架构的问题? 现有架构的问题 同步等待 • 现有同步模型,线程 多 load ⾼高 • 资源利利⽤用率 应⽤用本身的解决⽅方案? 并⾏行行度有限 • ⽆无法纯业务依赖并发 • 微服务化让问题更更凸 显 • RT 累积 RT 与 ⽤用户增⻓长 RT 累积带来成本 • 过早引⼊入 cache • 每个服务都在设置超 全员宣导 �� Masters Masters ������ ��� �� �� Masters �� �� Masters Masters ��� �� �� 解决⽅方案⽀支持 — 执⾏行行治理理(2018双11) •线程模型(执⾏行行治理理):业务应⽤用 极简⾼高效 的线程模型,统⼀一线程池 • RPC、缓存等中间件 线程池设置⼊入⼝口,由应⽤用架构统⼀一管控 AliJDK(JVM团队) 提供JVM级API的阻塞点检测(业界领先) • 基于 ⾮非阻塞的任务(计算线程)的执⾏行行时⻓长 •统⼀一的线程上下⽂文传递⽅方案(业务&中间件) • 应⽤用不不再需要关⼼心 不不同的中间件 和 业务提供的不不同⽅方案 • 提供⽅方案,⽹网关、RPC、分布式调⽤用跟踪、RxJava等所有中间件 已统⼀一接⼊入 ⽬目标与规划 • 实现分布式回压(backpressure)0 码力 | 27 页 | 1.13 MB | 1 年前3
ServiceComb 开源微服务框架技术演进之路 巨震Injection … HTTP gRPC Data Plane service Java SDK service Go SDK service proxy 混合式方案:SDK + Sidecar Infrastructures Kubernetes VM Bare metal Clouds Monitoring Zipkin Prometheus Service Center Config Center Istio Apollo Huawei CSE 拥抱Istio开源生态 • Envoy Sidecar替换方案 • Go SDK接入Istio • 网络代理替代Iptables流量劫持 • Handler chain接入不同生态,不依赖Mixer Istio Pilot Proxy SDK 有大型成功商用案例 • 无商业强绑定,高自由度,企业自主可控 • 完整的生态栈,涵盖开源主流微服务运维和安全领域 • 低学习成本,有编程语言基础即可快速上手 华为开源 ServiceMesh方案 Mesher ServiceCenter Java-chassis ServiceComb Pilot Citadel Istio ServiceComb开源生态0 码力 | 20 页 | 861.58 KB | 1 年前3
联想-贺钢架构工作在国际化项目中的应用实例系统整体架构II 对架构设计的影响I -- 数据中心的设计 数据中心早期架构 数据中心碰到的问题 • 跨国网络引起的技术问题 • 来自法务的问题 • 来自安全部门的问题 数据中心最终方案 用户访问量对应的web架构 用户访问量 服务器架构 百万以下 单台或多台的简单架构,可以简单通过升级服务器 配置支持更多用户 百万到千万 增加Nginx(反向代理)或DNS负载均衡,redis内存 2014-08-09 … 碰到的问题 • 各类文档,程序的属性差别很大 • 采用的敏捷Scrum,任务随Sprint迭代 • 开发测试人员属于不同地域的不同部门,向不同的人汇报 后来使用的方案 ID ... Type … Content 1 … 1 {“File Name”:”1.doc”,”time”:”2014-02- 11”,”size”:”231293”} 2 … 2 {“File 功能: 用户名密码登录 登录相关设计碰到的问题 • 安全关注: 国内服务器 • 两个不同的登录服务器:不同的访问地址,不同的接口,不同的功能 • 不同的开发团队按不同的计划在开发 登录设计方案 Quick Breather 对架构设计的影响V -- 安全要求对架构的影响 • 软件安全趋势 • 针对国际化公司的安全威胁 LSDL 安全设计 安全设计 服务器安全 -- Penetration0 码力 | 53 页 | 2.36 MB | 1 年前3
共 18 条
- 1
- 2













