大规模分布式系统架构下调测能力构建之道大规模分布式系统架构下调测能力构建之道 李鑫 大纲 分布式环境下开发的调测效率问题 应对之道 远程应用服务 契约测试 分布式消息服务 分布式缓存 分布式服务的“租户”隔离策略 总体调测框架实践 分布式环境下调测方法论 单体应用 服务化 微服务 小中型规模应用+小型团队 中大型规模应用+多团队协同 Cache DB NFS Load Balancer 解决之道:通过技术手段,降低系统对外部的依赖,而“MOCK”,是最 有效的手段。 分布式服务框架mock能力构建 应用 服务容器(Consumer) Filter Chain 将mock能力内置到分布式服务框架中 开发mock能力过滤器,在服务调用链路上对服务调用进行挡截。 “开关机制”控制mock能力启停 mock能力启用时,服务容器初始化期间将加载mock数据文件到内存中,每个服务请求将和mock数据的入参定 校验接口清单 远程接口A 测试报告 服务注册中心 服务列表 …… 远程接口B … 邮件发送 调用 并 比对结果 CI构建流程 response request 应用服务综合mock能力 在实际应用场景中,应用所依赖的服务往往很分散: 一部分依赖服务从本机的Runtime环境即可获取, 一部分需要从协同团队的远程开发机上临时获取(联调模式), 一部分服务可能还未完成开发并发布,需要通过mock机制进行模拟。0 码力 | 19 页 | 2.74 MB | 1 年前3
3.云原生边云协同AI框架实践边侧逐步具备AI能力 分布式协同AI 核心驱动力 分布式协同AI核心驱动力 • 随着边侧算力逐步强化,边缘AI持续演变至分布式协同AI 分布式协同AI技术挑战 1. 边缘资源碎片化 2. 边缘数据孤岛 3. 边缘样本少 4. 边缘数据异构 分布式协同AI 技术挑战 边云协同AI框架 第二部分 首个分布式协同AI开源项目Sedna 基于KubeEdge提供的边云协同能力,支持现有AI类应用无缝下沉到边缘 SIG成员在AI顶会IJCAI 上分享分布式协同AI论文 Sedna斩获中国信通院云边协 同应用创新大赛最佳创新奖 ✓ 数据集管理 ✓ 模型管理 ✓ …… 基础框架 ✓ 协同推理 ✓ 增量学习 ✓ 联邦学习 ✓ 终身学习 训练推理框架 ✓ 主流AI框架 ✓ 模块算法 ✓ 可扩展算法接口 ✓ …… 兼容性 项目地址:https://github.com/kubeedge/sedna 面向AI开发者和应用开发者, 暴露边云协同AI功能给 应用 Cloud Edge Local Controll er KubeEdge Cloud Node Edge Node 增量训练 管理 数据集管理, 模型管理, 状态同步 协同推理 管理 联邦学习 管理 Local Controller Worker Worker Worker 边侧推理 Lib0 码力 | 37 页 | 2.36 MB | 1 年前3
统一建模语言 UML 参考手册 - 基本概念过程是基于建造强壮结构来解决用例驱动的需求 ��� 包括了所有的必要概念 � 最后一个 ��� 目标是在能对众多系统建模的同时 尽可能的简洁 ��� 具有足够的表 ��� 参考指南� � ��� 概述� ������ 达能力来处理现代系统中的所有概念 如封装和构件 它必须是一种普遍性的语言 如同 许多通用编程语言 不幸的是 这意味着如果我们想处理不仅仅是实验系统的事物 它的 规模会较大 例如 现代语言和现代操作系统较 �� 模型组织 模型组织 模型组织 模型组织 计算机可以处理大型的模型 但人不可以 大型系统中 建模信息必须划分成 条理分明的单元 以使开发团队可以并发的工作在不同的部分 即使在小型系统中 人类 的理解能力需要模型内容被组织到适度大小的包中 包是 ��� 模型中通用的层次组织结 构 它们可用于储存 访问控制 配置管理和构造包含复用模型块的库 包上的依赖总结 了包内容的依赖关系 包之间的依赖可以被整体系统的体系结构来强制 包之间的依赖可以被整体系统的体系结构来强制 从而包内容必须 同包依赖和系统体系结构强制相一致 � 扩展机制 扩展机制 扩展机制 扩展机制 无论语言的设施多么完备 人们总是需要对其进行扩展 我们对 ��� 提供了 有限的扩展能力 无需对基本语言进行修改 我们相信它可以容纳日常的大多数扩展需要 ��� 扩展机制包括版型 约束和标签值 版型是与现有元素结构相同的新元素 它具有附 ��� 参考指南� � ��� 概述� ������0 码力 | 123 页 | 2.61 MB | 1 年前3
Nacos架构&原理
年的阿里五彩石项目,自主研发完全可控,经历十多年双 11 洪峰考验,沉淀了高性能、 高可用、可扩展的核心能力,2018 年开源后引起了开发者的广泛关注和大量使用。本书也将介绍 Nacos 偏 AP 分布式系统的设计、全异步事件驱动的高性能架构和面向失败设计的高可用设计理念 等。相信开发者阅读后不仅可以更深入了解 Nacos,也有助于提高分布式系统的设计研发能力。 阿里巴巴中间件负责人 - 胡伟琪(白慕) 阿里巴巴在 10 多 对该领域感兴趣的技术爱好者阅读。 推荐序 < 8 Facebook 工程师 & CNCF 前 TOC 成员 - 李响 服务注册、发现与配置管理是构成大型分布式系统的基石。Nacos 是集成了这三种能力的现代化、 开源开放的代表系统。本书系统化的介绍了 Nacos 诞生的历史背景以及其在阿里集团内部孕育的过 程,阐述了打造⼀款实用、易用系统的全过程。另外,本书也从设计、架构方面详细介绍了 Nacos 以商业化为扩展;开源做生态,商业化做企业级特性,阿里内部做性能和高可用;开源做组件,商 业化做解决方案;并且随着时间推移,基本按照这思路完成的正循环,全面系统的打造了 Nacos 各 个维度的能力。 前言 < 12 随着 Nacos 日益强大, 我们⼀直想写⼀个 Nacos 电子书系统介绍 Nacos 架构与原理,让小伙 伴深度了解国产的微服务架构设计思想,面对失败设计的设计思想,了解0 码力 | 326 页 | 12.83 MB | 9 月前3
基于 Rust Arrow Flight 的物联网和时序数据传输及转换工具 霍琳贺时序数据库 TDengine 是一款开源、云原生的时序数据库( Time Series Database ),专为物联网、工业互联网、金融、 IT 运维监控等场景设计并优化,具有极强的弹性伸缩能力。同时它还带有内建的缓存、流式计算、数据订阅等 系统功能,能大幅减少系统设计的复杂度,降低研发和运营成本,是一个极简的时序数据处理平台。 采用关系型数据库模型 需要建库、建表, 核心功能开源 • SQL 支持 • 无模式写入 • 缓存 • 流计算 • 数据订阅 • 集群、高可用 高可靠、线性扩展 + 专业技术服务 • 边云数据复制 • 跨云 / 异地数据复制 • 增量备份 • 多级存储 • 工业数据接入 全托管时序数据 管理云服务平台 • 全托管服务 • VPC 对等连接 • 多云部署( AWS/Azure/ GCP) CONTENTS 自 我 模块之间关联性不高但模块组成复杂,可维护性差 • 大量设备大量数据归集存储,存储压力大 • 数据总线 / 消息队列消息接入,定制化程度要求高 • 数据业务逻辑自定义需求强 • 一定的实时数据分析能力 taosX - 功能路线图 集群运维 数据接入 流式处理 流式处理 数据分享 开放平台 • Backup/Restore • Replication • Migration • Data0 码力 | 29 页 | 2.26 MB | 1 年前3
Django、Vue 和Element UI 前后端原理论述长链路数据 构造流程,及时跟进使用情况以及收集相关建议意见,持续优化完善让其更加好用易用; 三是建立相关长效机制,将长链路业务测试数据构造场景管理起来形成资产体系,逐步 提升共建共享、开放复用能力,更好为测试赋能。 拓展学习 [6] 人工智能深度学习全栈开发工程师 咨询:微信 atstudy-js 备注:AI [7] 银行+证券+保险金融行业测试专项技术(完整)学习 https://mp 测试天地》七十四 www.51testing.com 随着科技日新月异的发展,人工智能正逐渐渗透到我们生活的各方各面,从智能语 音助手到自动驾驶汽车,从智能家居到人脸识别技术,AI 正以其卓越的智能和学习能力 引领着新时代的发展方向。在这个快速演进的时代中,软件测试领域也受到了不小的冲 击。虽然在当下,传统的软测技术仍然是绝对的主力,但是身为 IT 行业中的一员,近几 年 AI 的全新业务体验与其 工作流中极其重要的一环,如何将 CI/CD 更加灵活完善的融入项目 开发交付中的各类场景,一直是广大公司与团队的一项持久课题。而依托于现在一些主 流的 CI/CD 软件的强大兼容性与接入能力,mabl 自身强大的自动化测试能力可以灵活地 被运用起来,在部署过程中集成 mabl 平台,那么相关的自动化测试代码部署到 CI/CD 管 道中的托管环境后就可以立即在多个浏览器中测试端到端的用户体验。针对于测试活动0 码力 | 61 页 | 6.84 MB | 1 年前3
RISC-V 手册 v2(一本开源指令集的指南)..................................................................................... 13 1.2 模块化与增量型 ISA ............................................................................................. ——C. Gordan Bell,微软公司成员,Digital PDP-11 和 VAX-11 指令集架构的设计者 本书讲述了 RISC-V 可以做到什么,以及为什么它的设计师选择赋予它这些能力。更有 趣的是,作者说出了为什么 RISC-V 省略了早期计算机中存在的一些东西。这些原因至 少和 RISC-V 本身能做到什么与忽略了什么一样有意思。 ——Ivan Sutherland,图灵奖获得者,被称作计算机图形学之父 GCC等完整的工具链,创造MySQL、Apache、Hadoop等大量开源软件,实验各种创新思想 与技术,逐渐形成一个价值超过150亿美元的开源软件生态。这对中国的互联网产业的意义 尤为重大,不仅提升了BAT等互联网企业的技术研发能力,也大大降低了互联网产业创新 的门槛,如今3-5位开发人员在几个月时间里就能快速开发出一个互联网应用。在芯片设计 领域,RISC-V有望像Linux那样成为计算机芯片与系统创新的基石。但是只有RISC-V又是0 码力 | 164 页 | 8.85 MB | 1 年前3
2022年美团技术年货 合辑/ 安全 1277 数字化新业态下数据安全创新——Token 化 1277 Linux 中基于 eBPF 的恶意利用与检测机制 1293 如何应对开源组件风险?软件成分安全分析(SCA)能力的建设与演进 1328 算法 < 1 YOLOv6:又快又准的目标检测框架开源啦 作者:楚怡 凯衡 等 1. 概述 YOLOv6 是美团视觉智能部研发的一款目标检测框架,致力于工业应用。本框架 图,显示了硬件中计算能力和内存带宽之间的关联关系。 4 > 2022年美团技术年货 图 2 Roofline Model 介绍图 于是,我们基于硬件感知神经网络设计的思想,对 Backbone 和 Neck 进行了重新 设计和优化。该思想基于硬件的特性、推理框架 / 编译框架的特点,以硬件和编译友 好的结构作为设计原则,在网络构建时,综合考虑硬件计算能力、内存带宽、编译 优化特性、网络表征能力等,进 结构是一种在训练时具有多分支拓扑,而在实际部署时可以等效融 合为单个 3x3 卷积的一种可重参数化的结构(融合过程如下图 3 所示)。通过融合成 的 3x3 卷积结构,可以有效利用计算密集型硬件计算能力(比如 GPU),同时也可 获得 GPU/CPU 上已经高度优化的 NVIDIA cuDNN 和 Intel MKL 编译框架的 帮助。 算法 < 5 实验表明,通过上述策略,YOLOv60 码力 | 1356 页 | 45.90 MB | 1 年前3
Kotlin 1.9.10 官方文档 中文版
Kotlin 符号处理(KSP)API KSP 概述 KSP 快速入门 为什么选用 KSP KSP 示例 KSP 如何为 Kotlin 代码建模 Java 注解处理对应到 KSP 参考 增量处理 1.16.3.8 1.16.3.9 1.16.3.10 1.16.3.11 1.17 1.17.1 1.17.2 1.17.3 1.17.4 1.17.5 1.17.6 在桌 面平台间共享 UI。 不同平台间共享代码 Kotlin 多平台让你能为不同平台的应用程序逻辑维护一份代码。 还可以获得原 生程序设计的优势,包括出色的性能以及对平台 SDK 的完全访问能力。 Kotlin 提供了以下代码共享机制: 在项目中使用的所有平台之间共享公共代码。 在项目中包含的一些平台之间共享代码,以便在类似平台中复用大量代 码: 如果需要从共享代码中访问平台相关的 Kotlin/Native 开发动态库 Kotlin/Native 开发 Apple 框架 Kotlin 用于 JavaScript 开发 Kotlin/JS 提供了转换 Kotlin 代码、Kotlin 标准库的能力,并且兼容 JavaScript 的任何依赖项。Kotlin/JS 的当前实现以 ES5 为目标。 使用 Kotlin/JS 的推荐方法是通过 kotlin.multiplatform Gradle0 码力 | 3753 页 | 29.69 MB | 1 年前3
Kotlin 官方文档中文版 v1.9Kotlin 符号处理(KSP)API KSP 概述 KSP 快速入门 为什么选用 KSP KSP 示例 KSP 如何为 Kotlin 代码建模 Java 注解处理对应到 KSP 参考 增量处理 多轮次处理 KSP 与 Kotlin 多平台 在命令行运行 KSP 常见问题 学习资料 学习资料概述 11 1.17.2 1.17.3 1.17.4 1.17.5 1.17 并在桌面平台间共享 UI。 不同平台间共享代码 Kotlin 多平台让你能为不同平台的应用程序逻辑维护一份代码。 还可以获得原生程序设计的 优势,包括出色的性能以及对平台 SDK 的完全访问能力。 Kotlin 提供了以下代码共享机制: 在项目中使用的所有平台之间共享公共代码。 在项目中包含的一些平台之间共享代码,以便在类似平台中复用大量代码: 如果需要从共享代码中访问平台相关的 API,请使用 Kotlin/Native 开发 Apple 框架 Kotlin 原生 38 Kotlin 用于 JavaScript 开发 Kotlin/JS 提供了转换 Kotlin 代码、Kotlin 标准库的能力,并且兼容 JavaScript 的任何依赖项。 Kotlin/JS 的当前实现以 ES5 为目标。 使用 Kotlin/JS 的推荐方法是通过 kotlin.multiplatform Gradle0 码力 | 2049 页 | 45.06 MB | 1 年前3
共 311 条
- 1
- 2
- 3
- 4
- 5
- 6
- 32













