在大规模Kubernetes集群上实现高SLO的方法0 码力 | 11 页 | 4.01 MB | 1 年前3
第29 期| 2023 年9 月- 技术雷达JavaScript 生态系统十分混乱的时期,我们也从未采取过这样的做法)。作 为一家开创 CI、CD 等突破性工程实践历史的软件咨询公司,我们对于使用 AI 辅助软件开发特别感兴趣。因此, 本期技术雷达讨论了许多代码辅助工具,如 GitHub Copilot、Tabnine 和 Codeium。我们兴奋于 open-source LLMs for coding 在工具领域可能带来的变革,并且我们看到了在编码之外的辅助领域中工具和能力的爆炸式增 早在 2003 年就撰写了有关此主题的文章,但问题并没有消失。在 这期雷达中,我们讨论了许多现代工具和技术,它们采用更加细致入微的方法来衡量软件的创造过程,但这仍 然不够。幸运的是,业界已经不再使用代码行数作为产出衡量标准。然而,衡量框架 SPACE 中 A(Activity,活 动)的替代方法,例如拉取请求的数量或已解决的问题的数量,仍然不足以成为衡量生产力的良好指标。相反, 行业已经开始关 ChatGPT,Google Bard,Meta 的 LLaMA 以及亚马逊的 Bedrock 等)在我们的讨论中占据重要地位。更广泛来说,大语言模型可以应用于从 内容生成(文本、图片和视频)、代码生成到总结概述和翻译等各种问题。通过自然语言的抽象层,这些大模型 成为了强大的工具库,被诸多信息工作者广泛使用。我们讨论了大语言模型的各个方面,包括自托管式大语言 模型,相较云托管的大语言模型,0 码力 | 43 页 | 2.76 MB | 1 年前3
Kubernetes开源书 - 周立和⽣命周期与操作系统相互纠缠的缺点。⼈们可构建不可变的虚拟机映像,从⽽实现可预测的升级和回滚,但VM是重 量级、不可移植的。 新⽅法是部署容器,容器基于操作系统级别的虚拟化⽽不是硬件虚拟化。这些容器彼此隔离并且与宿主机隔离:它们有 ⾃⼰的⽂件系统,看不到对⽅的进程,并且它们的计算资源使⽤可以被界定。它们⽐VM更容易构建,并且由于它们与 底层基础架构和宿主机⽂件系统解耦了,可实现跨云、跨操作系统的移植。 由于容器⼩⽽快 例如MySQL),也不提供分布式存储系 统(例如Ceph)作为内置服务。 这些应⽤可在Kubernetes上运⾏。 没有点击部署的服务市场。 01-什么是Kubernetes 6 不部署源代码,并且不构建应⽤。持续集成(CI)⼯作流是⼀个不同⽤户/项⽬有不同需求/偏好的领域,因此它⽀ 持在Kubernetes上运⾏CI⼯作流,⽽不强制⼯作流如何⼯作。 允许⽤户选择其⽇志记录、监视和警报系统。(它提供了⼀些集成。) )。 不提供/不采⽤任何综合的机器配置、维护、管理或⾃愈系统。 另⼀⽅⾯,⼀些PaaS系统可运⾏在 Kubernetes上,例如 Openshift 、 Deis 、Eldarion 等。 您也可实现⾃⼰的定制 PaaS,与您选择的CI系统集成,或者仅使⽤Kubernetes部署容器。 由于Kubernetes在应⽤层⾯⽽⾮硬件层⾯上运⾏,因此它提供了PaaS产品通⽤的功能,例如部署,扩展,负载均衡,0 码力 | 135 页 | 21.02 MB | 1 年前3
石油巨头与Kubernetes, Microservice & DevOps 共舞1114最终版以容器平台功能为支撑, 实现应用的容器化托管, 解决环境一致性,部署 架构复杂等问题 通过租户体系保证租户 资源相互隔离,支撑多 租户场景 通过安全体系来保障 DevOps过程中的安全问 题 项⺫管理 快速迭代开发,更短的发布周期, 并统⼀流程,规范化管理 持续交付 提⾼部署的效率,降低部署的⻛ 险,提⾼部署的质量,消除部⻔ 壁垒,交付过程标准化, 透明化 持续构建与测试 保障代码质量,提升开发效率 初始化 配额管理 ⼯具链⽀撑体系 事务 跟踪 ⼯具 知识 库 代码托 管 制品仓 库 镜像仓 库 测试管 理平台 流⽔线编 排⼯具 代码质 量管控 镜像安 全扫描 运营统 计⼯具 XXXX 指标统计 XXXX 指标统计 XXXX 指标统计 XXXX 指标统计 运营统计 编译打 包 代码质量 管理 多语⾔ 构建 安全管控 构建实 践 测试管理 推动⺫标实现 • 对整体产品进⾏规划,需求排期 • 对产品团队负责 • 负责开发任务的分解,任务下发 • 开发团队管理 • 功能接⼝性能测试 • 产品质量保证 • 测试团队管理 • 团队管理 • 为系统应⽤稳定性负责 • 定义监控指标 • 修改配置⽂件 • 应⽤运⾏稳定保障 • 功能接⼝性能测试 • 测试⽤例编写 • 产品质量保证 • 需求理解 • 编码实现 • 产出交付0 码力 | 33 页 | 7.49 MB | 1 年前3
Kubernetes全栈容器技术剖析集群部署、运维监控增强 ,安全加固 CNCF & Kubenetes 社区 全球TOP3、国内TOP1贡献: 7个maintainer,commits 1200+ OCI 初创成员,是容器镜像格式的规范和实现的主导者 主导核心设计:动态资源调整,各种安全加固措施,增强各种资源 限制,增加ARM64支持,运维增强,容器重启策略 OCI & Docker 社区 CNCF/OCI基金会的初创会员、白金会员, 倍,裸金属容器应用的吞吐量相对于虚机 容器吞吐量增长1倍,但是cpu资源的占用 却只多出60%左右,同时裸金属容器的进 程占用的内存减少10%。 11 国内首发Windows容器服务:帮助企业实现海量Windows应用轻松容器 化上云 根据第三方咨询公司统计,大约有80%以上的企业现有系统仍是通 过Windows Server部署运维在服务器上,统计显示Windows Server在x86伺服器中的市占率高达6成。 GPU 资源分配给容器,以获得 更好的隔离效果和性能。 • 轻松地跨不同的环境共享应用程序、协同 工作和测试应用程序。 主流DL框架 13 iCAN容器网络:实现高性能容器网络和大规模高效部署 14 Fuxi容器存储:实现有状态应用和分布式中间件容器化部署 15 全球首发云容器实例服务CCI :更快的弹性,更高的资源利用率 持续发布: 小时级->分钟级 弹性伸缩: 分钟级->秒级0 码力 | 26 页 | 3.29 MB | 1 年前3
石墨文档Go在K8S上微服务的实践-彭友顺CI build 阶段 • 会基于 pb 的注释自动产生文档,并推送至内部的微服务管理系统接口平台中 • 会生成 Go/PHP/Node/Java 桩代码和错误码,推送到指定的仓库 开发阶段 • go get 客户端、服务端的gRPC和错误码的代码 配置 对接 Debug • 配置驱动 • 配置补齐 • 配置工具 • Proto的管理 • 错误码管理 • 调试gRPC • 调试信息 调试gRPC • 调试信息 • 错误定位 Generate • protoc -I {error proto file} --go-errors_out={output directory} • 实现我们自定义的error类型,方便断言。 • 根据注解的code信息,在错误码中生成对应的grpc status code • 确保错误码唯一,后续在API层响应用户数据确保唯一错误码,例如: 下单失败(1008) 错误码管理 • 调试gRPC • 调试信息 • 错误定位 微服务的测试阶段 测试类型 工具生成测试用例 简单高效做单元测试 • 单元测试 • 本地docker-compse • 提交代码,触发gitlab ci • 接口测试 • 接口平台 • 性能测试 • benchmark • 全链路压测 • 集成测试 • 以前gitlab ci,docker in docker0 码力 | 41 页 | 3.20 MB | 1 年前3
Kubernetes 异常配置检测框架Benchmark 检测项依赖于 CIS Benchmark 内容 能发现集群核心组件配置错误 无法发现如 Flannel 组件异常 增加检查项流程较复杂 kuberhealthy 在集群中运行 CronJob 实现检查 可以自定义检查项 无法检测集群核心组件配置 集群异常时无法进行检测 kube-hunter 适用于集群安全检测 仅能检测集群安全性 kubectl-trace 在集群中运行 bpftrace bpftrace 检查 Kernel 仅能检测 Kernel 相关问题 要求熟悉 bpftrace 语言 1 Kubernetes 典型异常 2 检测框架演进 3 生产实践 4 总结 我们的目标 实现 Kubernetes 集群异常检测框架 支持集群多维度异常检测能力 支持集成开源检测组件 检测框架 Ver.1 { 自动化 Ver.1 自动化 Autopilot Engine Command 托管版集群、Serverless 集群 • 边缘集群、GPU 集群 各类检测场景 • 节点、组件、配置等 • 集群升级、集群巡检 版本差异 * 类型差异 * 场景差异 检测项 Ver.1 优化点 检测代码在膨胀 检测能力迭代需要加速 检测框架 Ver.2 { 动态定制 动态扩展 Ver.2 DSL DSL (Domain-Specific Language) • 领域特定语言指专注于某个应用程序领域的计算机语言0 码力 | 31 页 | 9.57 MB | 1 年前3
sealos 以 kubernetes 为内核的云操作系统Sealos 云操作系统 方海涛 环界云计算 CEO 目 录 云操作系统介绍 01 云操作系统架构 02 功能与实用场景 03 实现原理 04 价值 05 总结 06 自我介绍 Sealos 作者 阿里巴巴 CNCF sealer 作 者 环界云计算创始人 公司代表作品: Sealos 云操作系统 Laf 函数计算 FastGPT AI 知识库 Sealos 介绍 有本质区别?鸭式辩型忘记了? 云里面,一切皆应用才是王道。 系统架构与设计理念 通用的系统管理入口 所有应用自由安装卸载 极简、高内聚、高度抽象 提供最基础的核心能力 容器管理、编排调度、资源隔离 驱动层实现资源抽象 自由切换,到处运行 Sealos API Sealos CLI Desktop 裸金属 AWS 阿里云 更多······ boot 集群镜像 租户管理 应用管理 函数计算 消息队列 sealos 上 • 一个集群多个部门多个组 织共同使用 • 相互安全隔离 • 支持共享与协作 • 20 秒启动高可用 mysql/pgsql/mongo/redis 数据 库 • 写代码像写博客一样简单 • AI 自动编码,毫秒级上线,0 运 维 数据库管理 mysql/pgsql/mongo/ redis 等多种数据库 数据库多主架构高 可用 数据库备份恢复, 故障自愈0 码力 | 29 页 | 7.64 MB | 9 月前3
腾讯基于 Kubernetes 的企业级容器云实践-罗韩梅配额大的占用多,配额小的占用少 ◼尽量减少为了流控而主动丢包 下图是两个进程都拼命争抢网络带宽时的效果。两个进程的 带宽和时延都得不到任何程度的保证。 ◼队列: 不增加队列, 对每个报文直接在正常代码路径上进行决策 ◼Cgroup区分(标记): 在正常处理流程中,报文查找到目标socket结构之 后,根据socket的owner process来确定cgroup ◼报文决策: 令牌桶 + 共享令牌池 GPU使用方式 实现 VCUDA 在vm中构建wrapper library以拦截GPU调用并将这些调用重定向 到宿主机执行 Amazon 将设备直接挂在到vm中 GPUvm 在Zen的hypervisor层实现了全虚拟化。为了隔离运行在物理 GPU上的多个VM,GPUvm将物理GPU分成几个部分,并将每个 部分分配给单个VM。 NVIDIA GRID 在硬件层面实现GPU虚拟化,每个容器可以绑定一个虚拟GPU 在硬件层面实现GPU虚拟化,每个容器可以绑定一个虚拟GPU NVIDIA Docker 通过将GPU设备及运行时的库转为volume挂载到容器中实现了容 器与驱动的解耦。但是一个GPU设备仅能挂载到一个容器中,不 支持容器间共享GPU设备 ConvGPU 仅支持内存资源的共享且仅处理单个GPU 容器使用GPU的问题: • 需要特定的硬件设备 • 不支持容器共享 • 仅支持内存资源虚拟化 • 仅支持单个GPU卡 采用Device0 码力 | 28 页 | 3.92 MB | 1 年前3
云计算白皮书2023 年 2 月又发布了《国防云战略路线图》,该路线图明确定义了到 2025 年 的云愿景和战略成果,提供了建立国防云的实施路径,大力推动云 计算在英国国防现代化转型变革中的应用与扩展,明确了云是实现国 防数字骨干和数据战略的关键推动因素。澳大利亚明确云计算是推 进产业数字化转型的必由之路,在 2021 年 12 月份先后更新和发布 了其“数字政府”战略和首个《2023-2025 年数据战略》,将通过统 用。 日本政府于 2021 年 9 月份成立数字厅,同年 10 月开始导入政府云 服务,计划于 2025 年之前构建所有中央机关和地方自治团体能共享 行政数据的云服务,2026 年 3 月份前实现全国各市町村的基础设施 与云服务互联互通。2022 年 12 月,日本政府将云应用程序确定为经 济安全的 11 个关键领域之一,其工业部留出了 200 亿日元预算用于 与云有关的研究和推进活动。 效率的需求日益 增大,以 Serverless(服务器无感知)、低/无代码为代表的技术能够 屏蔽复杂的底层基础设施,让用户以最低学习成本、最小使用代价 最大化释放云的生产力,实现快速创新。AWS 贯彻全面 Serverless 化战略,提供计算、存储、数据库等全领域的 Serverless 服务。微软 发力低/无代码领域,其发布的 Power Platform 已经与 Office 365、0 码力 | 47 页 | 1.22 MB | 1 年前3
共 41 条
- 1
- 2
- 3
- 4
- 5













