 在大规模Kubernetes集群上实现高SLO的方法0 码力 | 11 页 | 4.01 MB | 1 年前3 在大规模Kubernetes集群上实现高SLO的方法0 码力 | 11 页 | 4.01 MB | 1 年前3
 第29 期| 2023 年9 月- 技术雷达Parsons 提供咨询建议。 作为一个综合型组织,TAB 能够审视影响 Thoughtworks 技术战略和技术人员的各种主题。本期技术雷达内容 基于 2023 年 8 月的 TAB 线上会议创建。 中国区技术雷达汉化组: 边晓琳、陈亮、程显通、樊田、樊卓文、冯炜、符雨菡、高晓、管英杰、何蜜、何蔚、何向东、纪扬、郏李鹏、 蒋亦雄、李辉、李天舒、李妍、李昱桦、林晨、刘钊、秦睿、孙郁俨、童圣、王鹏熹、王芹芹、熊晓荟、杨琛、 年就撰写了有关此主题的文章,但问题并没有消失。在 这期雷达中,我们讨论了许多现代工具和技术,它们采用更加细致入微的方法来衡量软件的创造过程,但这仍 然不够。幸运的是,业界已经不再使用代码行数作为产出衡量标准。然而,衡量框架 SPACE 中 A(Activity,活 动)的替代方法,例如拉取请求的数量或已解决的问题的数量,仍然不足以成为衡量生产力的良好指标。相反, 行业已经开始关注“工程效能” 采纳 采纳 本期雷达 新的 挪进 / 挪出 没有变化 © Thoughtworks, Inc. All Rights Reserved. 采纳 1. 设计系统 2. 轻量级的 RFCs 方法 试验 3. 具有可访问性意识的组件测试设计 4. 攻击路径分析 5. 自动合并依赖项更新 PR 6. 针对 FAIR 数据的数据产品思维 7. OIDC for GitHub Actions0 码力 | 43 页 | 2.76 MB | 1 年前3 第29 期| 2023 年9 月- 技术雷达Parsons 提供咨询建议。 作为一个综合型组织,TAB 能够审视影响 Thoughtworks 技术战略和技术人员的各种主题。本期技术雷达内容 基于 2023 年 8 月的 TAB 线上会议创建。 中国区技术雷达汉化组: 边晓琳、陈亮、程显通、樊田、樊卓文、冯炜、符雨菡、高晓、管英杰、何蜜、何蔚、何向东、纪扬、郏李鹏、 蒋亦雄、李辉、李天舒、李妍、李昱桦、林晨、刘钊、秦睿、孙郁俨、童圣、王鹏熹、王芹芹、熊晓荟、杨琛、 年就撰写了有关此主题的文章,但问题并没有消失。在 这期雷达中,我们讨论了许多现代工具和技术,它们采用更加细致入微的方法来衡量软件的创造过程,但这仍 然不够。幸运的是,业界已经不再使用代码行数作为产出衡量标准。然而,衡量框架 SPACE 中 A(Activity,活 动)的替代方法,例如拉取请求的数量或已解决的问题的数量,仍然不足以成为衡量生产力的良好指标。相反, 行业已经开始关注“工程效能” 采纳 采纳 本期雷达 新的 挪进 / 挪出 没有变化 © Thoughtworks, Inc. All Rights Reserved. 采纳 1. 设计系统 2. 轻量级的 RFCs 方法 试验 3. 具有可访问性意识的组件测试设计 4. 攻击路径分析 5. 自动合并依赖项更新 PR 6. 针对 FAIR 数据的数据产品思维 7. OIDC for GitHub Actions0 码力 | 43 页 | 2.76 MB | 1 年前3
 Chaos Mesh让应用与混沌在 Kubernetes 上共舞-杨可奥Mesh 之外还维护有多个受欢迎的开源项目,如 pprof-rs。 云 原 生 社 区 M e e t u p 第 一 期 · 上 海 站 杨可奥 Chaos Mesh核心开发者 Chaos Mesh 让应用与混沌在 Kubernetes 上共舞 演讲人:杨可奥 PingCAP 云 原 生 社 区 M e e t u p 第 一 期 · 上 海 站 目录 一、混沌工程的动机 二、Kubernetes 四、Chaos Mesh 使用案例 混沌工程的动机 事故,任何时候都可能发生 AWS 事故,任何时候都可能发生 Github 关于混沌,我们能知道很多 我们的软件没有混沌现象! 科学的研究方法 ● 明确目标,问题 ● 作出假设 ● 进行尝试和实验 ● 观察现象 ● 分析和总结 Chaos Engineering 混沌工程正在受到重视 混沌工程正在受到重视 混沌实验?听上去很简单 loss/delay/dup/c orrupt netem ipset+iptables partition Request bandwidth tbf NetworkChaos 实现方法 如何进入目标 Pod 的 Network Namespace ● setns 系统调用 ● nsenter 命令 或在其他进程中 setns ○ 开发、测试更加方便 ○ 使用起来更加简单0 码力 | 30 页 | 1.49 MB | 9 月前3 Chaos Mesh让应用与混沌在 Kubernetes 上共舞-杨可奥Mesh 之外还维护有多个受欢迎的开源项目,如 pprof-rs。 云 原 生 社 区 M e e t u p 第 一 期 · 上 海 站 杨可奥 Chaos Mesh核心开发者 Chaos Mesh 让应用与混沌在 Kubernetes 上共舞 演讲人:杨可奥 PingCAP 云 原 生 社 区 M e e t u p 第 一 期 · 上 海 站 目录 一、混沌工程的动机 二、Kubernetes 四、Chaos Mesh 使用案例 混沌工程的动机 事故,任何时候都可能发生 AWS 事故,任何时候都可能发生 Github 关于混沌,我们能知道很多 我们的软件没有混沌现象! 科学的研究方法 ● 明确目标,问题 ● 作出假设 ● 进行尝试和实验 ● 观察现象 ● 分析和总结 Chaos Engineering 混沌工程正在受到重视 混沌工程正在受到重视 混沌实验?听上去很简单 loss/delay/dup/c orrupt netem ipset+iptables partition Request bandwidth tbf NetworkChaos 实现方法 如何进入目标 Pod 的 Network Namespace ● setns 系统调用 ● nsenter 命令 或在其他进程中 setns ○ 开发、测试更加方便 ○ 使用起来更加简单0 码力 | 30 页 | 1.49 MB | 9 月前3
 云计算白皮书14%的公有云市场规模,较 2021 年增长 20.4%。欧洲、亚洲位列市场占比二三位,分别为 23.41%、18.35%。 大洋洲、南美洲、非洲均处于“云发展中”,三大洲占比总和仅 6.1%。 得益于东南亚地区可用区数量不断增长以及核心云计算技术发展迅 速,亚洲市场增速超 30%达到欧洲的两倍,将成为全球云计算市场 竞争的下一个主战场。 来源:Gartner,2023 年 4 月 图 2 2022 年全球各区域云计算市场规模占比 2023 年这一比例将上涨到 58%。从供给侧来看, 目前,AWS、微软、谷歌等云服务商均有 1/3 以上的可用区部署在 亚太地区。以 AWS 为例,其在印度、新加坡、澳大利亚、日韩等地 已建设 40 余个可用区,并计划在东南亚、新西兰等地再新建 12 个 可用区,建成之后亚太地区的可用区占全球比例将超 50%。 服务能力方面,效率和性能成为云服务商竞争的新手段。随着 用云程度持续加深,用户对云服务的要求从能用转变为好用,促使 广东 (深圳) 2023.5 《深圳经济特区质量条例》 推动移动互联、大数据、云计算、 物联网等与各行各业相融合,催生 产业新形态,创新经营新模式。 2023.4 《2023 深圳宝安区上云上平台企 业补贴标准》 对上云上平台的企业,按照平台或 工业软件当年度收取费用的 30% 给予最高 5 万元的消费券补贴。 江苏 2022.9 《江苏省推进数字贸易加快发展 的若干措施》0 码力 | 47 页 | 1.22 MB | 1 年前3 云计算白皮书14%的公有云市场规模,较 2021 年增长 20.4%。欧洲、亚洲位列市场占比二三位,分别为 23.41%、18.35%。 大洋洲、南美洲、非洲均处于“云发展中”,三大洲占比总和仅 6.1%。 得益于东南亚地区可用区数量不断增长以及核心云计算技术发展迅 速,亚洲市场增速超 30%达到欧洲的两倍,将成为全球云计算市场 竞争的下一个主战场。 来源:Gartner,2023 年 4 月 图 2 2022 年全球各区域云计算市场规模占比 2023 年这一比例将上涨到 58%。从供给侧来看, 目前,AWS、微软、谷歌等云服务商均有 1/3 以上的可用区部署在 亚太地区。以 AWS 为例,其在印度、新加坡、澳大利亚、日韩等地 已建设 40 余个可用区,并计划在东南亚、新西兰等地再新建 12 个 可用区,建成之后亚太地区的可用区占全球比例将超 50%。 服务能力方面,效率和性能成为云服务商竞争的新手段。随着 用云程度持续加深,用户对云服务的要求从能用转变为好用,促使 广东 (深圳) 2023.5 《深圳经济特区质量条例》 推动移动互联、大数据、云计算、 物联网等与各行各业相融合,催生 产业新形态,创新经营新模式。 2023.4 《2023 深圳宝安区上云上平台企 业补贴标准》 对上云上平台的企业,按照平台或 工业软件当年度收取费用的 30% 给予最高 5 万元的消费券补贴。 江苏 2022.9 《江苏省推进数字贸易加快发展 的若干措施》0 码力 | 47 页 | 1.22 MB | 1 年前3
 基于Kubernetes构建容器云平台的实践
 - UCloud优刻得实验室负责⼈ 叶理灯Master节点部署在公有云上。Node节点分为公有云区 和托管区两部分,两个区的⽹网络实现了了互联互通。 • Node上都采⽤用underlay模式的cni插件,保证node/ pod/公有云上其他资源都可以互通,需要规划好⽹网段 保证互不不冲突。 • 公有云上underlay模式cni插件已经实现 • 托管区underlay模式cni插件可有以下⼏几种⽅方法实现: A. 基于⾃自定义路路由0 码力 | 30 页 | 3.52 MB | 1 年前3 基于Kubernetes构建容器云平台的实践
 - UCloud优刻得实验室负责⼈ 叶理灯Master节点部署在公有云上。Node节点分为公有云区 和托管区两部分,两个区的⽹网络实现了了互联互通。 • Node上都采⽤用underlay模式的cni插件,保证node/ pod/公有云上其他资源都可以互通,需要规划好⽹网段 保证互不不冲突。 • 公有云上underlay模式cni插件已经实现 • 托管区underlay模式cni插件可有以下⼏几种⽅方法实现: A. 基于⾃自定义路路由0 码力 | 30 页 | 3.52 MB | 1 年前3
 KubeCon2020/微服务技术与实践论坛/Spring Cloud Alibaba 在 Kubernetes 下的微服务治理最佳实践-方剑Alibaba构建微服务体系 300 + 公司生产环境上线 Spring Cloud Alibaba 现状 https://start.aliyun.com/bootstrap.html • 业务高可用、多可用区部署 • 同城/异地容灾,业务多活 • 微服务需要更安全、更可信 成本 稳定 效率 • 白天流量高峰期发布 • 云边端一体化开发部署联调 • 服务治理体系强依赖SDK升级 • K8s下 离群实例摘除: 单点故障自愈 服务治理中心 订单服务 交易服务 4. 发起调用 3. 获取token 5. 校验签名和规则 6. 审计日志 7. 返回结果 Agent • 规则优先级: 方法级别 > 应用 • 鉴权方式:白名单(允许调用),黑名单(拒绝调用) • 签名校验 • 审计日志 Agent 用户 1. 配置访问控制规则 配置中心 2. 写入token和规则 购物车服务 读取灰度规则 配置中心 3. 配置灰度规则 http-header: user-id % 100 == 20 • 两种灰度规则 • 按流量百分比路由 • 按请求特征路由:如http header, 方法参数等 • 打通微服务网关 提供者 1 消费者 提供者 2 version=gray 2. 注册环境标签 user-id=121 提供者 3 Deployment1 1. version=normal0 码力 | 27 页 | 7.10 MB | 1 年前3 KubeCon2020/微服务技术与实践论坛/Spring Cloud Alibaba 在 Kubernetes 下的微服务治理最佳实践-方剑Alibaba构建微服务体系 300 + 公司生产环境上线 Spring Cloud Alibaba 现状 https://start.aliyun.com/bootstrap.html • 业务高可用、多可用区部署 • 同城/异地容灾,业务多活 • 微服务需要更安全、更可信 成本 稳定 效率 • 白天流量高峰期发布 • 云边端一体化开发部署联调 • 服务治理体系强依赖SDK升级 • K8s下 离群实例摘除: 单点故障自愈 服务治理中心 订单服务 交易服务 4. 发起调用 3. 获取token 5. 校验签名和规则 6. 审计日志 7. 返回结果 Agent • 规则优先级: 方法级别 > 应用 • 鉴权方式:白名单(允许调用),黑名单(拒绝调用) • 签名校验 • 审计日志 Agent 用户 1. 配置访问控制规则 配置中心 2. 写入token和规则 购物车服务 读取灰度规则 配置中心 3. 配置灰度规则 http-header: user-id % 100 == 20 • 两种灰度规则 • 按流量百分比路由 • 按请求特征路由:如http header, 方法参数等 • 打通微服务网关 提供者 1 消费者 提供者 2 version=gray 2. 注册环境标签 user-id=121 提供者 3 Deployment1 1. version=normal0 码力 | 27 页 | 7.10 MB | 1 年前3
 高性能 Kubernetes 元数据存储 KubeBrain 的设计思路和落地效果-许辰multi raft range 分片,增大写并发 Brain 层无磁盘 io,只有网络 io 写优化 - 3 事务优化 精心设计 key 格式 一个 k8s 对象的索引和数据在同一分区内 跨分区分布式事务 -> 分区内单机事务 读优化 - 1 Range 读 Unary -> Stream 代替分页,降低延迟 内存高效复用,避免 OOM 读优化 - 2 多分片并发读 Watch 优化 - 1 写性能提升带来直接收益 写延迟降低,watch 延迟自然会降低 Watch 优化 - 2 纯内存态实现 无延迟损耗 Watch 优化 - 3 逻辑优化 update 方法中,PreKV 字段 apiserver 不会使用,减少一次读 压测数据 • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 落地效果  压测环境 • 配合 apiserver0 码力 | 60 页 | 8.02 MB | 1 年前3 高性能 Kubernetes 元数据存储 KubeBrain 的设计思路和落地效果-许辰multi raft range 分片,增大写并发 Brain 层无磁盘 io,只有网络 io 写优化 - 3 事务优化 精心设计 key 格式 一个 k8s 对象的索引和数据在同一分区内 跨分区分布式事务 -> 分区内单机事务 读优化 - 1 Range 读 Unary -> Stream 代替分页,降低延迟 内存高效复用,避免 OOM 读优化 - 2 多分片并发读 Watch 优化 - 1 写性能提升带来直接收益 写延迟降低,watch 延迟自然会降低 Watch 优化 - 2 纯内存态实现 无延迟损耗 Watch 优化 - 3 逻辑优化 update 方法中,PreKV 字段 apiserver 不会使用,减少一次读 压测数据 • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 落地效果  压测环境 • 配合 apiserver0 码力 | 60 页 | 8.02 MB | 1 年前3
 Kubernetes开源书 -  周立在⼤多数情况下,Node Controller将驱逐速率限制为 --node-eviction-rate (默认为0.1)每秒,这意味着它不会1个 Node驱逐Pod花费的时间不会超过10秒。 当给定可⽤区(availability zone)中的Node变得不健康时,Node驱逐的⾏为就会发⽣变化。Node Controller同时也会 检查区域中有多少百分⽐的Node是不正常的(NodeReady --secondary- node-eviction-rate (默认0.01)每秒。每个可⽤区实施这些策略的原因,是因为每个可⽤区都可能会从Master断开, ⽽另⼀个可⽤区仍然保持连接。如果您的集群不会跨越多个云提供商的可⽤区,那么就只有⼀个可⽤区(整个群集)。 译者按:可⽤区举例:AWS可⽤区:http://docs.aws.amazon.com/AWSEC2/latest/UserGuide/using-regions- ide/using-regions- availability-zones.html 在可⽤区之间传播Node的⼀个关键原因是:当整个区域停⽌时,⼯作负载可以转移到健康区域。因此,当⼀个区域中 的所有Node都不健康时,那么Node Controller就以正常速率 --node-eviction-rate 驱逐。 当所有区域都不健康时(即 集群中没有健康的Node),Node Cont0 码力 | 135 页 | 21.02 MB | 1 年前3 Kubernetes开源书 -  周立在⼤多数情况下,Node Controller将驱逐速率限制为 --node-eviction-rate (默认为0.1)每秒,这意味着它不会1个 Node驱逐Pod花费的时间不会超过10秒。 当给定可⽤区(availability zone)中的Node变得不健康时,Node驱逐的⾏为就会发⽣变化。Node Controller同时也会 检查区域中有多少百分⽐的Node是不正常的(NodeReady --secondary- node-eviction-rate (默认0.01)每秒。每个可⽤区实施这些策略的原因,是因为每个可⽤区都可能会从Master断开, ⽽另⼀个可⽤区仍然保持连接。如果您的集群不会跨越多个云提供商的可⽤区,那么就只有⼀个可⽤区(整个群集)。 译者按:可⽤区举例:AWS可⽤区:http://docs.aws.amazon.com/AWSEC2/latest/UserGuide/using-regions- ide/using-regions- availability-zones.html 在可⽤区之间传播Node的⼀个关键原因是:当整个区域停⽌时,⼯作负载可以转移到健康区域。因此,当⼀个区域中 的所有Node都不健康时,那么Node Controller就以正常速率 --node-eviction-rate 驱逐。 当所有区域都不健康时(即 集群中没有健康的Node),Node Cont0 码力 | 135 页 | 21.02 MB | 1 年前3
 Operator Pattern 用 Go 扩展 Kubernetes 的最佳实践早期版本的 sample: etcd operator K8s 1.9 版本发布,CRD进入 beta 阶段并正式取代 TPR; controller-runtime 加入 K8s 社 区并正式发布; 自此,CRD + controller-runtime 逐渐成为开发 operator 的首选 Operator Pattern 是官方定义的标准扩 展机制,是 K8s Native & Restore 备份策略、备份方式、恢复方式、备份管理等等。 Disaster Recovery & High Availability Failover/Switchover、多可用区、数据恢复等等。 Security & Compliance 访问控制、审计、安全链接、加密存储等等。 Patching & Upgrades 小版本升级、大版本升级、安全漏洞修复等等。 Data0 码力 | 21 页 | 3.06 MB | 9 月前3 Operator Pattern 用 Go 扩展 Kubernetes 的最佳实践早期版本的 sample: etcd operator K8s 1.9 版本发布,CRD进入 beta 阶段并正式取代 TPR; controller-runtime 加入 K8s 社 区并正式发布; 自此,CRD + controller-runtime 逐渐成为开发 operator 的首选 Operator Pattern 是官方定义的标准扩 展机制,是 K8s Native & Restore 备份策略、备份方式、恢复方式、备份管理等等。 Disaster Recovery & High Availability Failover/Switchover、多可用区、数据恢复等等。 Security & Compliance 访问控制、审计、安全链接、加密存储等等。 Patching & Upgrades 小版本升级、大版本升级、安全漏洞修复等等。 Data0 码力 | 21 页 | 3.06 MB | 9 月前3
 Amazon Elastic Kubernetes Service (EKS) 初探秘数据完整性验证 服务端加密 文件系统和数据 网络流量保护 加密/完整性/身份管理 AWS 端点 基础服务 AWS全球基础架构 AWS IAM 计算 存储 数据库 网络 区域 可用区 边缘节点 由AWS用户管理 由AWS管理 © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential Amazon EKS 的责任共担模型 用户 IAM 应用 POD AWS 端点 AWS IAM 基础服务 计算 存储 数据库 网络 AWS 全球基础架构 区域 可用区 边缘站点 由AWS用户管理 由AWS管理 KUBELET K8s RBAC APP HOST AWS IAM 容器 升级 加固 监控 WORKER NODE 配置 升级 加固 监控0 码力 | 39 页 | 1.83 MB | 1 年前3 Amazon Elastic Kubernetes Service (EKS) 初探秘数据完整性验证 服务端加密 文件系统和数据 网络流量保护 加密/完整性/身份管理 AWS 端点 基础服务 AWS全球基础架构 AWS IAM 计算 存储 数据库 网络 区域 可用区 边缘节点 由AWS用户管理 由AWS管理 © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential Amazon EKS 的责任共担模型 用户 IAM 应用 POD AWS 端点 AWS IAM 基础服务 计算 存储 数据库 网络 AWS 全球基础架构 区域 可用区 边缘站点 由AWS用户管理 由AWS管理 KUBELET K8s RBAC APP HOST AWS IAM 容器 升级 加固 监控 WORKER NODE 配置 升级 加固 监控0 码力 | 39 页 | 1.83 MB | 1 年前3
共 25 条
- 1
- 2
- 3














