TKE使用eBPF优化 k8s service Jianmingfan 腾讯云 目录 01 Service的现状及问题 优化的方法 02 和业界方法的比较 性能测试 03 04 解决的BUG 未来的工作 05 06 01 Service的现状及问题 什么是k8s Service • 应用通过固定的VIP访问一组pod，应用对Pod ip变化 无感知 • 本质是一个负载均衡器 经历了二十多年的运行，比较稳定成熟 • 支持多种调度算法 优势 IPVS mode 不足之处 • 没有绕过conntrack，由此带来了性能开销 • 在k8s的实际使用中还有一些Bug 02 优化的方法 指导思路 • 用尽量少的cpu指令处理每一个报文 • 不能独占cpu • 兼顾产品的稳定性，功能足够丰富 弯路 • 为什么DPDK不行？ • 独占cpu，不适合分布式的lb map • 由于eBPF中没有timer机制 IPVS 如何做SNAT？ 优化方法评价 • 优势 • 大大缩短了数据通路，完全绕过了conntrack/iptables • 不足 • 对内核模块做了一定的修改，部署更困难 03 和业界方法比较 V.S. 纯粹的eBPF service 和其他的优化方法对比 V.S. Taobao IPVS SNAT patch • 复用了IPVS

Thoughtworks, Inc. All Rights Reserved. 2 关于技术雷达 3 雷达一览 4 贡献者 5 本期主题 6 本期雷达 8 技术 11 平台 19 工具 25 语言和框架 36 Thoughtworks 技术雷达 © Thoughtworks, Inc. All Rights Reserved. Thoughtworks 技术雷达 关于技术雷达 论结果，从首席技术官到开发人员，雷达将会为各 路利益相关方提供价值。这些内容只是简要的总结。 我们建议您探索雷达中提到的内容以了解更多细 节。技术雷达的本质是图形性质，把各种技术项目 归类为技术、工具、平台和语言和框架。如果技术 可以被归类到多个象限，我们选择看起来最合适的 一个。我们还进一步将这些技术分为四个环以反映 我们目前对其的态度。 想要了解更多技术雷达相关信息，请点击： thoughtworks 本期技术雷达讨论了许多代码辅助工具，如 GitHub Copilot、Tabnine 和 Codeium。我们兴奋于 open-source LLMs for coding 在工具领域可能带来的变革，并且我们看到了在编码之外的辅助领域中工具和能力的爆炸式增 长，如用户故事编写辅助、用户研究、电梯演讲和其他基于语言的任务。同时，我们希望开发人员能够负责任 地使用所有这些工具，并且始终掌控主导权，比如

热点领域和热点方向，试图在市场上抢得先机。 四是云计算技术不断推陈出新，助力产业高质量发展。随着上 云进程持续加深，企业需求逐步向用云转移，效率、性能、安全等 成为用户关注点，应用现代化、一云多芯、平台工程、云成本优化、 系统稳定性、云原生安全等新技术层出不穷，满足用户多样性场景 需求，助力产业数字化升级。 在此背景下，中国信息通信研究院继《云计算白皮书（2012 年）》 之后第 9 次发布云计算白皮书。本白皮书聚焦过去一年多来云计算 发力低/无代码领域，其发布的 Power Platform 已经与 Office 365、 Dynamics 365 以及 Azure 三大生态充分打通，形成完整的技术生态。 二是更注重软硬协同，优化性能。在算力多样化、节点高密化、载 体细粒度化等诉求下，底层硬件在云计算的驱动下也因云而变。2022 年 6 月，阿里云发布 CIPU（Cloud infrastructure Processing 所示：一是应用架构现代化，依据分而治之、开放设计、统一风格 三重设计原则，通过微服务、Serverless、事件驱动和命令职权分离 等先进架构升级应用范式；二是数据架构现代化，以云原生为底座 优化数据摄取、数据存储、数据分析、数据消费、数据治理等能力， 云计算白皮书（2023 年） 16 充分挖掘数据价值等；三是技术架构现代化，从资源管理、运维保 障、研发测试、应用服务等方面构建通用的对上赋能的技术底座；

Controller 无法正常工作 YUM 安装自动运维工具 自动安装依赖 firewalld 网络未知原因导致异常 Node Pod eth0 调用 iptables 增加阻断规则 FORWARD_IN_ZONES_SOURCE FORWARD_OUT_ZONES 容器网络不通 异常 VS 异常检测 ？ 云原生操作系统 自检 安全模式 检测工具 … 操作系统 NPD 运行模式 节点上自定义数据的收集(依赖于自定义插件) 问题上报 • 需要采集和分析结果文件 Kube* CIS Kubernetes Benchmark 集群安全扫描 集群综合检查 执行 bpftrace 检测工具小结 工具 适用场景 局限性 kube-bench 在集群中运行 CIS Benchmark 检测项依赖于 CIS Benchmark 内容 能发现集群核心组件配置错误 无法发现如 Flannel 组件异常 检测任务支持脚本或容器镜像 Ver.1 优化点 快速迭代的 Kubernetes 版本 • 月度发版 • 版本间的配置、参数、API 差异 多样集群类型（阿里云容器服务） • 托管版集群、Serverless 集群 • 边缘集群、GPU 集群 各类检测场景 • 节点、组件、配置等 • 集群升级、集群巡检 版本差异 * 类型差异 * 场景差异 检测项 Ver.1 优化点 检测代码在膨胀 检测能力迭代需要加速

提⾼部署的效率，降低部署的⻛ 险，提⾼部署的质量，消除部⻔ 壁垒，交付过程标准化， 透明化 持续构建与测试 保障代码质量，提升开发效率 知识共享 知识共享与积累，不断完善，持 续学习改进 认证与改进 持续优化， 形成闭环 运维监控 运⾏状态可视化，数据化，降低 部署⻛险，快速反馈 运营统计 全链路指标统计，为持续改进提 供数据⽀撑 学习培训 保障平台使⽤效果，快速实践落 地 DEVOPS⼯具 DevOps 工具链集成与编排 • 覆盖应用全生命周期管理 • DevOps 工具一键部署，集成 • 平台与工具用户打通（SSO） • 平台与工具权限打通 • 平台与工具租户联动 • 平台与工具深度集成 • 容器化持续集成与交付 平台管理员 租户管理员 • 部署或导入集群 • 创建租户 • 指定租户管理员 • 将集群资源分配给租户 • 部署或集成 DevOps 工具 • 创建工具资源 创建工具资源 • 将工具资源分配给租户 • 在集群中创建环境（namespace） • 设定环境资源配额 • 在租户下创建小组 • 将用户添加到小组 • 将环境资源分配给小组 • 订阅 DevOps 工具 • 创建工具资源 • 将工具资源分配到小组 平台⾓⾊与视⾓梳理 平台管理员 创建租户 租户管理员创建⼩组 租户管理员创建／分配环境 平台管理员部署／集成⼯具 平台管理员创建／分配资源

eksctl–安装管理 Amazon EKS 集群的利器 • 最简单的命令行创建集群工具 eksctl create cluster –nodes=4 • 在GitHub上已开源 https://eksctl.io/ • 由Weave 和 AWS 共同构建 • Amazon EKS 官方支持的CLI工具 © 2019, Amazon Web Services, Inc. or its Affiliates © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential 云端安全工具 Amazon Inspector AWS KMS AWS Secrets Manager AWS WAF AWS IAM Amazon GuardDuty Amazon Macie centralized-container-logging-fluent-bit/ • 新增 AWS FluentBit 容器插件 • 优化成本. Route logs from Amazon EKS 和 Amazon ECS 集群的日志会直接发送到S3， 并且通过 Amazon Athena 进行 即席查询 • 开源工具 • 比 Fluentd效率更高，测试显示 Fluentd 占用 4倍 CPU 和 6倍 的内存资源

SACC2017 Kubernetes架构简介 SACC2017 Kubernetes (K8s)项目 19 • 开源的容器管理平台 • 自动化编排和部署 • 自动化扩展 • 优化资源使用 • 运维容器化应用 • CaaS，介于PaaS和IaaS之间 SACC2017 20 Kubernetes 架构 SACC2017 21 K8s 集群模型 • Pod：包括Fabric peer，couchDB（可选）， 代 表每个组织的peer节点 • CA Server Pod： Fabric CA Server • CLI Pod：（可选）提供命令行工具的环境，方便操作本 组织的节点 • Orderer Pod：运行Orderer节点 • Kafka Pod：运行kafka节点 • Zookeeper Pod: 运行zookeeper节点 – ordererN的映射关系为：ordererN:7050 -> worker:23700+N Service的外部调用 SACC2017 通过cryptogen工具生成证书。cryptogen工具根据cluster-config.yaml来 生成证书，并按一定目录存放这些证书: OrdererOrgs: - Name: Orderer Domain: orgorderer1