Kubernetes开源书 - 周立Kubernetes旨在⽀持各种各样的⼯作负 载,包括⽆状态、有状态以及数据处理⼯作负载。 如果应⽤程序可在容器中运⾏,那么它应该能够很好地在 Kubernetes上运⾏。 不提供中间件(例如消息总线)、数据处理框架(例如Spark)、数据库(例如MySQL),也不提供分布式存储系 统(例如Ceph)作为内置服务。 这些应⽤可在Kubernetes上运⾏。 没有点击部署的服务市场。 01-什么是Kubernetes Hyperthreading 允许⼩数。具有 spec.containers[].resources.requests.cpu=0.5 的容器,保证其所需的CPU资源是需要 1cpu 容器资 源的⼀半。表达式 0.1 等价于表达式 100m ,可看作“100millicpu”。有些⼈说“100 millicore”,表达的也是⼀个意思。 具有⼩数点的请求(如 0.1 ,会由API转换为 PodExceedsFreeCPU and possi bly others 在上述示例中,由于Node上的CPU资源不⾜,名为“frontend”的Pod⽆法调度。 如果内存不⾜,也可能会导致失败,并 提示类似的错误消息(PodExceedsFreeMemory)。⼀般来说,如果⼀个Pod处于pending状态,并带有这种类型的消 息,有⼏件事情要尝试: 向集群添加更多Node。 终⽌不需要的Pod,为处于pending的Pod腾出空间。0 码力 | 135 页 | 21.02 MB | 1 年前3
高性能 Kubernetes 元数据存储 KubeBrain 的设计思路和落地效果-许辰• 主负责写和事件分发 • 从负责读 • 底层对接分布式强一致性存储 • CAS 事务写 • 快照读 实现架构图 存储层 存储层 – 分布式 KV Store ByteKV • Multi Raft Goup • 全局有序 Range 分区 • 强一致性 • 支持多 key 事务 • 支持 CAS • 支持快照读 • 高性能 存储层 - 数据格式 etcd KubeBrain 存储层 - 数据格式 KubeBrain 逻辑层 逻辑层 – 写 逻辑层 – Watch(1) Watch 机制本质上是一个消息队列系统 1. 可靠性 - 不重复、不丢失 2. 顺序性 - 保证最终状态的一致性 3. 实时性 - 高性能 一定有一个单点对消息进行排序 采用主从架构 逻辑层 – Watch(2) 一主多从 1. 仅主节点负责写入和事件生成 2. 从节点只读 逻辑层 单点写 -> 多点写 multi raft range 分片,增大写并发 Brain 层无磁盘 io,只有网络 io 写优化 - 3 事务优化 精心设计 key 格式 一个 k8s 对象的索引和数据在同一分区内 跨分区分布式事务 -> 分区内单机事务 读优化 - 1 Range 读 Unary -> Stream 代替分页,降低延迟 内存高效复用,避免 OOM 读优化 - 20 码力 | 60 页 | 8.02 MB | 1 年前3
第29 期| 2023 年9 月- 技术雷达OIDC for GitHub Actions 8. 使用 Terraform 创建监控和告警 9. ReAct 提示工程 10. 检索增强生成 11. 基于风险的故障建模 12. 大语言模型半结构化自然语言输入 13. 追踪健康债务状况 14. 对告警规则的单元测试 15. CI/CD 的零信任保护 评估 16. 通过依赖健康检查化解包幻觉风险 17. 设计系统决策记录 18. GitOps OIDC for GitHub Actions 8. 使用 Terraform 创建监控和告警 9. ReAct 提示工程 10. 检索增强生成 11. 基于风险的故障建模 12. 大语言模型半结构化自然语言输入 13. 追踪健康债务状况 14. 对告警规则的单元测试 15. CI/CD 的零信任保护 评估 16. 通过依赖健康检查化解包幻觉风险 17. 设计系统决策记录 18. GitOps 。我们发现,当跨职能团队在系统演进过程中迭代使用该方法时 效果最好。在安全方面,基于风险的故障建模可以作为威胁建模和攻击路径分析的有益补充。 12. 大语言模型半结构化自然语言输入 试验 在使用大语言模型的各种应用中,我们在半结构化自然语言输入方面取得了成功。结构化输入,如 JSON 文档, 清晰而精确,为模型提供了所寻求响应类型的指示。以这种方式限制响应有助于缩小问题空间,并且可以产生0 码力 | 43 页 | 2.76 MB | 1 年前3
石油巨头与Kubernetes, Microservice & DevOps 共舞1114最终版租户管理与申请 ⼈员初始化 ⾓⾊权限职责 企业场景建设 配额管理 应⽤⺫录 DevOps⼯具链 其他⼯ 具 DevOps ⼯具 初始化 ⼈员⾓⾊权限 初始化 配额管理 ⼯具链⽀撑体系 事务 跟踪 ⼯具 知识 库 代码托 管 制品仓 库 镜像仓 库 测试管 理平台 流⽔线编 排⼯具 代码质 量管控 镜像安 全扫描 运营统 计⼯具 XXXX 指标统计 XXXX 开发任务关联需求 ü 事务管理⼯具对任务进⾏ 细粒度拆解 ü 设置合理的任务⼤⼩, 跟 踪开发状态 ü IDE 与DevOps⼯具紧密 集成 ü 代码变更管理任务 ü 本地代码扫描保证质量 ü 推荐Git 分⽀管理模型 ü 代码提交触发流⽔线 ü 流⽔线⾃动进⾏单元测 试 ü 流⽔线⾃动进⾏编译打 包 ü 流⽔线⾃动⽣成镜像 ü 流⽔线⾃动部署更新服 务 ü 事务管理⼯具跟踪状态0 码力 | 33 页 | 7.49 MB | 1 年前3
KubeCon2020/微服务技术与实践论坛/Spring Cloud Alibaba 在 Kubernetes 下的微服务治理最佳实践-方剑monoliths-to-microservices 微服务拆分原则 DevOps 服务框架 Dubbo 可观测性 混沌工程 服务治理 Spring Cloud 多语言微服务 API管理 服务压测 分布式事务 分布式调度 API网关 服务注册发现 负载均衡 服务配置 无损下线 服务容错 服务路由 服务鉴权 限流降级 服务元数据 服务测试 服务mock 持续集成 IDE插件 应用监控 链路追踪 新增 Dubbo Spring Cloud 模块 让 Spring Cloud 与 Dubbo 可以互相调用 2. 新增 Seata 模块,让 Spring Cloud 的服务调用拥有分布式事务能力 2019.4 1. 发布 GA 版本 2. Sentinel 成为官方推荐的 Circuit Breaker 实现 2019.7 Spring Cloud Alibaba 毕业 20190 码力 | 27 页 | 7.10 MB | 1 年前3
k8s操作手册 2.3象出多个网络子系统,各子系统都有自己 的网络设备、协议栈等,且互不影响;Docker容器服务给每个容器组创建一个 NameSpace,以及一个veth-pair设备,其中一半veth-x放在容器的NameSpace 里,另一半veth-y放在宿主系统的NameSpace里,再把位于宿主系统的这块veth 放到某个网桥里(如Docker0或cni0这些网桥) ★VxLAN大二层网络隧道0 码力 | 126 页 | 4.33 MB | 1 年前3
可觀測性 (Observability)
在 Kubernetes Day2
Operation的考量與實踐Master title style 22 不同類型的 Runbook • 手動 • Step-by-step instructions followed by the operator • 半自動 • A combination of operator- followed steps with automated steps • 全自動 • All steps are automated0 码力 | 30 页 | 3.01 MB | 1 年前3
QCon北京2017/支撑海量业务的互联网架构/知乎基于 Kubernetes 的 Kafka 平台探索和实践容错性 Broker Broker Broker Producer Consumer Topic Topic Topic Producer Consumer 平台承载知乎业务⽇日志、数据传输和消息队列列服务 平台线上稳定运⾏行行 基于 Kubernetes 的 Kafka 集群 13 个, 1000+ Topic 知乎技术平台重要的组件 Kafka 在知乎的应⽤用 平台概览 Kubernetes 客户端与服务器器注册联动 指标维度 举例例 Kubernetes 3 容器器内存、CPU、运⾏行行状态 Broker 14 消息量量,JVM, Leader分布,磁盘消耗 Topic 13 消息量量,消费延迟 主机 4 内存、⽹网络、CPU、磁盘 客户端 2 ⽣生产或消费 Topic 消息量量 监控 业务解耦 容器器⽇日志通过本地代理理收集 • 输出重定向 未来 谢谢0 码力 | 34 页 | 2.64 MB | 1 年前3
DaoCloud Enterprise 5.0
产品介绍涉及的模块:全局管理、容器管理、云原生网络、云原生存储、信创异构 中间件服务 专为有状态应用设计的云原生本地存储能力,满足中间件高 I/O 的存储需求,提升运 维管理效率。精选各类数据库、分布式消息和日志检索等中间件,提供多租户、部 署、观测、备份、运维操作等全生命周期的中 间件管理能力,实现数据服务的自助化 申请、弹性扩展、高并发处理和稳定高可用。 涉及的模块:全局管理、容器管理、云原生网络、云原生存储、精选中间件 即用: ➢ Elasticsearch 搜索服务:目前首选的全文搜索引擎 ➢ Kafka 消息队列:常用于消息传输的数据管道 ➢ MinIO 对象存储:非常热门的轻量对象存储方案 ➢ MySQL 数据库:简单易用、性能更高的开源关系型数据库 ➢ RabbitMQ 消息队列:常用于交易数据的传输管道 ➢ Redis 缓存服务:高性能的开源内存数据库 ➢ PostgreSQL0 码力 | 18 页 | 1.32 MB | 1 年前3
基于Kubernetes构建容器云平台的实践
- UCloud优刻得实验室负责⼈ 叶理灯⽇日志 权限 分析 集群管理理 版本管理理 配置管理理 链路路跟踪 负载均衡 ⾃自动容灾 持续集成 持续部署 灰度发布 服务注册/发现 关系数据库 KV存储 对象存储 块存储 DNS 消息队列列 API- Gateway 镜像仓库 统⼀一代码管理理 统⼀一编程框架 统⼀一通讯协议 统⼀一部署环境 计算平台/KUN 公共服务 存储平台 Think in Cloud . Prometheus,各个 Prometheus 独⽴立运⾏行行,采集同样的数据; B. 每个 AZ 下运⾏行行⼀一个 Alert Manager,每个 Alert Manager 接受两个 Prometheus 的消息,他们之间互为 peer,去除冗余报警; C. 每个 Prometheus 同时监控其他的 Prometheus,以及所有的 Alert Manager • Monitor Manager 部署在 线上服务健康检查复杂度⾼高 • 服务之间的调⽤用和发现配置⼯工作多 • 单个服务完全消耗云主机资源 商户管理理 购物商城 管理理后台 对接端 Ingress 订单系统 API 搜索服务 商品同步 消息队列列 Kafka集群 供应电商A 供应电商B 供应商 … 商城端 --巨⽯石架构 商城服务端 --微服务架构 商品系统 API …… Think in Cloud . 北北京0 码力 | 30 页 | 3.52 MB | 1 年前3
共 17 条
- 1
- 2













