Kubernetes 运行大数据工作负 载的探索和实践 Leibo Wang(wang.platform@Hotmail.com) Huawei CloudBU Principal Engineer 王雷博 Principal Software Engineer • Huawei(Now) - Cloud Native batch system (Volcano) development

Spring Cloud Alibaba 在 Kubernetes 下的微服务治理最 佳实践 方剑 阿里云云原生应用平台 高级开发工程师 观看视频回放 • Spring Cloud Alibaba PMC member • Apache RocketMQ Committer • Alibaba Nacos Committer • 阿里云 MSE 云产品核心研发 方剑(洛夜)自我介绍 ces 微服务拆分原则 DevOps 服务框架 Dubbo 可观测性 混沌工程 服务治理 Spring Cloud 多语言微服务 API管理 服务压测 分布式事务 分布式调度 API网关 服务注册发现 负载均衡 服务配置 无损下线 服务容错 服务路由 服务鉴权 限流降级 服务元数据 服务测试 服务mock 持续集成 IDE插件 应用监控 链路追踪 日志管理 应用诊断 云边端一体化开发部署联调 • 服务治理体系强依赖SDK升级 • K8s下应用IP的不确定、导致服务治理规则的失效 • 应用迁移上云成本很高 • 极致、灵活的弹性 微服务在云原生下的挑战 后端服务BaaS化 DB，MQ, Redis, 注册中心、配置中心、服务治理中心 服务治理下沉、透明化 Java Agent, Sidecar, Java治理和Mesh治理的统一， 应用0成本上云 部署形态多云、混合云化

等多个项目的发起人 • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 背景 • Kubernetes 规模增大 10 倍以上  公司业务快速发展  存储、大数据、机器学习等场景云原生化 • 新场景对 Kubernetes 性能要求更高  离线场景，Pod 生命周期短、变更频率高 如何扩展 Kubernetes 集群 单个集群规模垂直扩展 多个集群横向扩展 事务 • 支持 CAS • 支持快照读 • 高性能 存储层 - 数据格式 etcd KubeBrain 能否使用类似的格式？ 1. 否 2. 底层存储引擎全局有序，有写热点那问题 Etcd 以 Revision 为 Key 内存 Btree 索引维护 key 和 revision 的映射关系 存储层 - 数据格式 KubeBrain 逻辑层 逻辑层 – 写 逻辑层 – Watch（1） 仅主节点负责写入和事件生成 2. 从节点只读 逻辑层 – Watch（3） • Master 内存中保留最近写入的 事件 • 写入滑动窗口记录并发写操作的 结果 • 消费滑动窗口中的数据实现有序 的 Event 推送 • 当前消费的最大位置为 Brain 层 的 Committed Index，与 快照 读有关 逻辑层 – 单 Key 读 逻辑层 – Range 读 逻辑层

发布日期：2023-09-14 版权 © 2023 DaoCloud 第 2 页 目录 简介 3 九大能力 4 多云编排 4 中间件服务 4 微服务治理 5 可观测性 5 应用商店 6 应用交付 6 信创异构 7 云边协同 7 云原生底座 8 模块化搭建 8 容器管理 9 全局管理 10 可观测性 帮助您洞察集群、节点、应用和服务的详细指标，并通 过动态仪表盘和拓扑大图可视化掌握应用健康状态。 DCE 5.0 原生支持 DevOps 开发运维模式，可以实现应用交付的全流程标准化 和自动化，并集成各类精选数据库和中间件，使运维治理更加高效。各个产品 模块独立解耦，支持灵活升级，对业务没有影响，并且能够与众多云原生生态 产品对接，提供完整的解决方案体系。 它经过了近千家行业客户的生产场景检 验，构建了坚实、可靠的数字 的存储需求，提升运 维管理效率。精选各类数据库、分布式消息和日志检索等中间件，提供多租户、部 署、观测、备份、运维操作等全生命周期的中 间件管理能力，实现数据服务的自助化 申请、弹性扩展、高并发处理和稳定高可用。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储、精选中间件 版权 © 2023 DaoCloud 第 5 页 微服务治理 提供非侵入式流量治理功能，支持无感接入传统微服务、云原生微服务和开源微服务

展和服务模式创新的集中体现，是信息化发展的重大变革和必然趋 势，是信息时代国际竞争的制高点和经济发展新动能的助燃剂。云 计算引发了软件开发部署模式的创新，成为承载各类应用的关键基 础设施，并为大数据、物联网、人工智能等新兴领域的发展提供基 础支撑。加快推动云计算创新发展，顺应新一轮科技革命和产业变 革趋势，是推进中国式现代化进程的关键。 过去一年，全球和我国云计算产业保持快速发展，并呈现出以 四、云计算加速催生算力服务新范式..................................................................... 32 （一）架构方面，云计算支撑算力服务以数据为中心.................................. 32 （二）功能方面，云计算持续驱动算力服务创新发展.................................. 济、军事、科技等方面的领先地位。2021 年 5 月，美国国防部公布 美国本土以外（OCONUS）的战术边缘云战略，明确提出将通过云 战略获取全球优势。美国国立卫生研究院（NIH）表示将在 2023 年 实施新的数据管理政策，促进更多的研究人员使用云计算。此外， 美国在 2022 年 9 月发布了《国家竞争力面临的十年中期挑战》，其 中提到通过发展云计算等高新科技，健全数字基础设施，以扩大其 在经济、军事、科技等方面的竞争优势。

日志采集 加载配置 监控采集 资源隔离 故障转移 资源调度 权限控制 编译 部署 2014年6月K8S开源 微服务的生命周期 第二部分 微服务的生命周期 开发 测试 部署 启动 调用 治理 微服务的开发阶段 配置 对接 Debug • 配置驱动 • 配置补齐 • 配置工具 统一配置、调用用方式，降低开发心智负担 • Proto的管理 • 错误码管理 • 调试gRPC directory} • 实现我们自定义的error类型，方便断言。 • 根据注解的code信息，在错误码中生成对应的grpc status code • 确保错误码唯一，后续在API层响应用户数据确保唯一错误码，例如: 下单失败(1008) • errors里设置with message，携带更多的错误信息 微服务的开发阶段 配置 对接 Debug • 配置驱动 • 配置补齐 • 调试gRPC • 调试信息 • 错误定位 • 展示各种组件gRPC、HTTP、MySQL、Redis、Kafka调试信息 • 六元组（配置名、请求URL、请求参数、响应数据、耗时时间、执行行号） • 响应数据结构是否正确 • 响应是否有错误 微服务的开发阶段 • 遵循Fail Fast理念，核心错误尽早panic • Panic的错误码，组件、配置名、错误信息 • 高亮显示

程亮 多云多K8S多环境 程亮 • 开课吧 首席架构 技术委员会主席 • 负责公司微服务建设，多环境治理搭建，公司中长期技术规划 • 目录 2018 2019 2020 2021 K8S多环境 • 基于jenkins的传统发布 K8S多环境发布一期方案 • 一期通过K8S发布，一键master • 新增服务模版，自动生成deployment K8S多环境二期优化实战 • 一套代码，支持多种环境 如何确保环境间资源互不影响 ‣ 一期方案存在的问题与挑战 ‣ 如何实现线下多环境 • 一键拉起环境 注意点 • 数据建设依赖于规划 • 数据如何切分 原理 • 所有镜像自动生成 • 一键master镜像部署 1. 注册中心 2. Mysql Redis ES 3. 全链路微服务 4. 自动数据同步 • 一期多环境平台架构图 CDN / LB / WAF / NG K8S集群 namespace1 service3 … jenkins 用户中心数据库 API网关数据库 应用中心数据库 基础服务数据库 基础服务数据库 … … … • 多环境资源互不影响 微服务 • 全链路服务全部属 • 注册中心独立部署 流量隔离 • 多域名，泛域名解析匹配 数据 • 全量同步线上脱敏数据 • Mysql redis ES 全搭建 • 数据全部物理隔离 发布平台 • 按需分支发布 • 多环境完全并行

Hui Chi , Kai Chen 今日话题 项目背景 1 产品与技术详情 3 建设思路与整体方案 2 今⽇话题 数据 技术 应⽤ 数据 技术 应⽤ 数据 技术 应⽤ 数据 技术 应⽤ 数据 • 标准不统⼀ • 重复录⼊ • 数据不⼀致… 技术平台 • 规范不⼀致 • 组件不复⽤ • 集成共享难… 应⽤ • 功能单⼀ • 管理型居多 • 适应性不⾜… • 建设周期⻓ • 存在重复建设 • 投资回报低 • 系统维护成本⾼… 系统应⽤ • 数据分散，到处找 • 应⽤独⽴，难协同 • ⼀体化应⽤，不⽀持 • 需求响应效率低… 业务信息系统现状 容器平台 DevOps 微服务治理 统一技术平台 上游全业务链数据 数据治理 统一数据湖 勘探生产管理 通用应用 开发生产管理 协同研究 经营管理与决策 总体架构 项目背景 1 产品与技术详情 持续构建与测试 保障代码质量，提升开发效率 知识共享 知识共享与积累，不断完善，持 续学习改进 认证与改进 持续优化， 形成闭环 运维监控 运⾏状态可视化，数据化，降低 部署⻛险，快速反馈 运营统计 全链路指标统计，为持续改进提 供数据⽀撑 学习培训 保障平台使⽤效果，快速实践落 地 DEVOPS⼯具 DEVOPS体系构成 企业级DEVOPS全景图 调度 ⺴络 存储 K8S 基础设施

小型设备上运行大语言模型，特别是在边缘设备和资源受限的环境中。我们还提到有望提高性能的 ReAct 提示 工程，以及利用大语言模型驱动的自主代理开发远超简单的问答交互的动态应用。我们也提到一些向量数据库 （包括 Pinecone）由于大语言模型而重新流行起来。大语言模型的底层能力，包括更专业化和自行托管的能力， 将继续呈爆发性增长。 远程交付解决方案日臻成熟 尽管远程软件开发团队多年来利 采纳 1. 设计系统 2. 轻量级的 RFCs 方法 试验 3. 具有可访问性意识的组件测试设计 4. 攻击路径分析 5. 自动合并依赖项更新 PR 6. 针对 FAIR 数据的数据产品思维 7. OIDC for GitHub Actions 8. 使用 Terraform 创建监控和告警 9. ReAct 提示工程 10. 检索增强生成 11. 基于风险的故障建模 采纳 1. 设计系统 2. 轻量级的 RFCs 方法 试验 3. 具有可访问性意识的组件测试设计 4. 攻击路径分析 5. 自动合并依赖项更新 PR 6. 针对 FAIR 数据的数据产品思维 7. OIDC for GitHub Actions 8. 使用 Terraform 创建监控和告警 9. ReAct 提示工程 10. 检索增强生成 11. 基于风险的故障建模