1 梁成 腾讯云, barryliang@tencent.com 基于Consul的多Beats接入 管控与多ES搜索编排 2 拥抱开源、释放云原生的力量 • 背景与挑战 • 多Beats/Logstash接入管控 • 多ES搜索编排系统 • 日志AIOps探索 3 背景与挑战 产品数量 人员规模 主机规模 100+ 1000 + 10000 + 如何降低日志接入门槛 如何降低日志接入门槛 如何保证日志实时上报 如何保障日志采集不影响业务 如何做配置标准化 如何帮助业务快速排障 如何提供方便便捷的性能分析 调优能力 … 4 多Beats/Logstash接入 管控 提供多产品接入管理，多beats标准 化、界面化、自动化的日志接入方案 5 案例:1000+业务10000+台 主机如何快速实现日志接入？ 业务规模 1000+业务、 10000+业务主机、每天百T日志增量 传统Beats接入流程 配置更改 现网配置是否全部一致？ 日志上报是否有延时？ Filebeat是否资源消耗过多？ Filebeat异常退出如 何处理？ 如何做上报性能调优？ 6 系统架构 云Kafka Api-server2 Consul 云ES Agent-1 Agent-N Agent-1 Agent-N 数据流 配置监听 Agent注册 配置下发 Web-UI

陈鹏 开源多集群应用治理项目 Clusternet 在多点生活的云原生实践 陈鹏 多点生活 平台架构-基础架构工程师 个人简介 • 开源项目 MOSN 核心 Committer • 主要负责容器服务整体架构的设计与开发 • 主导 ServiceMesh 落地相关工作 目录 多集群管理现状 Operator 迭代 反思&重构 整体架构 • 多单元 • 多集群 • 多分组 核心组件-Symphony CI/CD 业务方使用 对外提供统一API 运行情况展示 应用在多集群运 行状态收集 应用维护，日志 查看，故障排查 应用发布 Operator API • 对使用方屏蔽多单元、多集群的存在 • 提供简单的、无需运维介入的日常维护功能 • 结合监控，可以查看每个实例的运行情况 • 支持离线日志查看，减少对容器的理解 迭代历程 2017～2019 • 基于Helm包管理 客户端 • CI/CD流程耦合 2019～2020 • 使用 Go 重构 CD 流程 • 多云环境适配 • Service Mesh 落地 • Multi runtime 支持 2021～ • 多商家私有云适配 • HPA 支持 • …… https://github.com/symcn/sym-ops CRD AppSet： spec: chart: "****:v1" clusterTopology:

从【数据库中间件】到【云原生】 ——Apache ShardingSphere 架构演进 Apache Dubbo/ShardingSphere PMC 秦金卫（kimmking） 2020-12-04 20:00 云 原 生 学 院 # 1 2 目录 1.数据库框架：从数据库的性能与容量到数据库框架技术的产生 2.数据库中间件：从框架技术到分布式的数据库中间件技术 3.分布式数据库：从数据库中间件技术发展到分布式数据库 计算机领域的任何问题都可以通过增加一个中间层来解决。 数据库框架技术：在业务侧增强数据 库的能力。 直接在业务代码使用。 支持常见的数据库和JDBC。 轻量级，不需要额外的资源和机器。 1.数据库框架 1、改造对业务系统具有较大侵入性； 2、对于复杂的SQL，可能不支持； 3、对于跨库和跨分片的数据，需要额外机制保障一致性； 4、缺乏较好的数据平滑迁移和过渡方案； 5、Java Only（或其他）。 对业务系统侵入性小。 透明化的引入中间件，像一个数据库一样提供服务能力。 2.数据库中间件 1、框架本身的一些问题； 2、需要单独的资源部署，以及维护； 3、接入端需要实现数据库协议，对非开源数据库无法支持。 数据库中间件使用的约束： 3.分布式数据库 3.分布式数据库 类库/框架 数据库中间件 分布式数据库 数据网格 TDDL Sharding-JDBC DRDS Sharding-Proxy

Data Runtime Middleware OS Virtualization Servers Storage NetWorking PaaS 硬件与虚拟化厂商提供，如果是HCI架构， 作为总体集成方，会降低安全集成成本 可信计算环境：OS安全、TPM加密、TEE可信环境 云原生安全：镜像安全、镜像仓库安全、容器加固隔离、通信零信任 (Istio零信任、Calico零信任、 调 上 线 前 解 决 一 切 问 题 ， 某 一 环 节 堵 塞 影 响 全 局 D e v O p s 效 率 。 依 赖 于 人 员 个 人 经 验 来 先 验 的 进 行 实 施 ， 而 很 多 入 侵 风 险 是 不 可 预 知 的 ！ 标准化能力-承载无忧-E2E云原生纵深安全保障-3-与传统安全方案的差 异 安全问题左移一个研发阶段，修复成本就将 提升十倍，所以将安全自动化检查和问题发 云原生PaaS平台 • 四大件在云原生场景下带来什么客户 价值？ • 四大件在云原生场景下技术架构有什 么创新？ 业务异步化|削峰填谷 高级能力-云原生数据库-应用的基石-1-价值和差别 先从一个广告词来看看云原生数据库和一般数据库的差别 项目 传统数据库 Oracle 云原生 数据一体机 存储架构 存算一体: 调整困难、只能满 足一定的吞吐量要 求 存算分离: 自动调整、拓展能 力强，满足更大吞

图 17 绕过 Istio JWT 认证访问结果........................................................45 图 18 云原生应用保护能力建设架构图....................................................47 图 19 制品安全能力建设............................. 明确云原生和云原生安全。 1.1.1 云原生 2015 年，Pivotal 的高级产品经理 Matt Stine 发表新书《迁移到云原生 应用架构》，探讨了云原生应用架构的 5 个主要特征：符合 12 因素应用、面 向微服务架构、自服务敏捷架构、基于 API 的协作和抗脆弱性。同一年，Google 作为发起方成立 CNCF，指出云原生应该包括容器化封装、自动化管理、面向 微服务。到了 2018 弹性可靠、松耦合、易管理可观测的应用系统，提升交付效率，降低运维复杂度， 代表技术包括不可变基础设施、服务网格、声明式 API 及 Serverless 等。云 原生技术架构的典型特征包括：极致的弹性能力，不同于虚拟机分钟级的弹性响 应，以容器技术为基础的云原生技术架构可实现秒级甚至毫秒级的弹性响应；服 务自治故障自愈能力，基于云原生技术栈构建的平台具有高度自动化的分发调度 调谐机制，可实现应用故障的自动摘除与重构，具有极强的自愈能力及随意处置

缺少作业概念、缺少完善的生命周期的管理 • 缺少任务依赖、作业依赖支持 调度策略局限 • 不支持Gang-scheduling、Fair-share scheduling • 不支持多场景的Resource reservation，backfill • 不支持CPU/IO topology based scheduling 领域框架支持不足 • 1:1的operator部署运维复杂 • 不同框架对作业管理、并行计算等要求不通 不同框架对作业管理、并行计算等要求不通 • 计算密集，资源波动大，需要高级调度能力 资源规划复用、异构计算支持不足 • 缺少队列概念 • 不支持集群资源的动态规划以及资源复用 • 对异构资源支持不足 传统服务 大数据 人工智能 云原生大数据平台 大数据、AI等批量计算场景 云原生化面临的挑战 Volcano 架构 项目概况： • 业界首个云原生批量计算平台 • 2019年6月开源，2020年进入CNCF，目前是CNCF孵化级项目 1. 统一的作业管理 提供完善作业生命周期管理，统一支持几乎所有主流的计算框架，如 Pytorch, MPI, Horovod, Tensorflow、Spark等。 2. 丰富的高阶调度策略 公平调度、任务拓扑调度、基于SLA调度、作业抢占、回填、弹性调度、 混部等。 3. 细粒度的资源管理 提供作业队列，队列资源预留、队列容量管理、多租户的动态资源共享。 4. 性能优化和异构资源管理

(邹佳), VMware主任工程师/Harbor 核心维护者和架构师 Harbor-助你玩转云原生 关于我 Steven(佳) Zou(邹)，VMware中国研发中心主任工程师， Harbor开源项目架构师及核心维护者，拥有十多年软件研发及 架构经验，获得PMP资格认证及多项技术专利授权。曾在HPE、 IBM等多家企业担任资深软件工程师和架构师，专注于云计算及 云原生等相关领域的研究与创新。著有《Harbor权威指南》等 steven-zou >> Slack: steven zou 目录 - 开场：云原生与制品管理 - 初识Harbor：云原生制品仓库服务 - 使用Harbor搭建私有制品仓库服务 - 资源隔离与多租户管理模型 - 制品的高效分发(复制、缓存与P2P集成) - 制品的安全分发(签名、漏洞扫描与安全策略) - 资源清理与垃圾回收 - 构建高可用(HA)制品仓库服务 - Harbor集成与扩展 - 路线图 GitHub访问/访问者* 40K+/10K+ Fork 4000+ 下载* 5K+ *: 数据周期10/02-10/16 (2周) 初识Harbor [2] – 社区 初识Harbor [3] – 整体架构 截止：v2.0 初识Harbor [4] – 功能 … 项目N 制品管理 访问控制(RBAC) Tag清理策略 Tag不可变策略 P2P预热策略 缓存策略

云原生学院 第 22 期 云原生产品与架构系列：第1讲 曾任阿里巴巴、华为架构师、深信服云原生产品规划主管 10月27日（周三）晚8点-9 点 高磊 主 办 方 ： 互 动 平 台 ： 企业从信息化到数字化的转型带来大量的应用需求 软件组件 运行环境 部署平台 …… …… 应用丰富及架构演进带来的开发和运维复杂性 本地IDC 虚拟化 超融合 公有云 …… 测试环境 生产环境 复杂的应用软件架构，在开发、测试、运维 团队之间建成了认知的“墙”，团队间配合效 率低，故障排查慢，阻碍了软件价值的流动 无法满足用户对于业务快速研发、 传统稳态业务环境难以高效承载敏态应用 发现故障 （假死） 创建 新实例 配置 运行环境 部署当前 应用版本 添加 监控 配置 日志采集 测试确认 服务正常运行 实例 加入集群 恢复正常 工作量 成本 新一代架构（微服务）应用的对承载平台提出新要求 传统实践中，主要采用虚机/物理机+SpringCloud等微服务框架的方式承载微服务应用。但在一个虚机/服务器上 部署多个微服务会产生如下问题—— • 资源预分配，短时间内难以扩展

高级能力-自动化-AIoT以及赋能业务-边缘计算(Edge Cloud )-1 远端控制 云端分析系统 设备端 自动化解决用户使用体验问题，计算量属于窄带范畴， 所以计算算力重点在于云端，云端计算体系架构成熟， 成本较低，在业务上本地的设备根据模式信号反馈一些 动作，比如下雨关窗帘，是自动化范畴，上传云端的数 据都是属性数据，比如谁什么时候干了什么，后续云端 根据个人喜好数据为用户提供比如按照个人喜好调节温 • 低代码平台与企业技术 栈的融合能力成为一个 重要的考验指标 • 有的企业系统已经运行 了几十年，拥有自己的 UI 体系、数据库体系和 中台体系，完全更改是 不现实的，低代码平台 要做的是与这么多技术 融合，帮助企业更好地 改进。 • 降本增效是最初级的成 果，如果能够深入企业 业务当中，低代码平台 可以带来的东西会更多。 将业务沉淀抽象化(比如 中台化),向上呈现。 • 低代码平台可以把不同 企业可以在业务高峰时使用混合云补充 算力，并在低谷时从公有云撤回算力， 经济性和业务支撑两不误 • 可以结合私有云和公有各自的优势，尤 其是数据安全方面，这是客户使用公有 云的最大顾虑 • 在云原生产生之前，混合云架构就存在 了，云原生的混合云，除了具备传统混 合云的属性和特性，也同时具备了支撑 现在应用程序更好在不同云形态部署、 运行的能力。 • 云之间同步服务元数据为相同的服务治 理提供基础，同步镜像，为同一服务拓

技术调研，到产品孵化，历经重重困难，最终通过双 11 规模化验证。借力开源、反哺开 源，进行 Cloud Native 生态融合，在实践的道路上一步步的走向云原生。 2018年3月 MOSN 诞生 支持 Service Mesh 核心支付链路覆 盖 MOSN 宣布独立运营 CNCF landscape V0.13.0 发布， 进行云原生组 件生态融合 Istio 官方推荐 数据面 MOSN Xprotocol 框架 • 支持 WASM • 区块链网络框架 • 代码热更新 • 高性能网络层扩展 • fastGRPC • 协程收敛 epoll 模型 • CGO 性能优化 • 支持 zipkin，Jaeger 等 • 支持 ZK，Nacos 等 • 支持 Dubbo 3.0 • 支持 thrift， kafka 等 协议 • 支持 Istio 1.10 • 支持 Ingress 和 Gateway • 推动 UDPA 多协议建 设 核心能力 微服务 性能优化 MOSN 网络层扩展思考和选型 MOE 背景介绍 — 什么是 MOE 处理性能高 （C++） 研发效能高 (GoLang、生态) 高性能、高研发效能、生态打通 MOE = MOSN + Envoy 相互融合，各取所长 在 Service Mesh 领域，Envoy 和 MOSN 作为 其数据面