1 梁成 腾讯云, barryliang@tencent.com 基于Consul的多Beats接入 管控与多ES搜索编排 2 拥抱开源、释放云原生的力量 • 背景与挑战 • 多Beats/Logstash接入管控 • 多ES搜索编排系统 • 日志AIOps探索 3 背景与挑战 产品数量 人员规模 主机规模 100+ 1000 + 10000 + 如何降低日志接入门槛 如何降低日志接入门槛 如何保证日志实时上报 如何保障日志采集不影响业务 如何做配置标准化 如何帮助业务快速排障 如何提供方便便捷的性能分析 调优能力 … 4 多Beats/Logstash接入 管控 提供多产品接入管理，多beats标准 化、界面化、自动化的日志接入方案 5 案例:1000+业务10000+台 主机如何快速实现日志接入？ 业务规模 1000+业务、 10000+业务主机、每天百T日志增量 从Consul中获取当前agent的配置组列表，并 启动多个采集进程 配置变更感知 watch到Consul对应的agent id路径，实时感 知配置变化，并对启动的进程列表做重启清理 等工作 管理多Beats/logstash Beats等以agent子进程启动其管理这些进程的 cpu/内存等资源 Agent Consul Master 获取master列表 向master发起Agent注册逻辑

陈鹏 开源多集群应用治理项目 Clusternet 在多点生活的云原生实践 陈鹏 多点生活 平台架构-基础架构工程师 个人简介 • 开源项目 MOSN 核心 Committer • 主要负责容器服务整体架构的设计与开发 • 主导 ServiceMesh 落地相关工作 目录 多集群管理现状 Operator 迭代 反思&重构 整体架构 • 多单元 • 多集群 • 多分组 多种公有云（腾讯云、微软 云等） 核心组件-Symphony CI/CD 业务方使用 对外提供统一API 运行情况展示 应用在多集群运 行状态收集 应用维护，日志 查看，故障排查 应用发布 Operator API • 对使用方屏蔽多单元、多集群的存在 • 提供简单的、无需运维介入的日常维护功能 • 结合监控，可以查看每个实例的运行情况 • 支持离线日志查看，减少对容器的理解 客户端 • CI/CD流程耦合 2019～2020 • 使用 Go 重构 CD 流程 • 多云环境适配 • Service Mesh 落地 • Multi runtime 支持 2021～ • 多商家私有云适配 • HPA 支持 • …… https://github.com/symcn/sym-ops CRD AppSet： spec: chart: "****:v1" clusterTopology:

多雲一體就是現在: GOOGLE CLOUD 的 KUBERNETES 混合雲戰略 安玟宇 Wayne An Customer Engineer, Google Cloud WayneAn@google.com 安玟宇 Wayne An Customer Engineer, Google Cloud WayneAn@google.com 多雲一體就是現在: Google Cloud 涵蓋Web/App/DB皆有多 樣化代管服務可以組合出 最適架構 自動化部署 與開放平台以及開發環境 整合，加速應用上線 Google Cloud Taiwan 優勢 Google Infrastructure event driven functions web apps & APIs orchestrate containers infrastructure 使用多層次的架構重塑雲端佈署

14.2. 了解断开连接的安装镜像 14.3. 使用基于代理的安装程序安装 OPENSHIFT CONTAINER PLATFORM 集群 14.4. 为 KUBERNETES OPERATOR 的多集群引擎准备基于 AGENT 的集群 第 第 15 章 章 在 在单 单一 一节 节点上安装 点上安装 15.1. 准备在一个节点上安装 15.2. 在单一节点上安装 OPENSHIFT 第 第 也称为 control plane 机 器。 Compute 节 节点 点 负责执行集群用户工作负载的节点。也称为 worker 节点。 断开 断开连 连接的安装 接的安装 在有些情况下，数据中心的部分环境可能无法访问互联网，甚至无法通过代理服务器访问。您仍可在 这些环境中安装 OpenShift Container Platform，但需要先下载所需的软件和镜像，并将其保存在离线 环境中。 Cloud（VMC） 裸机或其他平台基础架构 您可以将 OpenShift Container Platform 4 集群部署到内部硬件环境，或部署到云托管服务中，但集群中 的所有机器都必须位于相同的数据中心或云托管服务中。 如果要使用 OpenShift Container Platform，但不想自行管理集群，则有几个受管服务选项。如果要完全 由红帽管理的集群，可以使用 OpenShift Dedicated

的虚拟化产品，发 现这些产品与 VMware 产品相比，在功能和性能方面都显得不足。” — David Greer，HelioVolt Corporation 信息服务主管 虚拟化管理程序是虚拟化数据中心的核心基础。与很多刚刚涉足虚拟化领域的供应商在市场上积极宣 传不同，虚拟化管理程序不是商品。各种虚拟化管理程序之间存在着根本差异，它们将影响您的虚拟 化体验。选择哪种虚拟化管理程序，将决定您是否能够成功地将虚拟化引入您的 是最可靠且功能最强大的 虚拟化平台。VMware ESX 于 2001 年推出，现在已发展到第三代，已经在全世界数以万计的客户 部署上得到验证。其他虚拟化管理程序仍然是“1.0 版”产品，既没有在生产数据中心中进行验证， 也缺乏提供客户亟需的可靠性、可扩展性和性能所需的核心功能。 因此，虽然其他供应商试图在以下方面跟上 VMware 的步伐，但是 VMware 即将推出的版本会将 ESX 提升为 Hyper-V、Xen 和 KVM：代码太多 就虚拟化而言，越小越好。虚拟化占用的空间越小，外部威胁的攻击面就越小，因此可以极大地降低 所需的补丁程序的数量，而这不仅可以提高产品的可靠性，而且还能提高数据中心的稳定性。 VMware 一贯致力于提高虚拟化可靠性，开发了业界最小的虚拟化管理程序 VMware ESXi，这同时 也是第一个完整的 x86/x64 虚拟化体系结构，无需依赖通用操作系统。VMware

CONTAINER PLATFORM 集群 14.4. 为 OPENSHIFT CONTAINER PLATFORM 准备 PXE 资产 14.5. 为 KUBERNETES OPERATOR 的多集群引擎准备基于 AGENT 的集群 14.6. 基于代理的安装程序的安装配置参数 第 第 15 章 章 在 在单 单一 一节 节点上安装 点上安装 15.1. 准备在一个节点上安装 15.2 也称为 control plane 机 器。 Compute 节 节点 点 负责执行集群用户工作负载的节点。也称为 worker 节点。 断开 断开连 连接的安装 接的安装 在有些情况下，数据中心的部分环境可能无法访问互联网，甚至无法通过代理服务器访问。您仍可在 这些环境中安装 OpenShift Container Platform，但需要先下载所需的软件和镜像，并将其保存在离线 环境中。 vSphere 裸机或其他平台基础架构 您可以将 OpenShift Container Platform 4 集群部署到内部硬件环境，或部署到云托管服务中，但集群中 的所有机器都必须位于相同的数据中心或云托管服务中。 如果要使用 OpenShift Container Platform，但不想自行管理集群，则有几个受管服务选项。如果要完全 由红帽管理的集群，可以使用 OpenShift Dedicated

--log-level=info 2 OpenShift Container Platform 4.6 在 在 vSphere 上安装 上安装 18 e. 选择要连接的 vCenter 实例中的数据中心。 f. 选择要使用的默认 vCenter 数据存储。 注意 注意 数据存储和集群名称不能超过 60 个字符，因此请确保组合字符串长度不超过 60 个字符的限制。 g. 选择要在其中安装 vCenter OpenShift Cluster Manager 清单正确后，可以由 Telemetry 自动维护，也可以使用 OpenShift Cluster Manager 手动维护，使用订阅监控来跟踪帐户或多集群级别的 OpenShift Container Platform 订 阅。 其他资源 有关 Telemetry 服务的更多信息，请参阅关于远程健康监控。 $ oc create -f pvc vCenter 实例的名称。 iv. 指定创建集群所需的权限的 vCenter 帐户的用户名和密码。 安装程序连接到您的 vCenter 实例。 v. 选择要连接的 vCenter 实例中的数据中心。 vi. 选择要使用的默认 vCenter 数据存储。 vii. 选择要在其中安装 vCenter 集群的 OpenShift Container Platform 集群。安装程序使用 #

Cloud（VMC） 裸机或其他平台基础架构 您可以将 OpenShift Container Platform 4 集群部署到内部硬件环境，或部署到云托管服务中，但集群中 的所有机器都必须位于相同的数据中心或云托管服务中。 如果要使用 OpenShift Container Platform，但不想自行管理集群，则有几个受管服务选项。如果要完全 由红帽管理的集群，可以使用 OpenShift Dedicated 集群，并将 OpenShift Container Platform 3 工作负载迁移到它们。有关迁移的更 OpenShift Container Platform 4.7 安装 安装 56 多信息，请参阅 OpenShift 迁移最佳实践。由于必须迁移到 OpenShift Container Platform 4，因此可以 使用任何类型的生产环境集群安装过程来创建新集群。 2.1.3. 3 每个区域 20 个 在默认情况下，每个集群为 master API 服务器创建一个 内部和外部网络负载均衡器，并为路由器创建一个典型 的弹性负载均衡器。使用类型 LoadBalancer 部署更 多 Kubernetes Service 对象将创建额外的负载均衡 器。 NAT 网关 5 每个可用区 5 个 集群在每个可用区中部署一个 NAT 网关。 弹性网络 接口 (ENI) 至少 12 个

Cloud（VMC） 裸机或其他平台基础架构 您可以将 OpenShift Container Platform 4 集群部署到内部硬件环境，或部署到云托管服务中，但集群中 的所有机器都必须位于相同的数据中心或云托管服务中。 如果要使用 OpenShift Container Platform，但不想自行管理集群，则有几个受管服务选项。如果要完全 由红帽管理的集群，可以使用 OpenShift Dedicated Platform 4。相反，您必须创建新的 OpenShift Container Platform 4 集群，并将 OpenShift Container Platform 3 工作负载迁移到它们。有关迁移的更 多信息，请参阅 OpenShift 迁移最佳实践。由于必须迁移到 OpenShift Container Platform 4，因此可以 使用任何类型的生产环境集群安装过程来创建新集群。 2.1.3. AdministratorAccess 策略。 5. 记录访问密钥 ID 和 Secret 访问密钥值。在配置本地机器时，您必须使用这些值来运行安装程 序。 重要 重要 在部署集群时，您无法在使用多因素验证设备来验证 AWS 的同时使用您生成的临 时会话令牌。在集群的整个生命周期中，集群会持续使用您的当前 AWS 凭证来创 建 AWS 资源，因此您必须使用基于密钥的长期凭证。 其他 其他资 资源