1 梁成 腾讯云, barryliang@tencent.com 基于Consul的多Beats接入 管控与多ES搜索编排 2 拥抱开源、释放云原生的力量 • 背景与挑战 • 多Beats/Logstash接入管控 • 多ES搜索编排系统 • 日志AIOps探索 3 背景与挑战 产品数量 人员规模 主机规模 100+ 1000 + 10000 + 如何降低日志接入门槛 间设置等组件提高用户体验，尽量减少直接填 文本 前后端强类型 前端采用基于ts 的angular开发所有数据定义 与后端golang数据保持强一致，保证数据一致 性 15 多ES搜索编排系统 提供多ES多索引搜索编排功能，帮助 业务快速定位异常 16 故障定位遇到的困扰 客服 产品 运维 研发 多es切换 系统切换 采集 高负载 合作伙伴 OthersDB 17 案例:非APM场景下多组件日志搜索探索

云原⽣图数据库解谜、容器化实 践与 Serverless 应⽤实操 古思为 ⽅阗 Graph DB on K8s Demystified and its Serverless applicaiton in actions. DEVELOPER ADVOCATE @ MAINTAINER OF KCD China 2021 Nov. 6th @Shanghai 古思为 wey-gu ⽂档：Nebula 架构 官⽹：⽤户案例 ⼀个可靠的分布式、线性扩容、性能⾼效的图数据库 世界上唯⼀能够容纳千亿顶点和万亿条边，并提供毫秒级查询延时的图数据库解决⽅案 云原⽣时代的图数据库 容器化部署演进 Nebula Docker Nebula K8s Nebula Operator Nebula Operator 实现 Kubebuilder Scaffold CRD Control

22 2.2.5 针对镜像不安全配置的攻击................................................................ 22 2.3 路径 2：容器攻击....................................................................................... 23 2.3.1 守护进程攻击........................................................................................23 2.3.2 容器提权和逃逸攻击............................................................................24 2.3.3 拒绝服务攻击 .............25 云原生安全威胁分析与能力建设白皮书 2 2.3.4 容器网络攻击........................................................................................26 2.4 路径 3：编排工具攻击..........................................

把研发和运维的描述放在了一起；其二是Operator（CRD），我们不得不为不同 客户开发很多不同特质的Operator，交付成本依然很高。 定制Operator这种解决方案，看似 比较合理,但是强烈依赖于K8S这种 容器调度系统，无法做到通用化， 所以客户必须要求先做针对K8S的 应用改造。 K8S没有应用概念，用户面对的是Workload和Pod这样的概念，以及对应的运维概念（比如 HPA),在层次上是靠近对资源 以上解耦的结果，隐含着更深层次的能力，不是简单解耦那么简单，它使得统一通用PaaS成为可能 组件市场|仓库 平台运维特性 应用编排 运维特性编排 版本化 应用 • 两端解耦之后，两端方面都可以形成一个没有 私有PaaS特征依赖的市场，而强大的开源社区 比平台提供商自己还要强大，利用容器底座的 承载能力和OAM抽象化编排能力，可以不等排 期的构建各种特征的Paas。业务应用由于不依 赖于运维特性，也实现了标准化，也可以加入 赖于运维特性，也实现了标准化，也可以加入 组件市场，此时开放PaaS+开放应用市场可以 构建对应各种环境的应用了。 • 云原生蓬勃而多样的生态成了这种Paas的基础。 • 编排不在以服务为单位，而是以应用为单位， 再也不会出现由于理解不一致导致的交付失败 的情况，而不论底层容器云实现如何，应用的 交付的方式都是一致的。 DevOps是一种文化，是一种组织赋能，在无所不在，OAM除了在交付过程中提供了基于应用的 交付方案，同时将CI

NetWorking PaaS 硬件与虚拟化厂商提供，如果是HCI架构， 作为总体集成方，会降低安全集成成本 可信计算环境：OS安全、TPM加密、TEE可信环境 云原生安全：镜像安全、镜像仓库安全、容器加固隔离、通信零信任 (Istio零信任、Calico零信任、Cilium零信任、WorkLoad鉴权、WorkLoad 间授权等)、DevSecOps（安全左右移等等，比如代码或者镜像扫描）、 R 默认安全策略，可以天然的规避大部分 安全问题，使得人员配置和沟通工作大 量减少，提高了整体效率! 安全右移是为了恰到好处的安全，一些非严 重安全问题，没有必要堵塞主研发流程，可 以交于线上安全防御系统。提高了整体实施 效率！ 安全编排自动化和响应作为连接各个环 节的桥梁，安全管理人员或者部分由 AIOps组件可以从全局视角观察，动态 调整策略，解决新问题并及时隔离或者 解决！ DevSecOps 标准化能力-承载无忧-E 应用角 度） 我们从云原生数据库那里基本可以嗅出云原生对四大件的诉求性质了，所以这里我直接给出对云原生存储的要求 1. 敏捷化需求 • 云原生应用场景对服务的敏捷度、灵活性要求非常高，很多场景期望容器的快速启动、灵活的调度，这样即需要存储卷也能敏捷的根据 Pod 的变化而调整。 需求表现在： • 云盘挂载、卸载效率提高：可以灵活的将块设备在不同节点进行快速的挂载切换； • 存储设备

物 理 公 有 云 企业混合云 控制器 10W采集器 20+云平台 采集器 1% CPU 0.01% 带宽开销 ︹ 零 侵 入 ︺ 流 量 采 集 云平台API 容器编排API TKE ACK 知识图谱 变更事件 资源信息 全 景 图 基于应用代码和日志的可观测性 企业混合云 100x ES/InfluxDB性能 1000+台跨Region集群 物 理 公 有 云 企业混合云 控制器 10W采集器 20+云平台 采集器 1% CPU 0.01% 带宽开销 ︹ 零 侵 入 ︺ 流 量 采 集 云平台API 容器编排API TKE ACK 知识图谱 变更事件 资源信息 全 景 图 基于应用代码和日志的可观测性 企业混合云 100x ES/InfluxDB性能 1000+台跨Region集群 原力 the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 实战1：采集器怎么运行 容器 - K8s Node (VM/BM) 业务POD 业务POD 业务POD CNI vSwitch / Bridge DeepFlow 采集POD (HostNet) DaemonSet • 零干扰

自动化的方式向上提供业务价值，并直面交付成本问题 企业管理层 业务架构师或者PM 产品|数据|应用|技术架构师 架构咨询团队 企业自己决定 云原生平台+架构咨询团队 数据平台 DevOps 微服务 PAAS 容器云 客户群体与规模 电信 制造 金融 服务业 政府 互联网 350.2亿 云原生采用规模占比与市场总规模 58% 11% 10% 8% 5% 5% 纳 管 规 模 9%客户投入占总IT投 入的一半以上 成为主要支出方向 中心集群规模为主 部署形态多元化、多云/混合云架构成为主流 自动化 用户软件发布方 式正在向自动化 转变 容器 60%以上用户已 经在生产环境应 用容器技术 微服务 微服务架构成为 主流，八成用户 已经使用或者计 划使用微服务 Serverless Serverless技术显 著升温，近三成 用户已在生产环 境中应用 云 侧，阿里云通过提 供容器服务ACK、云原生数据库PolarDB/Redis、消息队列RocketMQ、企业级分布式应用服务EDAS、微服务引擎MSE、应用监控服 务ARMS等数十款云原生产品全面支撑双11。技术侧，云原生四大核心技术实现规模和创新的双重突破，成为从技术能力向业务 价值成果转变的样本： • 支持全球最大容器集群、全球最大Mesh(ASM)集群，神龙架构和ACK容器的组合，可以实现1小时扩容1百万个容器，混部利用

网络资源 VPC 子网 CIDR IP地址 NATGW ALB … 看云网更清晰 Simplify the growing complexity. 云原生应用的服务属性还有哪些 容器资源 容器集群 容器节点 命名空间 容器服务 Ingress Deployment StatefulSet ReplicaSet POD DeepFlow的典型客户环境中，两个微服务通信涉及到的标签多达上百个 Namespace Simplify the growing complexity. AutoTagging：自动同步资源和服务属性 资源池 区域 可用区 云平台 租户 云资源 宿主机 云服务器 容器资源 容器集群 容器节点 命名空间 容器服务 Ingress Deployment StatefulSet ReplicaSet POD 服务 app version env group owner stage commitId 理解云网络，自动标记端到端数据标签 Labels 自动同步云API、K8s apiserver DeepFlow support list 主机名、IP地址、VPC/隧道ID、对等连接、NAT/LB ➔ 资源标签 工作负载、容器服务、命名空间 ➔ 服务标签 容 器 云 TKE ACK env=prod zone=ZoneA releaseVer sion=12 deployType =canary group=iot

上磐基 构建 打包 容器 化镜 像 自动化 部署 研发安 全扫描 需求 设计 敏捷 开发交付协同 云原生DevSecOps 安全工具链 国产化 双平面调度 敏捷开 发过程 统一代 码仓库 依赖制 品仓库 统一 镜像库 云原生 验证环境 磐基 生产运行 核心价值 核心能力 灵活的低代码能力 实现页面组件、数据组件、功能组件的快 速编排，一线人员也能自助开发功能 科技创新成果 中国移动作为国家级高新技术企业，在国内外行业中科技创新成果丰硕。磐舟与磐基团队重视自主创 新与生产融合，拥有多项专利、高新技术、软件著作权等研发成果，建立了领先和成熟的研发体系。 ü 可信云容器解决 方案认证 ü 2021年云安全守卫者 计划优秀案例 ü DevOps解决方案最高等 级先进级的现场认证 ü 2021年通信行业云计算领域风云团队奖 ü 创新解决方案证书 最高等级认证 安全测试-镜像扫描 由于云原生“不可变基础设施”的特点，对容器风险的修复必须从镜像上处理才是最有效的。 因此对镜像的安全扫描变得尤其重要。 强大的漏洞扫描 支持双料漏洞库，可检测 的漏洞数大于17w条，提 供 对 容器镜像的扫描能力 ，可扫描发现CNNVD、 CVE等漏洞信息 ， 提 供 详 细的漏洞分析能力联动。 安全风险发现 针对容器镜像内Webshell 、 病毒、木马进行检测；针

3 电商核心系统全面上云， 大规模集群支撑集团“双十 一”，日交易额2684亿元 2 0 1 9 T4项目启动，容器调度技 术开始支撑集团的在线业 务，云原生时代开启 2 0 1 1 在线和离线调度系统打通混合 部署，底层资源池统一，支撑 百万级电商交易活动。 云原生技术全面商业化，容器 技术对外开放 2 0 1 7 云原生技术全面升级，阿 里巴巴原生用云， Serverless时代开始。 2 0 稳定的容器运行时、节点自愈能力，结合发 布自动化、资源管理自动化等能力可以实现应用与基础设施层的全面解耦 统一化ServiceMesh 将应用的分布式复杂性问题托付给Mesh层的数据面和控制面组件，实现全链路精准流量控制、 资源动态隔离以及零信任的安全能力，保证应用架构的稳定性目标的实现。 Serverless化 极大地降低了开发人员，特别是服务于前端的后端开发人员的运维负担，亚秒级的容器启动 速 速度和单物理机千容器的部署密度降低了serverless应用的技术障碍。 OAM统一交付能力 基于OAM的软件交付理念和工具重新定义了内部的DevOps流程，实现了应用的“一键安装、多 处运行”的应用编排目标 AIOps精细化运维 依托于K8S和ServiceMesh等度量数据精确性的提升，并给予AI算法从不同维度计算应用架构运 行态势，实现基于响应的自动化运维方案，大大降低了用户使用门槛，更安全更可靠的交付