云原⽣图数据库解谜、容器化实 践与 Serverless 应⽤实操 古思为 ⽅阗 Graph DB on K8s Demystified and its Serverless applicaiton in actions. DEVELOPER ADVOCATE @ MAINTAINER OF KCD China 2021 Nov. 6th @Shanghai 古思为 wey-gu ⻘云科技研发⼯程师 Overview 了解 K8s 上的 Serverless 计算平台搭建实践：OpenFunction K8s 上的图数据库基于 KubeBuilder 的 Operator 实现，解谜图数据库的知识与应⽤ 上⼿ K8s 上的云原⽣图数据库、从零到⼀构建 Serverless 架构的智能问答助⼿ siwei.io/talks/2021-KCD laminar.fun/talks/2021-KCD com/OpenFunction/samples 图数据库简介 什么是图？ 什么是图数据库？ 为什么我们需要⼀个专⻔的数据库？ 什么是图？ "以图结构、图语义来⽤点、边、属性来查询、表示存 储数据的数据库 wikipedia.org/wiki/graph_database 了解更多关于 什么是图数据库 什么是图数据库 为什么需要图数据库？ 传统数据库 图数据库 图模型的结构 图语义的查询 性能 Nebula

5 图 目 录 图 1 云原生四要素.....................................................................................10 图 2 云原生四要素的基本含义..................................................................11 图 3 云原生安全框架 ...... 13 图 4 云原生安全能力体系......................................................................... 16 图 5 云原生关键技术威胁全景..................................................................19 图 6 容器镜像安全风险. ........ 21 图 7 容器运行时安全风险......................................................................... 23 图 8 针对 k8s 进行攻击的路径分析......................................................... 27 图 9 针对微服务进行攻击的路径分析

Controller Type 能⼒模型 平台开发者/运维 应⽤模型 业务员开发者 容器模型 K8S模型 业务组件 业务组件 业务组件 流量治理 服务治理 运维能⼒ 应⽤ 应⽤模型定义⽤例 03. ⾯向交付的应⽤模型 应⽤模型 PaaS平台 Kubernetes模型 K8S控制器 其他资源资源模型 逐级封装，向上透明 Application ComponentDefinition ComponentDefinition WorkloadResource Deployment Service Ingress ServiceMonitor Component 模版化 逻辑化 应⽤模型定义⽤例 03. ⾯向交付的应⽤模型 type RainbondApplicationConfig struct { AppKeyID string omitempty"` i n g r e s s _ s t r e a m _ r o u t e s o m i t e m p t y } 定义了⼀个完整应⽤的部署模型 应⽤模型定义⽤例 03. ⾯向交付的应⽤模型 type Component struct { Memory int `json:"memory"`

无法满足用户对于业务快速研发、 稳定交付的要求 场景 1 如果生产中一台Web应用服务器故障，恢复这台服务器需要 做哪些事情？ 场景 2 如果应用负载升高/降低，如何及时、按需扩展/收缩所 用资源？ 场景 3 如果业务系统要升级，如何平滑升级？万一升级失败是 否能够自动回滚？整个过程线上业务持续运行不中断。 传统稳态业务环境难以高效承载敏态应用 发现故障 （假死） 创建 新实例 配置 运行环境 增加环境、网络（端口）和资源管理的复杂性，治理成本高 • 监控粒度难以满足微服务应用运维的需要，线上问题难以排查定位，往往需要研发介入 我们需要一种新型的、为云而生的业务承载平台，去应对上述问题。 微服务应 用 大型 单体 应用 VM/服务器 VM/服务 器 VM/服务 器 VM/服务 器 目 标  支持微服务级别的细粒度资源隔离  支持快速扩缩容  支持热升级，服务更新不影响业务可用性  支持服务的快速地部署、扩展、故障转移 0 1 5 年 P i v o t a l 提 出 云 原 生 概 念 P i v o t a l 、 C N C F 同 时 提 出 云 原 生 是 一 种 充 分 利 用 云 计 算 优 势 构 建 和 运 行 应 用 的 方 式 。 D o c k e r 被 认 为 是 能 够 适 应 于 云 原 生 理 念 的 技 术 ， 而 微 服 务 被 认 为 是 适 合 D o c k e r

同时，推动业务快速修复。 安全左移的一种，在上线前发现依赖组件的安全 问题，快速借助供应链资产库，帮助业务修复问 题。 需要进行大量的安全特征以及资产库的建设或者 三方集成。（涉及业务能力） RASP(运行时安全应 用程序自我保护) 可以看做是IAST的兄弟，RASP通过程序上下文和敏感函数检查行为方式 来阻止攻击，属于一种主动的态势感知和风险隔离技术手段 可以自动化的对非预计风险进行识别和风险隔离 对系统性能有一定影响 你通过一套系统实现对多种存储服务的需 求。同时 rook 默认部署云原生存储接口 的实现，通过 CSI / Flexvolume 驱动将应 用服务与底层存储进行衔接，其设计之初 即为 Kubernetes 生态所服务，对容器化应 用的适配非常友好。 高级能力-云原生中间件-应用的基石-MQ为例 云原生消息服务是云原生的通信基础设施 消息中间件在云原生的应用场景，主要是为微服务和EDA架构提供核心的解耦、异步和削峰的能力，在云原生体系 协议，同时也在打造自己标准化接口。 总结一下，传统的消息队列将从高SLA、低成本、易用性、多样性和标准化几个方向持续进化为云原生的消息服务。 具体要求 高级能力-云原生中间件-应用的基石-MQ为例-2-Serverless化 Serverless最核心的理念是“按需”，云原生消息Serverless化主要是从两个维度落地按需的概念。一方面根据业务规模 自动化扩缩容实例规格、队列数等逻辑资源；

处理请求时，在标准协议的Header中增加标签 • 逐步减少需要直接在观测数据中注入的标签 • 减少重复的、不标准的标准注入 • 让每个标签只在一个地方注入 • 让尽量多的标签自动化注入 100+维度的云原生服务访问全景图：MTL关联、切分、下钻 THE FORCE，原力 看云网更清晰 Simplify the growing complexity. AutoTagging & MultistageCodec 让观测更自动，让开发者更自由！ simplify the growing complexity © 2022, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 应 用 DeepFlow：零侵扰的云原生应用可观测性平台 数据分析 解析 聚合 关联 压缩 零侵扰的采集与分析 发送 零侵扰的云原生应用可观测性 Flow 数据节点 云原生，水平扩展 监控数据 控制器 10W采集器 20+云平台 采集器 1% CPU 1% 带宽开销 原 始 数 据 采 集 云平台API 容器编排API TKE ACK 知识图谱 变更事件 资源信息 全 景 图 基于应用代码和日志的可观测性 企业混合云 100x ES/InfluxDB性能 kafka simplify the growing complexity © 2022, YUNSHAN Networks

监控&稳定性 分析&追踪&排错&探索 • 从稳定性目标出发，首先需要有提示应用出问题的手段 • 当提示出现问题后，就需要有定位问题位置的手段，进 一步要有能够指出问题根因、甚至提前就预警的手段。 拓扑流量图：是不是按预期运行 分布式跟踪:哪些调用 故障或者拖慢了系统 监控与告警： 主动告诉我 问题发生了！ 微服务部署后就像个黑盒子，如何发现问题并在 远端运维是主要的课题，那么就需要从宏观告知 研发人员，并且提供日志、跟踪、问题根因分析 t和Trait打包成可交付的应用。 基于镜像的封装性，通过AppConfig将应 用两个维度的东西整合整体化“集群镜像” 方式的交付，底层差异影响减少到最小 标准化能力-微服务PAAS-OAM-万花筒PAAS-3 以上解耦的结果，隐含着更深层次的能力，不是简单解耦那么简单，它使得统一通用PaaS成为可能 组件市场|仓库 平台运维特性 应用编排 运维特性编排 版本化 应用 •

务，云原生时代开启 2 0 1 1 在线和离线调度系统打通混合 部署，底层资源池统一，支撑 百万级电商交易活动。 云原生技术全面商业化，容器 技术对外开放 2 0 1 7 云原生技术全面升级，阿 里巴巴原生用云， Serverless时代开始。 2 0 2 0 2009-2016 应用架构互联网化 2017-2019 核心系统全面云原生化 目前的重点在于底座进一步实现应用与底层基础设施解耦，全面提升研发、运维效率，降低应用落地的整体成本 成熟度评估方法 样例:深信服-整体评估 企业业务战略一部分 赋能企业快速上云、业务 连续性、业务安全性、边 缘计算赋能，关注中小企 业市场 风险集中点，前期不建议 用平台规范企业组织架构。 传统云商业模式 云原生，国内越来越多的创业公司跑步入局，新推出的云计算产品都要

Actions CMDBs IPs Dockers HostGroup CgroupQuota Cgroup CpuLimit Nice值调整 Kill机制 8 Agent管理 时序图 Agent注册 Agent启动首先向Consul获取Master服务列表， 并向Master发起Agent注册逻辑，获取agent id 配置获取 从Consul中获取当前agent的配置组列表，并 Filebeat性能分析 依赖白金版monitor机制 不依赖es版本、结合cpu/mem限额配置与实时 指标采集分析 Filebeat性能调优 需要修改配置文件不断尝试 界面提交核心参数并结合延时图对比分析 Filebeat性能管控 日志量太大Cpu飙升影响业务 精准控制资源消耗防止异常减少抖动 Es写入性能调优 修改配置文件不断观察数据情况 基于ES压测报告给出专家级es参数优化建议 参数优化体验

采集器 1% CPU 0.01% 带宽开销 ︹ 零 侵 入 ︺ 流 量 采 集 云平台API 容器编排API TKE ACK 知识图谱 变更事件 资源信息 全 景 图 基于应用代码和日志的可观测性 企业混合云 100x ES/InfluxDB性能 1000+台跨Region集群 simplify the growing complexity © 2021, YUNSHAN 采集器 1% CPU 0.01% 带宽开销 ︹ 零 侵 入 ︺ 流 量 采 集 云平台API 容器编排API TKE ACK 知识图谱 变更事件 资源信息 全 景 图 基于应用代码和日志的可观测性 企业混合云 100x ES/InfluxDB性能 1000+台跨Region集群 原力 “不可变基础设施” 服务 simplify the growing complexity