云原⽣图数据库解谜、容器化实 践与 Serverless 应⽤实操 古思为 ⽅阗 Graph DB on K8s Demystified and its Serverless applicaiton in actions. DEVELOPER ADVOCATE @ MAINTAINER OF KCD China 2021 Nov. 6th @Shanghai 古思为 wey-gu ⻘云科技研发⼯程师 Overview 了解 K8s 上的 Serverless 计算平台搭建实践：OpenFunction K8s 上的图数据库基于 KubeBuilder 的 Operator 实现，解谜图数据库的知识与应⽤ 上⼿ K8s 上的云原⽣图数据库、从零到⼀构建 Serverless 架构的智能问答助⼿ siwei.io/talks/2021-KCD laminar.fun/talks/2021-KCD com/OpenFunction/samples 图数据库简介 什么是图？ 什么是图数据库？ 为什么我们需要⼀个专⻔的数据库？ 什么是图？ "以图结构、图语义来⽤点、边、属性来查询、表示存 储数据的数据库 wikipedia.org/wiki/graph_database 了解更多关于 什么是图数据库 什么是图数据库 为什么需要图数据库？ 传统数据库 图数据库 图模型的结构 图语义的查询 性能 Nebula

changes required 3、Faster troubleshooting with a unified platform 4、No service left behind 50亿$ 200亿$ 500亿$ 问题：依赖于eBPF，仅支持Kernel 4.15+ simplify the growing complexity © 2021, YUNSHAN Networks Technology 采集器 1% CPU 0.01% 带宽开销 ︹ 零 侵 入 ︺ 流 量 采 集 云平台API 容器编排API TKE ACK 知识图谱 变更事件 资源信息 全 景 图 基于应用代码和日志的可观测性 企业混合云 100x ES/InfluxDB性能 1000+台跨Region集群 simplify the growing complexity © 2021, YUNSHAN 采集器 1% CPU 0.01% 带宽开销 ︹ 零 侵 入 ︺ 流 量 采 集 云平台API 容器编排API TKE ACK 知识图谱 变更事件 资源信息 全 景 图 基于应用代码和日志的可观测性 企业混合云 100x ES/InfluxDB性能 1000+台跨Region集群 原力 “不可变基础设施” 服务 simplify the growing complexity

这些问题，预计到2022年，每10个字节的数据中，将有 7个字节的数据是没有数据中心的。 综合IDC、麦肯锡报告、华为报告，在2019年，全球中 心化云计算市场规模为2602亿美元，云存储市场为 491.3亿美元；而与之对应的去中心化云存储市场约30 亿美元，去中心化云计算市场约100亿美元。未来，10 年到20年，去中心化云计算、云储存市场有望实现10年 100倍的增长，达到 的规模。 高级能力-精益化运维-云原生AIOps 并 开 启 云 化 时 代 。 2 0 0 9 支付宝最后一个小型机下 线，自研飞天操作系统全 面支撑集团业务 2 0 1 3 电商核心系统全面上云， 大规模集群支撑集团“双十 一”，日交易额2684亿元 2 0 1 9 T4项目启动，容器调度技 术开始支撑集团的在线业 务，云原生时代开启 2 0 1 1 在线和离线调度系统打通混合 部署，底层资源池统一，支撑 百万级电商交易活动。 云原生技术全面商业化，容器

PAAS 容器云 客户群体与规模 电信 制造 金融 服务业 政府 互联网 350.2亿 云原生采用规模占比与市场总规模 58% 11% 10% 8% 5% 5% 数据来源：中国云原生产业联盟2019 私有云市场规模 645.2亿 投 入 技 术 运 维 纳 管 规 模 9%客户投入占总IT投 入的一半以上 成为主要支出方向 中心集群规模为主 部署形态多元化、多云/混合云架构成为主流 主流，八成用户 已经使用或者计 划使用微服务 Serverless Serverless技术显 著升温，近三成 用户已在生产环 境中应用 云原生对业务的支撑实例(数据来源于阿里云) 4982亿，2020年天猫双11再创消费新纪录。58.3万笔/秒，双11交易峰值再创新高，阿里云又一次扛住全球最大规模流量洪峰。这一切背后支撑的 “技术引擎”又是如何为近十亿全球购物者的狂欢提供着“无感知护航”？ ，可以实现1小时扩容1百万个容器，混部利用 率提升50%，万笔交易成本4年下降80%。 • 拥有国内最大计算平台、顶级实时计算能力。大数据平台批处理单日计算数据量达到1.7EB，实时计算峰值每秒30亿条记录； 云原生PolarDB读写性能提高50%+，计算资源利用率提高60%+。 • 云原生中间件首次实现自研、商用、开源的“三位一体”，通过阿里云服务全球客户。云原生中间件服务框架峰值调用量超百亿 QPS。

150 200 250 本单位 省公司 省公司（直投） 专业公司 入驻项目数 工程类 研发类 新业务开发 87055条/个 平台管理的需求、任务、缺陷、文档、镜像等数字资产 10.43亿 平台管理的业务或应用代码行数 215.87万 平台进行代码质量扫描、代码安全扫描、镜像安全扫描、整体安全扫描量 183.81万 提交代码、构建、部署总次数，其中x86构建16.42万次，arm构建1

5 图 目 录 图 1 云原生四要素.....................................................................................10 图 2 云原生四要素的基本含义..................................................................11 图 3 云原生安全框架 ...... 13 图 4 云原生安全能力体系......................................................................... 16 图 5 云原生关键技术威胁全景..................................................................19 图 6 容器镜像安全风险. ........ 21 图 7 容器运行时安全风险......................................................................... 23 图 8 针对 k8s 进行攻击的路径分析......................................................... 27 图 9 针对微服务进行攻击的路径分析

Actions CMDBs IPs Dockers HostGroup CgroupQuota Cgroup CpuLimit Nice值调整 Kill机制 8 Agent管理 时序图 Agent注册 Agent启动首先向Consul获取Master服务列表， 并向Master发起Agent注册逻辑，获取agent id 配置获取 从Consul中获取当前agent的配置组列表，并 Filebeat性能分析 依赖白金版monitor机制 不依赖es版本、结合cpu/mem限额配置与实时 指标采集分析 Filebeat性能调优 需要修改配置文件不断尝试 界面提交核心参数并结合延时图对比分析 Filebeat性能管控 日志量太大Cpu飙升影响业务 精准控制资源消耗防止异常减少抖动 Es写入性能调优 修改配置文件不断观察数据情况 基于ES压测报告给出专家级es参数优化建议 参数优化体验

处理请求时，在标准协议的Header中增加标签 • 逐步减少需要直接在观测数据中注入的标签 • 减少重复的、不标准的标准注入 • 让每个标签只在一个地方注入 • 让尽量多的标签自动化注入 100+维度的云原生服务访问全景图：MTL关联、切分、下钻 THE FORCE，原力 看云网更清晰 Simplify the growing complexity. AutoTagging & MultistageCodec 让观测更自动，让开发者更自由！ 控制器 10W采集器 20+云平台 采集器 1% CPU 1% 带宽开销 原 始 数 据 采 集 云平台API 容器编排API TKE ACK 知识图谱 变更事件 资源信息 全 景 图 基于应用代码和日志的可观测性 企业混合云 100x ES/InfluxDB性能 kafka simplify the growing complexity © 2022, YUNSHAN Networks

应⽤模型定义的UI化 04. 2B交付版本的DevOps 应⽤模型定义的UI化 04. 2B交付版本的DevOps 2B交付版本的DevOps 第四部分 2B交付版本的DevOps全景图 04. 2B交付版本的DevOps 应⽤研发阶段 应⽤测试阶段 应⽤交付阶段 源码持续集成 业务组件组装 应⽤组件库 运维能⼒组装 （1）组件库获取通⽤能⼒ 多业务系统 隔离开发

监控&稳定性 分析&追踪&排错&探索 • 从稳定性目标出发，首先需要有提示应用出问题的手段 • 当提示出现问题后，就需要有定位问题位置的手段，进 一步要有能够指出问题根因、甚至提前就预警的手段。 拓扑流量图：是不是按预期运行 分布式跟踪:哪些调用 故障或者拖慢了系统 监控与告警： 主动告诉我 问题发生了！ 微服务部署后就像个黑盒子，如何发现问题并在 远端运维是主要的课题，那么就需要从宏观告知 研发人员，并且提供日志、跟踪、问题根因分析