云原⽣图数据库解谜、容器化实 践与 Serverless 应⽤实操 古思为 ⽅阗 Graph DB on K8s Demystified and its Serverless applicaiton in actions. DEVELOPER ADVOCATE @ MAINTAINER OF KCD China 2021 Nov. 6th @Shanghai 古思为 wey-gu ⽂档：Nebula 架构 官⽹：⽤户案例 ⼀个可靠的分布式、线性扩容、性能⾼效的图数据库 世界上唯⼀能够容纳千亿顶点和万亿条边，并提供毫秒级查询延时的图数据库解决⽅案 云原⽣时代的图数据库 容器化部署演进 Nebula Docker Nebula K8s Nebula Operator Nebula Operator 实现 Kubebuilder Scaffold CRD Control 上⼿ GraphDB on K8s 应⽤场景 - Nebula on Kubsphere - Demo 图数据库的应⽤场景 典型场景 社交⽹络 ⻛险控制 公共安全 知识图谱 机器学习 ⽣化制药 物联⽹ 区块链 数据⾎缘 智能运维 tech.meituan.com/2021/04/01/nebula-graph-practice-in-meituan.html KubeSphere +

Management • 把自己关在小黑 屋里面，自己就 可以自助的从API 使用角度定义、 驱动研发、发布 或者实施与自己 APP的集成。 • API作为产品，可 以给订阅、可以 被交易。 标准化能力-微服务PAAS-从监控到可观测-研发人员的第五感-1 知道 知道的 不知道 不知道的 主动性 被动性 监控 可观察 健康检查 告警 指标 日志 追踪 问题和根因 预警 监控&稳定性 分析&追踪&排错&探索 微服务部署后就像个黑盒子，如何发现问题并在 远端运维是主要的课题，那么就需要从宏观告知 研发人员，并且提供日志、跟踪、问题根因分析 等工具进一步从微观帮助研发人员定位和解决问 题，这是这里在业务上的价值-稳定性赋能。 标准化能力-微服务PAAS-从监控到可观测-研发人员的第五感-2 可观察性是云原生特别关注的运维支撑能力，因为它的主动性，正符合云原生对碎片变化的稳定性保障的思想 数据的全面采集 数据的关联分析 统一监控视图与展现 线图来表示整体分布式应用的各维度情况，使得开 发人员可以清晰的观测到整体分布式应用的详细运 行情况，为高精度运维提供可视化支撑 人工发展阶段：符合人分析问题的习惯 宏观->微观 精细化发展阶段：依靠数据赋能，加强可视化能力，进一步简化运维 监控告警 分布式跟踪链 日志查询 根因分析 响应动作 自动化 高端观察性 各维度统计分析 观察性 Prometheus Skywalking EFK Hadoop

Chaos Mesh 在网易伏羲私有云自动化故障注入实践 Speaker Name：张慧 网易伏羲 Speaker Title：网易伏羲私有云质量保障负责人、Chaos Mesh 布道师、云原生社区 Stability SIG 发起人 Email：zhangui05@corp.netease.com 云 原 生 学 院 目录  网易伏羲私有云简介  为什么混沌测试  什么是混沌测试

● -config-file：要加载的配置文件。有关此文件格式的更多信息，请阅读“ 配置文件”部分。可以 次指定此选项以加载多个配置文件。如果多次指定，则稍后加载的配置文件将与先前加载的配置文件 并。在配置合并期间，单值键（string，int，bool）将简单地替换它们的值，而列表类型将被附加在 起。 ● -config-dir：要加载的配置文件的目录。Consul将使用后缀“.json”或“ json”或“.hcl”加载此目录中的所 文件。加载顺序是按字母顺序排列的，并且使用与上述config-file选项相同的合并例程 。可以多次指 此选项以加载多个目录。未加载config目录的子目录。有关配置文件格式的详细信息，请参阅“ 配置 件”部分。 ● config-format：要加载的配置文件的格式。通常，Consul会从“.json”或“.hcl”扩展名中检测 置文件的格式。将此选项设置为“jso 后应该是持久的。这对于在服务器模式下运行的代理尤其重要，因为它们必须能够持久化群集状态。 外，该目录必须支持使用文件系统锁定，这意味着某些类型的已安装文件夹（例如VirtualBox共享文 夹）可能不适合。注意：服务器代理和非服务器代理都可以在此目录中的状态中存储ACL令牌，因此 访问可以授予对服务器上的任何令牌以及非服务器上的服务注册期间使用的任何令牌的访问权限。在 于Unix的平台上，文件使用0

........................... 15 云原生安全威胁分析与能力建设白皮书 7 前 言 在数字化转型的大潮中，云计算作为实现创新和提高运营效率的关键技术， 成为了新一代信息技术的核心引擎。随着云计算的飞速发展和广泛应用，以及万 千企业数字化转型换挡提速，企业对云计算的使用效能提出新的需求。云原生以 其独特的技术特点，很好地契合了云计算发展的本质需求，正在成为驱动云计算 近年来，云计算技术一直处于高速发展的过程中，并且随着公有云和私有云 的广泛应用，利用云计算作为承载业务运行的基础设施，已经成为了企业的首选。 “十四五”时期，中国的信息化进入加快数字发展、建设数字中国的新阶段，在 数字化转型的浪潮中，云计算作为新型数字基础设施和新一代信息技术的核心引 擎，在推动人工智能、5G、工业互联网、物联网等技术的发展和应用方面发挥 着越来越重要的作用。云计算的普遍应用和相关技术发展，使其已经经历了云计 临的威胁，并研究云原生安全能力，能够为企业整体的云安全防护体系建立提供 帮助，从而保障企业业务和数据更安全的在云上运转。 1.1 云原生及云原生安全 过去十年，企业数字化转型加速推进，相继经历了服务器、云化到云原生化 三个阶段。在云化阶段，云主机是云计算的核心负载之一，云主机安全是云安全 的核心；在云原生阶段，容器和无服务器计算成为核心工作负载，容器安全、 Serverless 安全、DevSecOps

• Kubernetes资源对象的监控 • Pod内的业务应用的监控 • 业务应用依赖的中间件的监控 云原生之后监控需求的 变化 云原生之后监控需求的变化 •相比物理机虚拟机时代，基础设施动态化，Pod销毁重建非常频繁 •原来使用资产视角管理监控对象的系统不再适用 •要么使用注册中心来自动发现，要么就是采集器和被监控对象通过sidecar模式捆绑一体 指标生命周期变短 •微服务的流行，要监控 •Kubernetes体系庞大，组件众多，涉及underlay、overlay两层网络，容器内容器外两个namespace，搞懂需要花些时间 •Kubernetes的监控，缺少体系化的文档指导，关键指标是哪些？最佳实践是什么？不是随便搜索几个yaml文件能搞定的 平台侧自身复杂度变高， 监控难度加大 从 Kubernetes 架构来 看要监控的组件 Kubernetes架构 l 服务端组件，控制面：API Server、Scheduler、 Pod，显然我们应该关注这些操作的 成功率和耗时 • Categraf 的仓库中 inputs/kubernetes/kubelet-metrics- dash.json 就是 Kubelet 的大盘文件 • kubelet_running_pods：运行的Pod的数量，gauge类型 • kubelet_running_containers：运行的容器的数量，gauge类型， container_state标签来区分容器状态

streamnative.io Apache Pulsar 要解决的问题 • 企业需求和数据规模 • 多租户 - 百万Topics - 低延时 - 持久化 - 跨地域复制 • 解除存储计算耦合 • 运维痛点：替换机器、服务扩容、数据 rebalance • 减少⽂件系统依赖 • 性能难保障： 持久化（fsync）、⼀致性（ack: all）、多Topic • IO不隔离：消费者读Backlog的时候会影响其他⽣产者和消费者 Pulsar 简介 • Pulsar 的云原⽣架构 • 企业级流存储： BookKeeper Apache BookKeeper： 企业级流存储层 分布式⽇志/流存储 • 低延时、⾼吞吐、持久化 • 强⼀致 (repeatable read consistency) • ⾼可⽤ • 单节点可以存储很多⽇志 • I/O隔离 Apache BookKeeper： 诞⽣场景 streamnative

• Controller同步云API、K8s apiserver • 将所有标签编码为Int • Controller向Ingester下发编码后的Int标签 • 仅向Ingester下发需要持久化存储的标签 • 便于检索 • 如何选择需要随观测数据存储的标签 • 存储系统标签的：资源的标签、K8s的标签 • 不存储自定义标签：K8s label env=prod zone=ZoneA Querier编码自定义标签的Filter和Group查询请求 • Filter：利用CK字典依据系统标签过滤 • Group：利用CK字典依据系统标签翻译 • Querier将系统标签解码为可读字符串 • 使用CK字典解码Int化的系统标签 SELECT dictGet( deepflow.pod_map, ('name’), (toUInt64(pod_id_0)) ) AS pod_name_0 FROM http_requests 落地及推广思路：让开发团队尝到甜头 • 引导开发团队使用标准化的标签标记机制 • 服务上线时，在K8s depoyment中标记丰富label • * 服务注册时，向服务注册中心中注册丰富的信息 • * 处理请求时，在标准协议的Header中增加标签 • 逐步减少需要直接在观测数据中注入的标签 • 减少重复的、不标准的标准注入 • 让每个标签只在一个地方注入 • 让尽量多的标签自动化注入 100+维度的云原生服务访问全景图：MTL关联、切分、下钻

对接ELASTICSEARCH 1.2 插件制作 - 项⽬目地址：https://github.com/goodrain-apps/filebeat - 根据代码，配置环境变量量选项 - 持久化⽬目标应⽤用的⽇日志路路径 - 制作流程⼿手动演示 RAINBOND 线上培训（第⼋八期） 2019/7/31 我是郭逊， 好⾬雨交付⼯工程师， 我为交付质量量代⾔言? 好⾬雨交付⼯工程师-郭逊

标准化能力-承载无忧-E2E云原生纵深安全保障DevSecOps-1 Applications Data Runtime Middleware OS Virtualization Servers Storage NetWorking PaaS 硬件与虚拟化厂商提供，如果是HCI架构， 作为总体集成方，会降低安全集成成本 可信计算环境：OS安全、TPM加密、TEE可信环境 隔离 由于云原生托管的应用是碎片化的，环境变化也是碎片化的，而且其业务类型越来越多，比如已经延展到边 缘计算盒子，此时攻击面被放大，在云原生环境下安全是一个核心价值，需要立体纵深式的安全保障。 由于云原生DevOps环境追求效率以及运行态的动态治理能力，导致传统安全实施方法、角色、流程、技术 都发生了很多变化，适应这些变化是落地云原生安全的关键！ 标准化能力-承载无忧-E2E云原生纵深安全保障-2-商业价值 供前瞻性的参考和指引，助力夯实产业互联网的安全底座。 《趋势》认为，2021年将进一步完善个人信息保护体系，企业对个人信息利用规范化，数字安全合规管理将成为企业的必备能力。与此同时，企业还 应将安全作为“一把手工程”，在部署数字化转型的同时，推进安全前置。 前沿的数字化技术也让产业安全有了更多内涵。5G、AI、隐私计算等技术在构筑数字大楼的同时，不仅带来了全新的安全场景，也成为网络安全攻防 当中的