云原⽣图数据库解谜、容器化实 践与 Serverless 应⽤实操 古思为 ⽅阗 Graph DB on K8s Demystified and its Serverless applicaiton in actions. DEVELOPER ADVOCATE @ MAINTAINER OF KCD China 2021 Nov. 6th @Shanghai 古思为 wey-gu ⻘云科技研发⼯程师 Overview 了解 K8s 上的 Serverless 计算平台搭建实践：OpenFunction K8s 上的图数据库基于 KubeBuilder 的 Operator 实现，解谜图数据库的知识与应⽤ 上⼿ K8s 上的云原⽣图数据库、从零到⼀构建 Serverless 架构的智能问答助⼿ siwei.io/talks/2021-KCD laminar.fun/talks/2021-KCD com/OpenFunction/samples 图数据库简介 什么是图？ 什么是图数据库？ 为什么我们需要⼀个专⻔的数据库？ 什么是图？ "以图结构、图语义来⽤点、边、属性来查询、表示存 储数据的数据库 wikipedia.org/wiki/graph_database 了解更多关于 什么是图数据库 什么是图数据库 为什么需要图数据库？ 传统数据库 图数据库 图模型的结构 图语义的查询 性能 Nebula

Infrastructure 简介 10 VMware, Inc. VMware Infrastructure 各个组件间的关系如 图 1 中所示。 图 1. VMware Infrastructure VMware Infrastructure 包括 图 1 中所示的下列组件： � VMware ESX Server - 一个在物理服务器上运行的健壮的、经过生产验证的虚拟化 层，它将 数据中心的物理拓扑 如图 2 所示，典型的 VMware Infrastructure 数据中心由基本物理构建块组成， 例如 x86 计算服务器、存储网络和阵列、 IP 网络、管理服务器和桌面客户端。 图 2. VMware Infrastructure 数据中心物理拓扑 计算服务器 计算服务器是在裸设备上运行 VMware ESX Server 的业界标准 x86 服务器。 ESX Server 资源并将其动态置备给不同的业务部门和项目，而 无需担心基础硬件差异和限制。 图 3 显示虚拟数据中心的重要元素。使用 VirtualCenter Server 可查看、配置和管理这 些重要元素。这些元素包括： � 计算资源和内存资源，分别称为主机、群集和资源池 � 称为数据存储的存储资源 � 称为网络的网络资源 � 虚拟机 图 3. 虚拟数据中心架构 主机是运行 ESX Server 的物

第 1 章 Hadoop 概述 3 例如，让我们考虑类似 Google、Bing 或者 Twitter 这样的大型 数据存储。所有这些数据存储都会随着诸如查询和庞大用户基数等 活动事件而呈现出指数增长。Hadoop 的组件可以帮助你处理这些大 型数据存储。 类似 Google 这样的商业公司可使用 Hadoop 来操作、管理其数 据存储并从中产生出有意义的结果。通常用于商业分析的传统工具 YARN 分布式数据处理 从属 NAMENODE 活动 NAMENODE 备用 NAMENODE 调度器 共享编辑日志 或者 JOURNAL NODE 从节点 容器 容器 容器 资源管理器 数据节点 数据节点 数据节点 节点管理器 节点管理器 节点管理器 图 1-1 MapReduce 的功能使得它成为最常用的批处理工具之一。该处 中获取最新的集中式配置。这也使得你只需要 通过 ZooKeeper 的一个客户端改变集中式配置，便能改变分布式系 统的状态。 名称服务是将某个名称映射为与该名称相关信息的服务。它类 似于活动目录，作为一项名称服务，活动目录的作用是将某人的用 户 ID(用户名)映射为环境中的特定访问或权限。同样，DNS 服务作 为名称服务，将域名映射为 IP 地址。通过在分布式系统中使用 ZooKeeper，你

. . . . 目 目录 录 第 第 1 章 章 OPENSHIFT CONTAINER PLATFORM 4.6 文档 文档 1.1. 集群安装程序操作 1.2. 开发人员活动 1.3. 集群管理员活动 1.3.1. 管理集群组件 1.3.2. 更改集群组件 1.3.3. 监控集群 第 第 2 章 章 关于 关于 {OKE} 2.1. 相同和不同的地方 2.1.1. 核心 Kubernetes Container Storage ：您可以安装 Red Hat OpenShift Container Storage 作为 Operator，以便为容器提供高度集成和简化的持久性存储管理。 1.2. 开发人员活动 最终，OpenShift Container Platform 成为一个用于开发和部署容器化应用程序的平台。作为应用程序开 发人员，OpenShift Container Platform 文档可帮助您： REST API 参考 参考 ：列出 OpenShift Container Platform 应用程序编程接口端点。 1.3. 集群管理员活动 OpenShift Container Platform 4.6 集群上的持续任务包括用于管理机器的各种活动，为用户提供服务， 以及遵循监视集群的日志记录功能。作为集群管理员，本文档可帮助您： 了解 了解 OpenShift Container Platform

应用程序纵向扩展：衡量软件在一个对称多处理器 (SMP) 系统中的多个处理器间实现线性数据可扩展性的 有效程度。 • 应用程序横向扩展：确定软件在非共享架构的多个 SMP 节点间实现线性数据可扩展性的有效程度。 图1. 海量数据可扩展性是一项大数据集成的强制要求。在大数据时代，企业必须支持MPP群集系统才能实现扩展。 支持海量数据可扩展性的需求并非只与Hadoop基础架构的出 现有关。多年来，领先的数据仓库供应商（如IBM和Teradata） 大规模并 行软件平台，有些企业采用此做法已有近20年。 久而久之，这些供应商陆续集中关注4个常见的软件架构特征， 以便为实现海量数据可扩展性提供支持，如图2所示。 IBM软件 5 图2. 海量数据可扩展性的4大特征。 大部分商业数据集成软件平台在设计时从未考虑过支持海量数 据可扩展性，这意味着在设计之初，并未考虑利用非共享大规模 并行架构。它们依靠共享的内存多线程，而非软件数据流。 某些数据集成操作在RDBMS引擎内外的运行效率较高。同样， 并非所有数据集成操作均适用于Hadoop环境。设计精妙的架 构必须足够灵活，可以充分利用系统中每个环境的优势（参见 图3）。 在ETL网格中运行 在数据库中运行 在Hadoop中运行 图3. 大数据集成需要一种可利用任何环境优势的平衡方法。 优点 • 利用ETL MPP引擎 • 利用商业硬件和存储 • 利用网格整合 SMP 服务器 • 执行无法推送到RDBMS的复

5 图 目 录 图 1 云原生四要素.....................................................................................10 图 2 云原生四要素的基本含义..................................................................11 图 3 云原生安全框架 ...... 13 图 4 云原生安全能力体系......................................................................... 16 图 5 云原生关键技术威胁全景..................................................................19 图 6 容器镜像安全风险. ........ 21 图 7 容器运行时安全风险......................................................................... 23 图 8 针对 k8s 进行攻击的路径分析......................................................... 27 图 9 针对微服务进行攻击的路径分析

messageQueueList [userId%messageQueueList.size()] 2.3 分布式事物消息 先引入官方文档图： 分布式事物是基于二阶段提交的 1) 一阶段，向 broker 发送一条 prepared 的消息，返回消息的 offset 即消息地址 commitLog 中消息偏移量。Prepared 消息动作 序列图 1. 向 broker 发送长轮询请求 2. Broker 接收长轮询请求 3. Consumer 接收 broker 响应 长轮询活动图： 一张图画不下，再来一张 四：push 订阅关系） 4. 注册 producer， 其实就是发送 producer 的 group（这个在事物消息中才有点作用） 二：ClientHouseKeepingService 线程定时清除不活动的连接 1） ProducerManager.scanNotActiveChannel 默认两分钟 producer 没有发送心跳清除 2） ConsumerManager.scanNotActiveChannel

前台线程 • 根据传感器数据进行跟踪求解， 实时恢复每个时刻的位姿 后台线程 • 进行局部或全局优化，减少误差累积 • 场景回路检测 输出 • 设备实时位姿 • 三维点云 RGB图 深度图 IMU测量值 优化以减少误差累积 回路检测 SLAM应用介绍 • 扫地机器人 小米扫地机器人 以激光雷达为核心 戴森360°Eye扫地机器人 以视觉为核心（顶部有全景摄像头） SLAM应用介绍 虚拟/增强现实：Inside-Out方案 目前绝大多数VR头盔都采用 Outside-In的定位方案，需要在环境 中放置一个或多个传感器，活动范 围受限，不支持大范围移动的定位。 基于SLAM技术的VR/AR可以实现Inside-Out方案：将传感器固定在使用者端。 优点：不需要提前布置环境中的传感器，且没有活动范围的限制。 《The Devices of VR: Part 3 – The Future of VR》 全局集束调整（Global Bundle Adjustment） • 变量数目非常庞大 • 内存空间需求大 • 计算耗时 • 迭代的局部集束调整 • 大误差难以均匀扩散到整个序列 • 极易陷入局部最优 • 姿态图优化（Pose Graph Optimization） • 只优化相机之间的相对姿态，三维点都消元掉； • 是集束调整的一个近似，不是最优解。 基于自适应分段的集束调整 • 将长序列分成若干段短序列；

说到参与开源项目，很多人都理解为成为一名 Committer 才能算式参与到开源社区的 建设？但其实这个就是参与开源项目有代码层面的贡献，也有非代码贡献层面的如技术布道 、社区运营（线上直播、线下活动、文档编辑）等。如何参与一个开源项目，容我慢慢道来。 一、与 RocketMQ 相识、相知到“在一起” 在 2017 年听到阿里巴巴将 RocketMQ 捐赠给 Apache 基金会成为 Apache 技术内幕》一书的正式出版上市，并得到广大读者朋友的认可，与 官方的联系也越来越多，后面在 RocketMQ 中国社区负责人青峰大佬的筹备下，我还参 与了 RocketMQ 官方社区的源码解析直播活动、官方文档审稿等工作，并在社区得到了 不错的反响。 说到这里大家是不是觉得非常奇怪，是不是都认为你只是在写文章，写书，没有真正参 与开源社区呀，没有贡献代码，这个算哪门子参与开源社区？ 其实 中，这样在 Broker 关闭后再重启， 并不会丢失路由信息。 广大读者朋友，跟踪到这一步的时候，大家应该对启用自动创建主题机制时，新主题是 的路由信息是如何创建的，为了方便理解，给出创建主题序列图： 本文来自『中间件兴趣圈』公众号，仅作技术交流，未授权任何商业行为。 25 > 1.2 生产环境中，autoCreateTopicEnable 为什么不能设置为 true 现象分析 经过上面

查看所有已安装的 Operator。 确保所选的 Project 为 openshift-storage。 图 图 4.1. OpenShift Container Storage Operator 页 页 2. 点 OpenShift Container Storage。 图 图 4.2. OpenShift Container Storage 的 的详 详情 情标签页 标签页 Red Hat OpenShift Container Storage 8 图 图 4.2. OpenShift Container Storage 的 的详 详情 情标签页 标签页 3. 单击 Storage Cluster 的 Create Instance 链接。 4. 将 Mode 选择为 External。默认情况下，Internal 被选为部署模式。 图 图 4.3. 连 连接到 接到创 创建存 建存储 储集群表 Storage 置备对象存储，请提供此参数。使用以下格式提供端点：: --monitoring-endpoint 是可选的。它是可从 OpenShift 容器平台集群访问的活动 ceph- mgr 的 IP 地址。如果没有提供，则会自动填充该值。 --monitoring-endpoint-port 是可选的。它是与 --monitoring-endpoint 指定的 ceph-