 云原生图数据库解谜、容器化实践与 Serverless 应用实操云原⽣图数据库解谜、容器化实 践与 Serverless 应⽤实操 古思为 ⽅阗 Graph DB on K8s Demystified and its Serverless applicaiton in actions. DEVELOPER ADVOCATE @ MAINTAINER OF KCD China 2021 Nov. 6th @Shanghai 古思为 wey-gu ⽂档:Nebula 架构 官⽹:⽤户案例 ⼀个可靠的分布式、线性扩容、性能⾼效的图数据库 世界上唯⼀能够容纳千亿顶点和万亿条边,并提供毫秒级查询延时的图数据库解决⽅案 云原⽣时代的图数据库 容器化部署演进 Nebula Docker Nebula K8s Nebula Operator Nebula Operator 实现 Kubebuilder Scaffold CRD Control0 码力 | 47 页 | 29.72 MB | 1 年前3 云原生图数据库解谜、容器化实践与 Serverless 应用实操云原⽣图数据库解谜、容器化实 践与 Serverless 应⽤实操 古思为 ⽅阗 Graph DB on K8s Demystified and its Serverless applicaiton in actions. DEVELOPER ADVOCATE @ MAINTAINER OF KCD China 2021 Nov. 6th @Shanghai 古思为 wey-gu ⽂档:Nebula 架构 官⽹:⽤户案例 ⼀个可靠的分布式、线性扩容、性能⾼效的图数据库 世界上唯⼀能够容纳千亿顶点和万亿条边,并提供毫秒级查询延时的图数据库解决⽅案 云原⽣时代的图数据库 容器化部署演进 Nebula Docker Nebula K8s Nebula Operator Nebula Operator 实现 Kubebuilder Scaffold CRD Control0 码力 | 47 页 | 29.72 MB | 1 年前3
 22-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊自动化的方式向上提供业务价值,并直面交付成本问题 企业管理层 业务架构师或者PM 产品|数据|应用|技术架构师 架构咨询团队 企业自己决定 云原生平台+架构咨询团队 数据平台 DevOps 微服务 PAAS 容器云 客户群体与规模 电信 制造 金融 服务业 政府 互联网 350.2亿 云原生采用规模占比与市场总规模 58% 11% 10% 8% 5% 5% 纳 管 规 模 9%客户投入占总IT投 入的一半以上 成为主要支出方向 中心集群规模为主 部署形态多元化、多云/混合云架构成为主流 自动化 用户软件发布方 式正在向自动化 转变 容器 60%以上用户已 经在生产环境应 用容器技术 微服务 微服务架构成为 主流,八成用户 已经使用或者计 划使用微服务 Serverless Serverless技术显 著升温,近三成 用户已在生产环 境中应用 云 侧,阿里云通过提 供容器服务ACK、云原生数据库PolarDB/Redis、消息队列RocketMQ、企业级分布式应用服务EDAS、微服务引擎MSE、应用监控服 务ARMS等数十款云原生产品全面支撑双11。技术侧,云原生四大核心技术实现规模和创新的双重突破,成为从技术能力向业务 价值成果转变的样本: • 支持全球最大容器集群、全球最大Mesh(ASM)集群,神龙架构和ACK容器的组合,可以实现1小时扩容1百万个容器,混部利用0 码力 | 42 页 | 11.17 MB | 6 月前3 22-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊自动化的方式向上提供业务价值,并直面交付成本问题 企业管理层 业务架构师或者PM 产品|数据|应用|技术架构师 架构咨询团队 企业自己决定 云原生平台+架构咨询团队 数据平台 DevOps 微服务 PAAS 容器云 客户群体与规模 电信 制造 金融 服务业 政府 互联网 350.2亿 云原生采用规模占比与市场总规模 58% 11% 10% 8% 5% 5% 纳 管 规 模 9%客户投入占总IT投 入的一半以上 成为主要支出方向 中心集群规模为主 部署形态多元化、多云/混合云架构成为主流 自动化 用户软件发布方 式正在向自动化 转变 容器 60%以上用户已 经在生产环境应 用容器技术 微服务 微服务架构成为 主流,八成用户 已经使用或者计 划使用微服务 Serverless Serverless技术显 著升温,近三成 用户已在生产环 境中应用 云 侧,阿里云通过提 供容器服务ACK、云原生数据库PolarDB/Redis、消息队列RocketMQ、企业级分布式应用服务EDAS、微服务引擎MSE、应用监控服 务ARMS等数十款云原生产品全面支撑双11。技术侧,云原生四大核心技术实现规模和创新的双重突破,成为从技术能力向业务 价值成果转变的样本: • 支持全球最大容器集群、全球最大Mesh(ASM)集群,神龙架构和ACK容器的组合,可以实现1小时扩容1百万个容器,混部利用0 码力 | 42 页 | 11.17 MB | 6 月前3
 云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)22 2.2.5 针对镜像不安全配置的攻击................................................................ 22 2.3 路径 2:容器攻击....................................................................................... 23 2.3.1 守护进程攻击........................................................................................23 2.3.2 容器提权和逃逸攻击............................................................................24 2.3.3 拒绝服务攻击 ...................................................................25 云原生安全威胁分析与能力建设白皮书 2 2.3.4 容器网络攻击........................................................................................26 2.40 码力 | 72 页 | 2.44 MB | 1 年前3 云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)22 2.2.5 针对镜像不安全配置的攻击................................................................ 22 2.3 路径 2:容器攻击....................................................................................... 23 2.3.1 守护进程攻击........................................................................................23 2.3.2 容器提权和逃逸攻击............................................................................24 2.3.3 拒绝服务攻击 ...................................................................25 云原生安全威胁分析与能力建设白皮书 2 2.3.4 容器网络攻击........................................................................................26 2.40 码力 | 72 页 | 2.44 MB | 1 年前3
 25-云原生应用可观测性实践-向阳物 理 公 有 云 企业混合云 控制器 10W采集器 20+云平台 采集器 1% CPU 0.01% 带宽开销 ︹ 零 侵 入 ︺ 流 量 采 集 云平台API 容器编排API TKE ACK 知识图谱 变更事件 资源信息 全 景 图 基于应用代码和日志的可观测性 企业混合云 100x ES/InfluxDB性能 1000+台跨Region集群 物 理 公 有 云 企业混合云 控制器 10W采集器 20+云平台 采集器 1% CPU 0.01% 带宽开销 ︹ 零 侵 入 ︺ 流 量 采 集 云平台API 容器编排API TKE ACK 知识图谱 变更事件 资源信息 全 景 图 基于应用代码和日志的可观测性 企业混合云 100x ES/InfluxDB性能 1000+台跨Region集群 原力 the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 实战1:采集器怎么运行 容器 - K8s Node (VM/BM) 业务POD 业务POD 业务POD CNI vSwitch / Bridge DeepFlow 采集POD (HostNet) DaemonSet • 零干扰0 码力 | 39 页 | 8.44 MB | 6 月前3 25-云原生应用可观测性实践-向阳物 理 公 有 云 企业混合云 控制器 10W采集器 20+云平台 采集器 1% CPU 0.01% 带宽开销 ︹ 零 侵 入 ︺ 流 量 采 集 云平台API 容器编排API TKE ACK 知识图谱 变更事件 资源信息 全 景 图 基于应用代码和日志的可观测性 企业混合云 100x ES/InfluxDB性能 1000+台跨Region集群 物 理 公 有 云 企业混合云 控制器 10W采集器 20+云平台 采集器 1% CPU 0.01% 带宽开销 ︹ 零 侵 入 ︺ 流 量 采 集 云平台API 容器编排API TKE ACK 知识图谱 变更事件 资源信息 全 景 图 基于应用代码和日志的可观测性 企业混合云 100x ES/InfluxDB性能 1000+台跨Region集群 原力 the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 实战1:采集器怎么运行 容器 - K8s Node (VM/BM) 业务POD 业务POD 业务POD CNI vSwitch / Bridge DeepFlow 采集POD (HostNet) DaemonSet • 零干扰0 码力 | 39 页 | 8.44 MB | 6 月前3
 23-云原生观察性、自动化交付和 IaC 等之道-高磊把研发和运维的描述放在了一起;其二是Operator(CRD),我们不得不为不同 客户开发很多不同特质的Operator,交付成本依然很高。 定制Operator这种解决方案,看似 比较合理,但是强烈依赖于K8S这种 容器调度系统,无法做到通用化, 所以客户必须要求先做针对K8S的 应用改造。 K8S没有应用概念,用户面对的是Workload和Pod这样的概念,以及对应的运维概念(比如 HPA),在层次上是靠近对资源 规则对于应用开发人员来说,可能是完全相同的。Trait 的目标就是要达成无论在何种环境,规则都是相同的效果。 • AppConfig:运维人员将Commpoent和Trait打包成可交付的应用。 基于镜像的封装性,通过AppConfig将应 用两个维度的东西整合整体化“集群镜像” 方式的交付,底层差异影响减少到最小 标准化能力-微服务PAAS-OAM-万花筒PAAS-3 以上解耦的结果,隐含着更深层 比平台提供商自己还要强大,利用容器底座的 承载能力和OAM抽象化编排能力,可以不等排 期的构建各种特征的Paas。业务应用由于不依 赖于运维特性,也实现了标准化,也可以加入 组件市场,此时开放PaaS+开放应用市场可以 构建对应各种环境的应用了。 • 云原生蓬勃而多样的生态成了这种Paas的基础。 • 编排不在以服务为单位,而是以应用为单位, 再也不会出现由于理解不一致导致的交付失败 的情况,而不论底层容器云实现如何,应用的0 码力 | 24 页 | 5.96 MB | 6 月前3 23-云原生观察性、自动化交付和 IaC 等之道-高磊把研发和运维的描述放在了一起;其二是Operator(CRD),我们不得不为不同 客户开发很多不同特质的Operator,交付成本依然很高。 定制Operator这种解决方案,看似 比较合理,但是强烈依赖于K8S这种 容器调度系统,无法做到通用化, 所以客户必须要求先做针对K8S的 应用改造。 K8S没有应用概念,用户面对的是Workload和Pod这样的概念,以及对应的运维概念(比如 HPA),在层次上是靠近对资源 规则对于应用开发人员来说,可能是完全相同的。Trait 的目标就是要达成无论在何种环境,规则都是相同的效果。 • AppConfig:运维人员将Commpoent和Trait打包成可交付的应用。 基于镜像的封装性,通过AppConfig将应 用两个维度的东西整合整体化“集群镜像” 方式的交付,底层差异影响减少到最小 标准化能力-微服务PAAS-OAM-万花筒PAAS-3 以上解耦的结果,隐含着更深层 比平台提供商自己还要强大,利用容器底座的 承载能力和OAM抽象化编排能力,可以不等排 期的构建各种特征的Paas。业务应用由于不依 赖于运维特性,也实现了标准化,也可以加入 组件市场,此时开放PaaS+开放应用市场可以 构建对应各种环境的应用了。 • 云原生蓬勃而多样的生态成了这种Paas的基础。 • 编排不在以服务为单位,而是以应用为单位, 再也不会出现由于理解不一致导致的交付失败 的情况,而不论底层容器云实现如何,应用的0 码力 | 24 页 | 5.96 MB | 6 月前3
 2.2.7 云原生技术在2B交付中的实践⽬前云原⽣技术很⼴泛,All IN 云原⽣; 它是⼀个指导思想、实践思路和⾏为⽅式; 我们仅从2B软件交付领域来谈云原⽣技术; 云原⽣技术 云原⽣技术概要 02. 云原⽣与云原⽣应⽤ 云原⽣四要素 微服务 容器化 DevOps 持续交付 云原⽣发展的热点就是解决交付问题 云原⽣主要实践⽅式 模型化驱动 资源模型定义 模型使⽤定义 模型驱动器 模型关联 抽象化 申明式 ⽣命周期 上下游联动 云原⽣与云原⽣应⽤ ⾯向开发 单个服务 云原⽣ 12 因素应⽤规范 基础规范 云原⽣应⽤定义 02. 云原⽣与云原⽣应⽤ ⾯向交付的 “三级” 云原⽣应⽤定义 L1: 基础云原⽣应⽤ (1)容器化运⾏ (2)计算与数据分离 (3)满⾜12 因素 (4)可伸缩性 (5)可配置性 (6)基础可观测性 L2: 具备远程交付能⼒ (1)完全的模版化定义 (2)模版⾃动实例化 (3)数据⾃动初始化 Controller Type 能⼒模型 平台开发者/运维 应⽤模型 业务员开发者 容器模型 K8S模型 业务组件 业务组件 业务组件 流量治理 服务治理 运维能⼒ 应⽤ 应⽤模型定义⽤例 03. ⾯向交付的应⽤模型 应⽤模型 PaaS平台 Kubernetes模型 K8S控制器 其他资源资源模型 逐级封装,向上透明 Application ComponentDefinition0 码力 | 31 页 | 6.38 MB | 1 年前3 2.2.7 云原生技术在2B交付中的实践⽬前云原⽣技术很⼴泛,All IN 云原⽣; 它是⼀个指导思想、实践思路和⾏为⽅式; 我们仅从2B软件交付领域来谈云原⽣技术; 云原⽣技术 云原⽣技术概要 02. 云原⽣与云原⽣应⽤ 云原⽣四要素 微服务 容器化 DevOps 持续交付 云原⽣发展的热点就是解决交付问题 云原⽣主要实践⽅式 模型化驱动 资源模型定义 模型使⽤定义 模型驱动器 模型关联 抽象化 申明式 ⽣命周期 上下游联动 云原⽣与云原⽣应⽤ ⾯向开发 单个服务 云原⽣ 12 因素应⽤规范 基础规范 云原⽣应⽤定义 02. 云原⽣与云原⽣应⽤ ⾯向交付的 “三级” 云原⽣应⽤定义 L1: 基础云原⽣应⽤ (1)容器化运⾏ (2)计算与数据分离 (3)满⾜12 因素 (4)可伸缩性 (5)可配置性 (6)基础可观测性 L2: 具备远程交付能⼒ (1)完全的模版化定义 (2)模版⾃动实例化 (3)数据⾃动初始化 Controller Type 能⼒模型 平台开发者/运维 应⽤模型 业务员开发者 容器模型 K8S模型 业务组件 业务组件 业务组件 流量治理 服务治理 运维能⼒ 应⽤ 应⽤模型定义⽤例 03. ⾯向交付的应⽤模型 应⽤模型 PaaS平台 Kubernetes模型 K8S控制器 其他资源资源模型 逐级封装,向上透明 Application ComponentDefinition0 码力 | 31 页 | 6.38 MB | 1 年前3
 16-Nocalhost重新定义云原生开发环境-王炜但我们忽略了⼀个关键节点:开发阶段 微服务应⽤使⽤ Kubernetes ⼯作负载封装后,解决了开发过程应⽤的快速启动问题,开发⼈员只需要在本地 安装单节点的 Kubernetes 集群,例如 Minikube、Kind 等即可快速启动微服务应⽤。 但对于开发⼈员来说,原来单体应⽤的开发体验变得不复存在,由于应⽤很难在 Docker 容器之外运⾏,所以 每次代码修改,都需要经历以下步骤: 执⾏ docker build0 码力 | 7 页 | 7.20 MB | 6 月前3 16-Nocalhost重新定义云原生开发环境-王炜但我们忽略了⼀个关键节点:开发阶段 微服务应⽤使⽤ Kubernetes ⼯作负载封装后,解决了开发过程应⽤的快速启动问题,开发⼈员只需要在本地 安装单节点的 Kubernetes 集群,例如 Minikube、Kind 等即可快速启动微服务应⽤。 但对于开发⼈员来说,原来单体应⽤的开发体验变得不复存在,由于应⽤很难在 Docker 容器之外运⾏,所以 每次代码修改,都需要经历以下步骤: 执⾏ docker build0 码力 | 7 页 | 7.20 MB | 6 月前3
 02. Kubevela 以应用为中心的渐进式发布 - 孙健波KubeVela 的能力模板 – 组件类型 抽象封装方式 K8s 对象模板 CUE 模板 工作负载类型 Helm chart 封装 其他封装 使用方式(json schema) KubeVela 的能力模板 – 运维能力 抽象封装方式 可作用的工作负载 K8s 对象模板 CUE 模板 Helm chart 封装 其他封装 Trait 自身 CRD对象 使用方式 (json0 码力 | 26 页 | 9.20 MB | 1 年前3 02. Kubevela 以应用为中心的渐进式发布 - 孙健波KubeVela 的能力模板 – 组件类型 抽象封装方式 K8s 对象模板 CUE 模板 工作负载类型 Helm chart 封装 其他封装 使用方式(json schema) KubeVela 的能力模板 – 运维能力 抽象封装方式 可作用的工作负载 K8s 对象模板 CUE 模板 Helm chart 封装 其他封装 Trait 自身 CRD对象 使用方式 (json0 码力 | 26 页 | 9.20 MB | 1 年前3
 36-云原生监控体系建设-秦晓辉•新一代监控系统更加关注应用侧的监控,没有维度标签玩不转,每个指标动辄几个、十几个标签 指标维度更为丰富 •Kubernetes体系庞大,组件众多,涉及underlay、overlay两层网络,容器内容器外两个namespace,搞懂需要花些时间 •Kubernetes的监控,缺少体系化的文档指导,关键指标是哪些?最佳实践是什么?不是随便搜索几个yaml文件能搞定的 平台侧自身复杂度变高, 监控难度加大 l 服务端组件,控制面:API Server、Scheduler、 Controller-Manager、ETCD l 工作负载节点,最核心就是监控Pod容器和节点本 身,也要关注 kubelet 和 kube-proxy l 业务程序,即部署在容器中的业务程序的监控,这 个其实是最重要的 随着 Kubernetes 越来越流行,几乎所有云厂商都提供 了托管服务,这就意味着,服务端组件的可用性保障交 Kubernetes Node 组 件的监控 Kubernetes Node - 容器负载监控 抓取方案 • Pod或者容器的负载情况,是一个需要关注的点,容器层面主要关注CPU和内存使用情况,Pod 层面主要 关注网络IO的情况,因为多个容器共享Pod的net namespace,Pod内多个容器的网络数据相同 • 容器的监控数据可以直接通过 docker 引擎的接口读取到,也可以直接读取 cAdvisor0 码力 | 32 页 | 3.27 MB | 6 月前3 36-云原生监控体系建设-秦晓辉•新一代监控系统更加关注应用侧的监控,没有维度标签玩不转,每个指标动辄几个、十几个标签 指标维度更为丰富 •Kubernetes体系庞大,组件众多,涉及underlay、overlay两层网络,容器内容器外两个namespace,搞懂需要花些时间 •Kubernetes的监控,缺少体系化的文档指导,关键指标是哪些?最佳实践是什么?不是随便搜索几个yaml文件能搞定的 平台侧自身复杂度变高, 监控难度加大 l 服务端组件,控制面:API Server、Scheduler、 Controller-Manager、ETCD l 工作负载节点,最核心就是监控Pod容器和节点本 身,也要关注 kubelet 和 kube-proxy l 业务程序,即部署在容器中的业务程序的监控,这 个其实是最重要的 随着 Kubernetes 越来越流行,几乎所有云厂商都提供 了托管服务,这就意味着,服务端组件的可用性保障交 Kubernetes Node 组 件的监控 Kubernetes Node - 容器负载监控 抓取方案 • Pod或者容器的负载情况,是一个需要关注的点,容器层面主要关注CPU和内存使用情况,Pod 层面主要 关注网络IO的情况,因为多个容器共享Pod的net namespace,Pod内多个容器的网络数据相同 • 容器的监控数据可以直接通过 docker 引擎的接口读取到,也可以直接读取 cAdvisor0 码力 | 32 页 | 3.27 MB | 6 月前3
 中国移动磐舟DevSecOps平台云原生安全实践• 端到端自动化交付流水线 • 开发过程自主可控 • 一键发布上磐基,实现“乘舟上云,稳如磐基” • 沉淀IT软件资产,核心代码掌控 • 提升开发交付效率 一键 上磐基 构建 打包 容器 化镜 像 自动化 部署 研发安 全扫描 需求 设计 敏捷 开发交付协同 云原生DevSecOps 安全工具链 国产化 双平面调度 敏捷开 发过程 统一代 码仓库 依赖制 品仓库 科技创新成果 中国移动作为国家级高新技术企业,在国内外行业中科技创新成果丰硕。磐舟与磐基团队重视自主创 新与生产融合,拥有多项专利、高新技术、软件著作权等研发成果,建立了领先和成熟的研发体系。 ü 可信云容器解决 方案认证 ü 2021年云安全守卫者 计划优秀案例 ü DevOps解决方案最高等 级先进级的现场认证 ü 2021年通信行业云计算领域风云团队奖 ü 创新解决方案证书 最高等级认证 安全测试-镜像扫描 由于云原生“不可变基础设施”的特点,对容器风险的修复必须从镜像上处理才是最有效的。 因此对镜像的安全扫描变得尤其重要。 强大的漏洞扫描 支持双料漏洞库,可检测 的漏洞数大于17w条,提 供 对 容器镜像的扫描能力 ,可扫描发现CNNVD、 CVE等漏洞信息 , 提 供 详 细的漏洞分析能力联动。 安全风险发现 针对容器镜像内Webshell 、 病毒、木马进行检测;针0 码力 | 22 页 | 5.47 MB | 1 年前3 中国移动磐舟DevSecOps平台云原生安全实践• 端到端自动化交付流水线 • 开发过程自主可控 • 一键发布上磐基,实现“乘舟上云,稳如磐基” • 沉淀IT软件资产,核心代码掌控 • 提升开发交付效率 一键 上磐基 构建 打包 容器 化镜 像 自动化 部署 研发安 全扫描 需求 设计 敏捷 开发交付协同 云原生DevSecOps 安全工具链 国产化 双平面调度 敏捷开 发过程 统一代 码仓库 依赖制 品仓库 科技创新成果 中国移动作为国家级高新技术企业,在国内外行业中科技创新成果丰硕。磐舟与磐基团队重视自主创 新与生产融合,拥有多项专利、高新技术、软件著作权等研发成果,建立了领先和成熟的研发体系。 ü 可信云容器解决 方案认证 ü 2021年云安全守卫者 计划优秀案例 ü DevOps解决方案最高等 级先进级的现场认证 ü 2021年通信行业云计算领域风云团队奖 ü 创新解决方案证书 最高等级认证 安全测试-镜像扫描 由于云原生“不可变基础设施”的特点,对容器风险的修复必须从镜像上处理才是最有效的。 因此对镜像的安全扫描变得尤其重要。 强大的漏洞扫描 支持双料漏洞库,可检测 的漏洞数大于17w条,提 供 对 容器镜像的扫描能力 ,可扫描发现CNNVD、 CVE等漏洞信息 , 提 供 详 细的漏洞分析能力联动。 安全风险发现 针对容器镜像内Webshell 、 病毒、木马进行检测;针0 码力 | 22 页 | 5.47 MB | 1 年前3
共 25 条
- 1
- 2
- 3













