 22-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊敏态IT:敏捷、弹性、灵活 各行业IT应用系统不断丰富与创新 总部 机关 内部员工 分支 机构 内部员工 移动 接入 内部员工/合作伙伴 OA CRM HRM …… BPM MES 稳态IT WEB APP 移动用户 采购 平台 互联网 平台 数字 营销 敏态IT 互联网/物联网应用 创新应用 PC用户 物联网 物联终端 互联网、 大数据 AI、 IoT 数字化转型  应用价值提升 复杂的应用软件架构,在开发、测试、运维 团队之间建成了认知的“墙”,团队间配合效 率低,故障排查慢,阻碍了软件价值的流动 无法满足用户对于业务快速研发、 稳定交付的要求 场景 1 如果生产中一台Web应用服务器故障,恢复这台服务器需要 做哪些事情? 场景 2 如果应用负载升高/降低,如何及时、按需扩展/收缩所 用资源? 场景 3 如果业务系统要升级,如何平滑升级?万一升级失败是 否能够自动回滚?整个过程线上业务持续运行不中断。 发现故障 (假死) 创建 新实例 配置 运行环境 部署当前 应用版本 添加 监控 配置 日志采集 测试确认 服务正常运行 实例 加入集群 恢复正常 场景 1 如果生产中一台Web应用服务器故障,恢复这台服务器需要 做哪些事情? 场景 2 如果应用负载升高/降低,如何及时按需扩展/收缩所用 资源? 场景 3 如果业务系统要升级,如何平滑升级?万一升级失败是 否能够自动回滚?整个过程线上业务持续运行不中断。0 码力 | 42 页 | 11.17 MB | 6 月前3 22-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊敏态IT:敏捷、弹性、灵活 各行业IT应用系统不断丰富与创新 总部 机关 内部员工 分支 机构 内部员工 移动 接入 内部员工/合作伙伴 OA CRM HRM …… BPM MES 稳态IT WEB APP 移动用户 采购 平台 互联网 平台 数字 营销 敏态IT 互联网/物联网应用 创新应用 PC用户 物联网 物联终端 互联网、 大数据 AI、 IoT 数字化转型  应用价值提升 复杂的应用软件架构,在开发、测试、运维 团队之间建成了认知的“墙”,团队间配合效 率低,故障排查慢,阻碍了软件价值的流动 无法满足用户对于业务快速研发、 稳定交付的要求 场景 1 如果生产中一台Web应用服务器故障,恢复这台服务器需要 做哪些事情? 场景 2 如果应用负载升高/降低,如何及时、按需扩展/收缩所 用资源? 场景 3 如果业务系统要升级,如何平滑升级?万一升级失败是 否能够自动回滚?整个过程线上业务持续运行不中断。 发现故障 (假死) 创建 新实例 配置 运行环境 部署当前 应用版本 添加 监控 配置 日志采集 测试确认 服务正常运行 实例 加入集群 恢复正常 场景 1 如果生产中一台Web应用服务器故障,恢复这台服务器需要 做哪些事情? 场景 2 如果应用负载升高/降低,如何及时按需扩展/收缩所用 资源? 场景 3 如果业务系统要升级,如何平滑升级?万一升级失败是 否能够自动回滚?整个过程线上业务持续运行不中断。0 码力 | 42 页 | 11.17 MB | 6 月前3
 云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)运行时安全能力建设...................................................................................53 4.2.1Web 应用和 API 安全...........................................................................54 4.2.2 云原生运行时安全 .10 图 2 云原生四要素的基本含义..................................................................11 图 3 云原生安全框架................................................................................. 13 图 4 云原生安全能力体系 全原生化和云安全产品原生化 [5],并给出我们对于云原生安全的理解,即云原生安全是云原生理念的延伸,旨 在解决云原生技术面临的安全问题。 CSA 发布的《云原生安全技术规范》中给出了云原生安全框架[6],如图 3 所示。其中,横轴是开发运营安全的维度,涉及需求设计(Plan)、开发(Dev)、 运营(Ops),细分为需求、设计、编码、测试、集成、交付、防护、检测和响 应阶段;而纵轴则是0 码力 | 72 页 | 2.44 MB | 1 年前3 云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)运行时安全能力建设...................................................................................53 4.2.1Web 应用和 API 安全...........................................................................54 4.2.2 云原生运行时安全 .10 图 2 云原生四要素的基本含义..................................................................11 图 3 云原生安全框架................................................................................. 13 图 4 云原生安全能力体系 全原生化和云安全产品原生化 [5],并给出我们对于云原生安全的理解,即云原生安全是云原生理念的延伸,旨 在解决云原生技术面临的安全问题。 CSA 发布的《云原生安全技术规范》中给出了云原生安全框架[6],如图 3 所示。其中,横轴是开发运营安全的维度,涉及需求设计(Plan)、开发(Dev)、 运营(Ops),细分为需求、设计、编码、测试、集成、交付、防护、检测和响 应阶段;而纵轴则是0 码力 | 72 页 | 2.44 MB | 1 年前3
 云原生图数据库解谜、容器化实践与 Serverless 应用实操Knative: ⾮常杰出的 Serverless 平台,Knative Serving 仅仅能运⾏应⽤,不能运⾏函数,还不能称之为 FaaS 平台 Knative Eventing: ⾮常优秀的事件管理框架,但设计有些过于复杂,⽤户⽤起来有⼀定⻔槛 OpenFaaS� ⽐较流⾏的 FaaS 项⽬,但是技术栈有点⽼旧,依赖于 Prometheus 和 Alertmanager 进⾏ Autoscaling,也并⾮最专业和敏捷的做法 云原⽣ Serverless 领域的最新进展为构建新⼀代 FaaS 平台提供了可能 现有开源 Serverless 或 FaaS 平台并不能满⾜构建现代云原⽣ FaaS 平台的要求 - 开放的云原⽣框架 - 涌现的优秀项⽬ - ⽇新⽉异的业务模式 Function Lifecycle 新⼀代开源函数计算平台 - 契机 Function Framework ⽤户函数示例 ▲ Triggers | EventBus(ClusterEventBus) OpenFunction 案例 OpenFunction 有哪些应⽤场景?OpenFunction 还能做什么? 事件管理框架 本质上来看,事件框架也是⼀个由事件驱动的⼯作负载,那么它本身可以是 Serverless 形式的⼯作负载吗? 可以⽤ OpenFunction 的异步函数来驱动吗? ⾃定义⽇志告警 以 Serverless0 码力 | 47 页 | 29.72 MB | 1 年前3 云原生图数据库解谜、容器化实践与 Serverless 应用实操Knative: ⾮常杰出的 Serverless 平台,Knative Serving 仅仅能运⾏应⽤,不能运⾏函数,还不能称之为 FaaS 平台 Knative Eventing: ⾮常优秀的事件管理框架,但设计有些过于复杂,⽤户⽤起来有⼀定⻔槛 OpenFaaS� ⽐较流⾏的 FaaS 项⽬,但是技术栈有点⽼旧,依赖于 Prometheus 和 Alertmanager 进⾏ Autoscaling,也并⾮最专业和敏捷的做法 云原⽣ Serverless 领域的最新进展为构建新⼀代 FaaS 平台提供了可能 现有开源 Serverless 或 FaaS 平台并不能满⾜构建现代云原⽣ FaaS 平台的要求 - 开放的云原⽣框架 - 涌现的优秀项⽬ - ⽇新⽉异的业务模式 Function Lifecycle 新⼀代开源函数计算平台 - 契机 Function Framework ⽤户函数示例 ▲ Triggers | EventBus(ClusterEventBus) OpenFunction 案例 OpenFunction 有哪些应⽤场景?OpenFunction 还能做什么? 事件管理框架 本质上来看,事件框架也是⼀个由事件驱动的⼯作负载,那么它本身可以是 Serverless 形式的⼯作负载吗? 可以⽤ OpenFunction 的异步函数来驱动吗? ⾃定义⽇志告警 以 Serverless0 码力 | 47 页 | 29.72 MB | 1 年前3
 SBOM 为基础的云原生应用安全治理Material)是代码库中所有开放源代码和第三方组件的清单。 • SBOM能够列出管理这些组件的许可证,代码库中使用的组件的版本及其补丁程序状态。 云原生应用安全风险面 第三方组件 开源组件 应用安全 风险面 Web通用漏洞 SQL注入、命令执行、XXE、XSS等OWASP TOP10 业务逻辑漏洞 水平/垂直越权、短信轰炸、批量注册、验 证码绕过等 合规需求、安全配置 未能满足安全合规、未建立安全基线、敏 漏洞 2022年3 月 30 日,国家信息安全漏洞共享平台 (CNVD)收录 Spring 框架远程命令执行漏洞 (CNVD-2022-23942)。攻击者利用该漏洞,可 在未授权的情况下远程执行命令,该漏洞被称为 “核弹级”漏洞。使用 JDK9 及以上版本皆有可能 受到影响。 Spring 框架漏洞 软件下载投毒、SDK/恶意代码污染、基础开源组件漏洞、商业许可证限制 Equifax信息泄露事件 供基础,即分析开 发人员所使用的各种源码、模块、框架和库,以识别和清点开源软件(OSS)的组件及其构成和依赖关系,并精准识 别系统中存在的已知安全漏洞或者潜在的许可证授权问题。 IAST——API安全检测 doubo fosf://xxx.services.id 网关 nginx doubo java java java web /etc/nginx/conf.d/* ciaapi0 码力 | 30 页 | 2.39 MB | 1 年前3 SBOM 为基础的云原生应用安全治理Material)是代码库中所有开放源代码和第三方组件的清单。 • SBOM能够列出管理这些组件的许可证,代码库中使用的组件的版本及其补丁程序状态。 云原生应用安全风险面 第三方组件 开源组件 应用安全 风险面 Web通用漏洞 SQL注入、命令执行、XXE、XSS等OWASP TOP10 业务逻辑漏洞 水平/垂直越权、短信轰炸、批量注册、验 证码绕过等 合规需求、安全配置 未能满足安全合规、未建立安全基线、敏 漏洞 2022年3 月 30 日,国家信息安全漏洞共享平台 (CNVD)收录 Spring 框架远程命令执行漏洞 (CNVD-2022-23942)。攻击者利用该漏洞,可 在未授权的情况下远程执行命令,该漏洞被称为 “核弹级”漏洞。使用 JDK9 及以上版本皆有可能 受到影响。 Spring 框架漏洞 软件下载投毒、SDK/恶意代码污染、基础开源组件漏洞、商业许可证限制 Equifax信息泄露事件 供基础,即分析开 发人员所使用的各种源码、模块、框架和库,以识别和清点开源软件(OSS)的组件及其构成和依赖关系,并精准识 别系统中存在的已知安全漏洞或者潜在的许可证授权问题。 IAST——API安全检测 doubo fosf://xxx.services.id 网关 nginx doubo java java java web /etc/nginx/conf.d/* ciaapi0 码力 | 30 页 | 2.39 MB | 1 年前3
 云原生微服务最佳实践Dubbo/Spring-Cloud-Alibaba/Envoy 服务框架+服务⽹格 用户容器 用户容器 最佳实践 • 微服务最佳实践 • 服务治理最佳实践 • 日常环境隔离最佳实践 • 网关最佳实践 微服务最佳实践 MSE微服务引擎 Nacos/Zookeeper/Eureka 注册中⼼+配置中⼼ Dubbo/Spring-Cloud-Alibaba/Envoy 服务框架+服务⽹格 Ingress(Envoy) 微服务治理全链路灰度最佳实践 • 斯凯奇 云原生网关最佳实践 来电 微服务治理全链路灰度最佳实践 app 充电宝设备节点 web 网关 服务注册发现 配置中心 HTTP HTTP HTTP HTTP HTTP 10% 90% web web web服务 Gray 基线版本 用户中心 Dubbo Gray Dubbo 基线版本 RPC RPC 订单中心 app pos web MSE 云原生网关 认证鉴权服务 primweb web 订单中心 促销中心 商品中心 库存中心 渠道中心 用户中心 营销中心 会员中心 日志服务 安全 全链路监控 web服务 ES 云数据库 Rredis 版 RDS 云数据库 POLARDB 微服务中心 限流熔断 消息队列 AHAS ARMS SLS Web应⽤防⽕墙 分布式任务LTS0 码力 | 20 页 | 6.76 MB | 1 年前3 云原生微服务最佳实践Dubbo/Spring-Cloud-Alibaba/Envoy 服务框架+服务⽹格 用户容器 用户容器 最佳实践 • 微服务最佳实践 • 服务治理最佳实践 • 日常环境隔离最佳实践 • 网关最佳实践 微服务最佳实践 MSE微服务引擎 Nacos/Zookeeper/Eureka 注册中⼼+配置中⼼ Dubbo/Spring-Cloud-Alibaba/Envoy 服务框架+服务⽹格 Ingress(Envoy) 微服务治理全链路灰度最佳实践 • 斯凯奇 云原生网关最佳实践 来电 微服务治理全链路灰度最佳实践 app 充电宝设备节点 web 网关 服务注册发现 配置中心 HTTP HTTP HTTP HTTP HTTP 10% 90% web web web服务 Gray 基线版本 用户中心 Dubbo Gray Dubbo 基线版本 RPC RPC 订单中心 app pos web MSE 云原生网关 认证鉴权服务 primweb web 订单中心 促销中心 商品中心 库存中心 渠道中心 用户中心 营销中心 会员中心 日志服务 安全 全链路监控 web服务 ES 云数据库 Rredis 版 RDS 云数据库 POLARDB 微服务中心 限流熔断 消息队列 AHAS ARMS SLS Web应⽤防⽕墙 分布式任务LTS0 码力 | 20 页 | 6.76 MB | 1 年前3
 12-从数据库中间件到云原生——Apache ShardingSphere 架构演进-秦金卫2 目录 1.数据库框架:从数据库的性能与容量到数据库框架技术的产生 2.数据库中间件:从框架技术到分布式的数据库中间件技术 3.分布式数据库:从数据库中间件技术发展到分布式数据库 4.数据库网格:数据库与微服务、云原生的发展关系 5.数据库解决方案:如何基于 ShardingSphere 生态创建数据库解决方案 1.数据库框架 1.数据库框架 摩尔定律失效 分布式崛起 分布式崛起 1.数据库框架 随着数据量的增大,读写并发的增加,系统可用性要求的提升,单机 MySQL面临: 1、容量有限,难以扩容 2、读写压力,QPS过大,特别是分析类需求会影响到业务事务 3、可用性不足,宕机问题 1.数据库框架 1.数据库框架 计算机领域的任何问题都可以通过增加一个中间层来解决。 数据库框架技术:在业务侧增强数据 库的能力。 直接在业务代码使用。 支持常见的数据库和JDBC。 支持常见的数据库和JDBC。 轻量级,不需要额外的资源和机器。 1.数据库框架 1、改造对业务系统具有较大侵入性; 2、对于复杂的SQL,可能不支持; 3、对于跨库和跨分片的数据,需要额外机制保障一致性; 4、缺乏较好的数据平滑迁移和过渡方案; 5、Java Only(或其他)。 数据库框架使用的约束: 2.数据库中间件 2.数据库中间件 作为中间件,独立部署,对业 务端透明。 任何语言平台的系统都可以接0 码力 | 23 页 | 1.91 MB | 6 月前3 12-从数据库中间件到云原生——Apache ShardingSphere 架构演进-秦金卫2 目录 1.数据库框架:从数据库的性能与容量到数据库框架技术的产生 2.数据库中间件:从框架技术到分布式的数据库中间件技术 3.分布式数据库:从数据库中间件技术发展到分布式数据库 4.数据库网格:数据库与微服务、云原生的发展关系 5.数据库解决方案:如何基于 ShardingSphere 生态创建数据库解决方案 1.数据库框架 1.数据库框架 摩尔定律失效 分布式崛起 分布式崛起 1.数据库框架 随着数据量的增大,读写并发的增加,系统可用性要求的提升,单机 MySQL面临: 1、容量有限,难以扩容 2、读写压力,QPS过大,特别是分析类需求会影响到业务事务 3、可用性不足,宕机问题 1.数据库框架 1.数据库框架 计算机领域的任何问题都可以通过增加一个中间层来解决。 数据库框架技术:在业务侧增强数据 库的能力。 直接在业务代码使用。 支持常见的数据库和JDBC。 支持常见的数据库和JDBC。 轻量级,不需要额外的资源和机器。 1.数据库框架 1、改造对业务系统具有较大侵入性; 2、对于复杂的SQL,可能不支持; 3、对于跨库和跨分片的数据,需要额外机制保障一致性; 4、缺乏较好的数据平滑迁移和过渡方案; 5、Java Only(或其他)。 数据库框架使用的约束: 2.数据库中间件 2.数据库中间件 作为中间件,独立部署,对业 务端透明。 任何语言平台的系统都可以接0 码力 | 23 页 | 1.91 MB | 6 月前3
 Volcano加速金融行业大数据分析平台云原生化改造的应用实践• 不支持多场景的Resource reservation,backfill • 不支持CPU/IO topology based scheduling 领域框架支持不足 • 1:1的operator部署运维复杂 • 不同框架对作业管理、并行计算等要求不通 • 计算密集,资源波动大,需要高级调度能力 资源规划复用、异构计算支持不足 • 缺少队列概念 • 不支持集群资源的动态规划以及资源复用 F,目前是CNCF孵化级项目 • 2.9k star,500+ 全球贡献者 • 50+ 企业生产落地 关键特性: 1. 统一的作业管理 提供完善作业生命周期管理,统一支持几乎所有主流的计算框架,如 Pytorch, MPI, Horovod, Tensorflow、Spark等。 2. 丰富的高阶调度策略 公平调度、任务拓扑调度、基于SLA调度、作业抢占、回填、弹性调度、 混部等。 原生基础设 施,打造新一代大数据分析自助平台。 客户诉求: • 交互式服务、常驻服务、离线分析业务统一平台调度; • Job级别的调度管理,包括生命周期、依赖关系等; • 支持业界主流计算框架,如Spark、TensorFlow等; • 多用户公平分配资源,快速响应高优先级作业 解决方案: • K8s + Volcano 统一调度所有工作负载; • Queue动态资源共享,DRF、优先级抢占0 码力 | 18 页 | 1.82 MB | 1 年前3 Volcano加速金融行业大数据分析平台云原生化改造的应用实践• 不支持多场景的Resource reservation,backfill • 不支持CPU/IO topology based scheduling 领域框架支持不足 • 1:1的operator部署运维复杂 • 不同框架对作业管理、并行计算等要求不通 • 计算密集,资源波动大,需要高级调度能力 资源规划复用、异构计算支持不足 • 缺少队列概念 • 不支持集群资源的动态规划以及资源复用 F,目前是CNCF孵化级项目 • 2.9k star,500+ 全球贡献者 • 50+ 企业生产落地 关键特性: 1. 统一的作业管理 提供完善作业生命周期管理,统一支持几乎所有主流的计算框架,如 Pytorch, MPI, Horovod, Tensorflow、Spark等。 2. 丰富的高阶调度策略 公平调度、任务拓扑调度、基于SLA调度、作业抢占、回填、弹性调度、 混部等。 原生基础设 施,打造新一代大数据分析自助平台。 客户诉求: • 交互式服务、常驻服务、离线分析业务统一平台调度; • Job级别的调度管理,包括生命周期、依赖关系等; • 支持业界主流计算框架,如Spark、TensorFlow等; • 多用户公平分配资源,快速响应高优先级作业 解决方案: • K8s + Volcano 统一调度所有工作负载; • Queue动态资源共享,DRF、优先级抢占0 码力 | 18 页 | 1.82 MB | 1 年前3
 1.3 MOSN 在云原生的探索及实践Release: 27 MOSN 简介 — 生态建设 MOSN 简介 — 2021 roadmap 云原生 • 云原生网络平台建设 • 升级 Xprotocol 框架 • 支持 WASM • 区块链网络框架 • 代码热更新 • 高性能网络层扩展 • fastGRPC • 协程收敛 epoll 模型 • CGO 性能优化 • 支持 zipkin,Jaeger 等 • 支持0 码力 | 36 页 | 35.61 MB | 1 年前3 1.3 MOSN 在云原生的探索及实践Release: 27 MOSN 简介 — 生态建设 MOSN 简介 — 2021 roadmap 云原生 • 云原生网络平台建设 • 升级 Xprotocol 框架 • 支持 WASM • 区块链网络框架 • 代码热更新 • 高性能网络层扩展 • fastGRPC • 协程收敛 epoll 模型 • CGO 性能优化 • 支持 zipkin,Jaeger 等 • 支持0 码力 | 36 页 | 35.61 MB | 1 年前3
 36-云原生监控体系建设-秦晓辉apiserver 的耗时分布,histogram类型,按照 url + verb 统计 • scheduler_framework_extension_point_duration_s econds 调度框架的扩展点延迟分布,按 extension_point 统计 • scheduler_pending_pods 调度 pending 的 pod 数量,按照 queue type 分别统计 • sch • statsd 和 prometheus sdk 都是通用方案,此外,不同语言也会有一些习惯性使用的埋点方案,比如 Java 的 micrometer • 埋点方案尽量要全公司一套,规范统一,在代码框架层面内置,减轻各个研发团队的使用成本 Pod内的业务应用的监控 - statsd 数据流向 • 推荐做法:如果是容器环境,Pod 内 sidecar 的方式部署 statsd;如果是物理机虚拟机环境,每个机器上部署一0 码力 | 32 页 | 3.27 MB | 6 月前3 36-云原生监控体系建设-秦晓辉apiserver 的耗时分布,histogram类型,按照 url + verb 统计 • scheduler_framework_extension_point_duration_s econds 调度框架的扩展点延迟分布,按 extension_point 统计 • scheduler_pending_pods 调度 pending 的 pod 数量,按照 queue type 分别统计 • sch • statsd 和 prometheus sdk 都是通用方案,此外,不同语言也会有一些习惯性使用的埋点方案,比如 Java 的 micrometer • 埋点方案尽量要全公司一套,规范统一,在代码框架层面内置,减轻各个研发团队的使用成本 Pod内的业务应用的监控 - statsd 数据流向 • 推荐做法:如果是容器环境,Pod 内 sidecar 的方式部署 statsd;如果是物理机虚拟机环境,每个机器上部署一0 码力 | 32 页 | 3.27 MB | 6 月前3
 24-云原生中间件之道-高磊Operator:实现自动启动存储集群,并监控存储守护进程,并确保存储 集群的健康; • Agent:在每个存储节点上运行,并部署一个 CSI / FlexVolume 插件, 和 Kubernetes 的存储卷控制框架进行集成。Agent 处理所有的存储操 作,例如挂载存储设备、加载存储卷以及格式化文件系统等; • Discovers:检测挂接到存储节点上的存储设备。 Rook 将 Ceph 存储服务作为 Kubernetes 需要在大数据应用的资源申请层面进行改造,使其具备直接向Kubernetes集群申请资源的特性,也称为Native on Kubernetes。目前Apache Spark、Apache Flink已经从框架内核不同程度的支持了该特性,但整体的完整对依赖于社 区的努力。 迁移风险高:一次变更引入的改动越多,引发故障的几率也越多。在Hadoop领域,大数据应用的资源,由 Hadoop Yarn负责管理和0 码力 | 22 页 | 4.39 MB | 6 月前3 24-云原生中间件之道-高磊Operator:实现自动启动存储集群,并监控存储守护进程,并确保存储 集群的健康; • Agent:在每个存储节点上运行,并部署一个 CSI / FlexVolume 插件, 和 Kubernetes 的存储卷控制框架进行集成。Agent 处理所有的存储操 作,例如挂载存储设备、加载存储卷以及格式化文件系统等; • Discovers:检测挂接到存储节点上的存储设备。 Rook 将 Ceph 存储服务作为 Kubernetes 需要在大数据应用的资源申请层面进行改造,使其具备直接向Kubernetes集群申请资源的特性,也称为Native on Kubernetes。目前Apache Spark、Apache Flink已经从框架内核不同程度的支持了该特性,但整体的完整对依赖于社 区的努力。 迁移风险高:一次变更引入的改动越多,引发故障的几率也越多。在Hadoop领域,大数据应用的资源,由 Hadoop Yarn负责管理和0 码力 | 22 页 | 4.39 MB | 6 月前3
共 18 条
- 1
- 2













