2 目录 1.数据库框架：从数据库的性能与容量到数据库框架技术的产生 2.数据库中间件：从框架技术到分布式的数据库中间件技术 3.分布式数据库：从数据库中间件技术发展到分布式数据库 4.数据库网格：数据库与微服务、云原生的发展关系 5.数据库解决方案：如何基于 ShardingSphere 生态创建数据库解决方案 1.数据库框架 1.数据库框架 摩尔定律失效 分布式崛起 分布式崛起 1.数据库框架 随着数据量的增大，读写并发的增加，系统可用性要求的提升，单机 MySQL面临： 1、容量有限，难以扩容 2、读写压力，QPS过大，特别是分析类需求会影响到业务事务 3、可用性不足，宕机问题 1.数据库框架 1.数据库框架 计算机领域的任何问题都可以通过增加一个中间层来解决。 数据库框架技术：在业务侧增强数据 库的能力。 直接在业务代码使用。 支持常见的数据库和JDBC。 支持常见的数据库和JDBC。 轻量级，不需要额外的资源和机器。 1.数据库框架 1、改造对业务系统具有较大侵入性； 2、对于复杂的SQL，可能不支持； 3、对于跨库和跨分片的数据，需要额外机制保障一致性； 4、缺乏较好的数据平滑迁移和过渡方案； 5、Java Only（或其他）。 数据库框架使用的约束： 2.数据库中间件 2.数据库中间件 作为中间件，独立部署，对业 务端透明。 任何语言平台的系统都可以接

测试确认 服务正常运行 实例 加入集群 恢复正常 工作量 成本 新一代架构（微服务）应用的对承载平台提出新要求 传统实践中，主要采用虚机/物理机+SpringCloud等微服务框架的方式承载微服务应用。但在一个虚机/服务器上 部署多个微服务会产生如下问题—— • 资源预分配，短时间内难以扩展 • 缺乏隔离性，服务相互抢占资源 • 增加环境、网络（端口）和资源管理的复杂性，治理成本高 7EB，实时计算峰值每秒30亿条记录； 云原生PolarDB读写性能提高50%+，计算资源利用率提高60%+。 • 云原生中间件首次实现自研、商用、开源的“三位一体”，通过阿里云服务全球客户。云原生中间件服务框架峰值调用量超百亿 QPS。 • 核心业务规模实践Serverless，弹性伸缩能力会提升10倍，大幅提升压测支撑效率和稳定性。 • 云原生技术不仅在阿里内部大规模普及，也正通过阿里云服务全社会的双1 ，并与 微服务框架直接关联，成本较高。 Ingress Service A Service B Service C k8s-ETCD ConfigMap Zipkin EFK prometheus • 适合新项目上云，如果是已经存在的项目就需要修改代码 • 注册中心、配置中心、跟踪链、日志分析、性能分析、流量网 关等都是平台提供的，也需要碎片化适配，并与微服务框架直 接关联，治理能力也必须委托给微服务框架。

Knative: ⾮常杰出的 Serverless 平台，Knative Serving 仅仅能运⾏应⽤，不能运⾏函数，还不能称之为 FaaS 平台 Knative Eventing: ⾮常优秀的事件管理框架，但设计有些过于复杂，⽤户⽤起来有⼀定⻔槛 OpenFaaS� ⽐较流⾏的 FaaS 项⽬，但是技术栈有点⽼旧，依赖于 Prometheus 和 Alertmanager 进⾏ Autoscaling，也并⾮最专业和敏捷的做法 云原⽣ Serverless 领域的最新进展为构建新⼀代 FaaS 平台提供了可能 现有开源 Serverless 或 FaaS 平台并不能满⾜构建现代云原⽣ FaaS 平台的要求 - 开放的云原⽣框架 - 涌现的优秀项⽬ - ⽇新⽉异的业务模式 Function Lifecycle 新⼀代开源函数计算平台 - 契机 Function Framework ⽤户函数示例 ▲ Triggers | EventBus(ClusterEventBus) OpenFunction 案例 OpenFunction 有哪些应⽤场景？OpenFunction 还能做什么？ 事件管理框架 本质上来看，事件框架也是⼀个由事件驱动的⼯作负载，那么它本身可以是 Serverless 形式的⼯作负载吗？ 可以⽤ OpenFunction 的异步函数来驱动吗？ ⾃定义⽇志告警 以 Serverless

.10 图 2 云原生四要素的基本含义..................................................................11 图 3 云原生安全框架................................................................................. 13 图 4 云原生安全能力体系 全原生化和云安全产品原生化 [5]，并给出我们对于云原生安全的理解，即云原生安全是云原生理念的延伸，旨 在解决云原生技术面临的安全问题。 CSA 发布的《云原生安全技术规范》中给出了云原生安全框架[6]，如图 3 所示。其中，横轴是开发运营安全的维度，涉及需求设计（Plan）、开发（Dev）、 运营（Ops）,细分为需求、设计、编码、测试、集成、交付、防护、检测和响 应阶段；而纵轴则是 括了一些通用技术能力（黄色 部分），这一部分能力主要体现在检测和响应阶段，并会同时覆盖 DevSecOps 中运营阶段的能力。 云原生安全威胁分析与能力建设白皮书 13 图 3 云原生安全框架 由此可见，云原生安全可以简要归纳为两个方面，一是面向云原生环境的安 全，其目标是防护云原生环境中的基础设施、编排系统、微服务、无服务和服务 网格等安全。二是具有云原生特征的安全，指具有云原生的弹性敏捷、轻量级、

• 不支持多场景的Resource reservation，backfill • 不支持CPU/IO topology based scheduling 领域框架支持不足 • 1:1的operator部署运维复杂 • 不同框架对作业管理、并行计算等要求不通 • 计算密集，资源波动大，需要高级调度能力 资源规划复用、异构计算支持不足 • 缺少队列概念 • 不支持集群资源的动态规划以及资源复用 F，目前是CNCF孵化级项目 • 2.9k star，500+ 全球贡献者 • 50+ 企业生产落地 关键特性： 1. 统一的作业管理 提供完善作业生命周期管理，统一支持几乎所有主流的计算框架，如 Pytorch, MPI, Horovod, Tensorflow、Spark等。 2. 丰富的高阶调度策略 公平调度、任务拓扑调度、基于SLA调度、作业抢占、回填、弹性调度、 混部等。 原生基础设 施，打造新一代大数据分析自助平台。 客户诉求: • 交互式服务、常驻服务、离线分析业务统一平台调度； • Job级别的调度管理，包括生命周期、依赖关系等； • 支持业界主流计算框架，如Spark、TensorFlow等； • 多用户公平分配资源，快速响应高优先级作业 解决方案: • K8s + Volcano 统一调度所有工作负载； • Queue动态资源共享，DRF、优先级抢占

漏洞 2022年3 月 30 日，国家信息安全漏洞共享平台 （CNVD）收录 Spring 框架远程命令执行漏洞 （CNVD-2022-23942）。攻击者利用该漏洞，可 在未授权的情况下远程执行命令，该漏洞被称为 “核弹级”漏洞。使用 JDK9 及以上版本皆有可能 受到影响。 Spring 框架漏洞 软件下载投毒、SDK/恶意代码污染、基础开源组件漏洞、商业许可证限制 Equifax信息泄露事件 技术是通过对二进制软件的组成部分进行识别、分析和追踪的技术。 SCA 可以生成完整的 SBOM，SBOM 作为制品成分清单，同时建立软件构成图谱，为后续分析提供基础，即分析开 发人员所使用的各种源码、模块、框架和库，以识别和清点开源软件（OSS）的组件及其构成和依赖关系，并精准识 别系统中存在的已知安全漏洞或者潜在的许可证授权问题。 IAST——API安全检测 doubo fosf://xxx.services

Dubbo/Spring-Cloud-Alibaba/Envoy 服务框架+服务⽹格 用户容器 用户容器 最佳实践 • 微服务最佳实践 • 服务治理最佳实践 • 日常环境隔离最佳实践 • 网关最佳实践 微服务最佳实践 MSE微服务引擎 Nacos/Zookeeper/Eureka 注册中⼼+配置中⼼ Dubbo/Spring-Cloud-Alibaba/Envoy 服务框架+服务⽹格 Ingress（Envoy）

Release: 27 MOSN 简介 — 生态建设 MOSN 简介 — 2021 roadmap 云原生 • 云原生网络平台建设 • 升级 Xprotocol 框架 • 支持 WASM • 区块链网络框架 • 代码热更新 • 高性能网络层扩展 • fastGRPC • 协程收敛 epoll 模型 • CGO 性能优化 • 支持 zipkin，Jaeger 等 • 支持

apiserver 的耗时分布，histogram类型，按照 url + verb 统计 • scheduler_framework_extension_point_duration_s econds 调度框架的扩展点延迟分布，按 extension_point 统计 • scheduler_pending_pods 调度 pending 的 pod 数量，按照 queue type 分别统计 • sch • statsd 和 prometheus sdk 都是通用方案，此外，不同语言也会有一些习惯性使用的埋点方案，比如 Java 的 micrometer • 埋点方案尽量要全公司一套，规范统一，在代码框架层面内置，减轻各个研发团队的使用成本 Pod内的业务应用的监控 - statsd 数据流向 • 推荐做法：如果是容器环境，Pod 内 sidecar 的方式部署 statsd；如果是物理机虚拟机环境，每个机器上部署一

Operator：实现自动启动存储集群，并监控存储守护进程，并确保存储 集群的健康； • Agent：在每个存储节点上运行，并部署一个 CSI / FlexVolume 插件， 和 Kubernetes 的存储卷控制框架进行集成。Agent 处理所有的存储操 作，例如挂载存储设备、加载存储卷以及格式化文件系统等； • Discovers：检测挂接到存储节点上的存储设备。 Rook 将 Ceph 存储服务作为 Kubernetes 需要在大数据应用的资源申请层面进行改造，使其具备直接向Kubernetes集群申请资源的特性，也称为Native on Kubernetes。目前Apache Spark、Apache Flink已经从框架内核不同程度的支持了该特性，但整体的完整对依赖于社 区的努力。 迁移风险高：一次变更引入的改动越多，引发故障的几率也越多。在Hadoop领域，大数据应用的资源，由 Hadoop Yarn负责管理和