All rights reserved. 构建统一的云原生应用 可观测性数据平台 DeepFlow在混合云中的实践总结 向阳@云杉网络 2022-04-09 1. 可观测性数据平台的挑战 2. 解决数据孤岛：AutoTagging 3. 降低资源开销：MultistageCodec 4. 统一数据平台的落地思路及案例 构建统一的云原生应用可观测性数据平台 看云网更清晰 Simplify complexity. 统一的可观测性数据平台 telegraf 看云网更清晰 Simplify the growing complexity. 挑战：数据孤岛、资源开销 数据 孤岛 资源消耗 telegraf 1. 可观测性数据平台的挑战 2. 解决数据孤岛：AutoTagging 3. 降低资源开销：MultistageCodec 4. 统一数据平台的落地思路及案例 构建统一的云原生应用可观测性数据平台 构建统一的云原生应用可观测性数据平台 看云网更清晰 Simplify the growing complexity. OpenTelemetry的方法 统一的上下文 以追踪为核心 看云网更清晰 Simplify the growing complexity. OpenTelemetry的方法 Tag, Exemplars (TraceID, SpanID) Tag, TraceID, SpanID TraceID

.10 图 2 云原生四要素的基本含义..................................................................11 图 3 云原生安全框架................................................................................. 13 图 4 云原生安全能力体系 所示。 图 1 云原生四要素 云原生安全威胁分析与能力建设白皮书 11 图 2 云原生四要素的基本含义 2020 年，云原生产业联盟发布《云原生发展白皮书》[1]，指出云原生是面 向云应用设计的一种思想理念，充分发挥云效能的最佳实践路径，帮助企业构建 弹性可靠、松耦合、易管理可观测的应用系统，提升交付效率，降低运维复杂度， 代表技术包括不可变基础设施、服务网格、声明式 API 及 Serverless [5]，并给出我们对于云原生安全的理解，即云原生安全是云原生理念的延伸，旨 在解决云原生技术面临的安全问题。 CSA 发布的《云原生安全技术规范》中给出了云原生安全框架[6]，如图 3 所示。其中，横轴是开发运营安全的维度，涉及需求设计（Plan）、开发（Dev）、 运营（Ops）,细分为需求、设计、编码、测试、集成、交付、防护、检测和响 应阶段；而纵轴则是按照云原生系统和技术的层次划分，包括容器基础设施安全、 容器编排平

测试确认 服务正常运行 实例 加入集群 恢复正常 工作量 成本 新一代架构（微服务）应用的对承载平台提出新要求 传统实践中，主要采用虚机/物理机+SpringCloud等微服务框架的方式承载微服务应用。但在一个虚机/服务器上 部署多个微服务会产生如下问题—— • 资源预分配，短时间内难以扩展 • 缺乏隔离性，服务相互抢占资源 • 增加环境、网络（端口）和资源管理的复杂性，治理成本高 支持服务的快速地部署、扩展、故障转移  支持更细致、自动化的运维，快速恢复  …… 过去 现在 未来 云原生的业务承载平台？ 什么是云原生->为云而生 • 落地的核心问题：业务微服务的划分和设计(DDD,咨询方案等）、部署困难、维持运行困难、云资源 管理与应用管理视角分离导致复杂性等 • 传统方案:仅仅考虑了一部分变化而引起的不稳定，如通过基于人工规则的服务治理保护链路、如时 延体验较差的部署策略等 7EB，实时计算峰值每秒30亿条记录； 云原生PolarDB读写性能提高50%+，计算资源利用率提高60%+。 • 云原生中间件首次实现自研、商用、开源的“三位一体”，通过阿里云服务全球客户。云原生中间件服务框架峰值调用量超百亿 QPS。 • 核心业务规模实践Serverless，弹性伸缩能力会提升10倍，大幅提升压测支撑效率和稳定性。 • 云原生技术不仅在阿里内部大规模普及，也正通过阿里云服务全社会的双1

沉淀IT软件资产，核心代码掌控 • 提升开发交付效率 一键 上磐基 构建 打包 容器 化镜 像 自动化 部署 研发安 全扫描 需求 设计 敏捷 开发交付协同 云原生DevSecOps 安全工具链 国产化 双平面调度 敏捷开 发过程 统一代 码仓库 依赖制 品仓库 统一 镜像库 云原生 验证环境 磐基 生产运行 核心价值 核心能力 灵活的低代码能力 实现页面组件、数据组件、功能组件的快 安全代码仓库托管 统一的安全代码仓库，按项目级别分级管 理，落盘加密，云IDE防护，显示水印等多 重防护。 云原生虚拟化开发集群 利用虚拟化技术实现开发集群，分钟级交 付，突破有限资源开发集群供给。 原生使用模式，开发组件一键部署 云原生CI持续集成 使用Dockerfile进行云原生方式的CI构建， 拓展形成ARM、x86双架构流水线，底层 安全漏洞统一修复 全面云原生安全 安全的重要性 01 磐舟DevSecOps平台概况 02 磐舟DevSecOps平台安全能力 03 磐舟DevSecOps实践总结 目 录 目录 CONTENT 磐舟DevSecOps安全能力建设框架 安全开发 • • • 安全测试 • • • 安全管控 • • • 安全运营 • • • 一个体系、两个方向、四个环节 PLAN CODE DEPLOY OPERATE MONITOR

函数检查行为方式 来阻止攻击，属于一种主动的态势感知和风险隔离技术手段 可以自动化的对非预计风险进行识别和风险隔离 对系统性能有一定影响 可信计算 核心目标是保证系统和应用的完整性，从而保证系统按照设计预期所规 定的安全状态。尤其是像边缘计算BOX这种安全防护，根据唯一Hash值验 证，可以实现极为简单的边云接入操作，运行态并不会影响性能。 可信根一般是一个硬件，比如CPU或者TPM，将从 它开始构建系统所有组件启动的可信启动链，比 等高性能存储服务满足业务需求； • 容器编排层面：优化存储调度能力，实现存储就近访问、数据分散存储等方式降低单个存储卷的访问压力。 4. 共享存储的隔离性 • 共享存储提供了多个 Pod 共享数据的能力，方便了不同应用对数据的统一管理、访问，但在多租的场景中，不同租户对存储的隔离性需求 成为一个需要解决的问题。 具体需求 • 底层存储提供目录间的强隔离能力，让共享文件系统的不同租户之间实现文件系统级别的隔离效果。 • 容器编排层实现基于名词空间、PSP Operator：实现自动启动存储集群，并监控存储守护进程，并确保存储 集群的健康； • Agent：在每个存储节点上运行，并部署一个 CSI / FlexVolume 插件， 和 Kubernetes 的存储卷控制框架进行集成。Agent 处理所有的存储操 作，例如挂载存储设备、加载存储卷以及格式化文件系统等； • Discovers：检测挂接到存储节点上的存储设备。 Rook 将 Ceph 存储服务作为 Kubernetes

意埋点 •各种采集器层出不穷，都是本着可采尽采的原则，一个中间件实例动辄采集几千个指标 指标数量大幅增长 •老一代监控系统更多的是关注机器、交换机、中间件的监控，每个监控对象一个标识即可，没有维度的设计 •新一代监控系统更加关注应用侧的监控，没有维度标签玩不转，每个指标动辄几个、十几个标签 指标维度更为丰富 •Kubernetes体系庞大，组件众多，涉及underlay、overlay两层网络，容 apiserver 的耗时分布，histogram类型，按照 url + verb 统计 • scheduler_framework_extension_point_duration_s econds 调度框架的扩展点延迟分布，按 extension_point 统计 • scheduler_pending_pods 调度 pending 的 pod 数量，按照 queue type 分别统计 • sch micrometer • 埋点方案尽量要全公司一套，规范统一，在代码框架层面内置，减轻各个研发团队的使用成本 Pod内的业务应用的监控 - statsd 数据流向 • 推荐做法：如果是容器环境，Pod 内 sidecar 的方式部署 statsd；如果是物理机虚拟机环境，每个机器上部署一 个 statsd 的 agent，接收到数据之后统一推给服务端 Pod-001 业务 容器 agent

种可以交易的商品，可以购买增强自己APP的能力，比如在自己APP里显示天气预报数据，从外部去管理应用平台，形成了一种新PaaS组织方式。 • 逻辑API：已有API的组 合，形成一个新API • 声明API：需要生成代 码框架（任何语言）， 契约驱动研发 • BaaS API:数据库接口、 中间件接口外化成API • API门户：消费者可以 根据领域-能力查询到 想要的API。 • 自动生成SDK方便集成。 • 发行计划：向下兼容， 标准化能力-微服务PAAS-从监控到可观测-研发人员的第五感-2 可观察性是云原生特别关注的运维支撑能力，因为它的主动性，正符合云原生对碎片变化的稳定性保障的思想 数据的全面采集 数据的关联分析 统一监控视图与展现 Metric 是指在多个连 续的时间周期 内用于度量的 KPI数值 Tracing 通过TraceId来 标识记录并还 原发生一次分 布式调用的完 整过程和细节 Logging 用两个维度的东西整合整体化“集群镜像” 方式的交付，底层差异影响减少到最小 标准化能力-微服务PAAS-OAM-万花筒PAAS-3 以上解耦的结果，隐含着更深层次的能力，不是简单解耦那么简单，它使得统一通用PaaS成为可能 组件市场|仓库 平台运维特性 应用编排 运维特性编排 版本化 应用 • 两端解耦之后，两端方面都可以形成一个没有 私有PaaS特征依赖的市场，而强大的开源社区 比平台提供商自己还要强大，利用容器底座的

• 不支持多场景的Resource reservation，backfill • 不支持CPU/IO topology based scheduling 领域框架支持不足 • 1:1的operator部署运维复杂 • 不同框架对作业管理、并行计算等要求不通 • 计算密集，资源波动大，需要高级调度能力 资源规划复用、异构计算支持不足 • 缺少队列概念 • 不支持集群资源的动态规划以及资源复用 2019年6月开源，2020年进入CNCF，目前是CNCF孵化级项目 • 2.9k star，500+ 全球贡献者 • 50+ 企业生产落地 关键特性： 1. 统一的作业管理 提供完善作业生命周期管理，统一支持几乎所有主流的计算框架，如 Pytorch, MPI, Horovod, Tensorflow、Spark等。 2. 丰富的高阶调度策略 公平调度、任务拓扑调度、基于SLA调度、作业抢占、回填、弹性调度、 施，打造新一代大数据分析自助平台。 客户诉求: • 交互式服务、常驻服务、离线分析业务统一平台调度； • Job级别的调度管理，包括生命周期、依赖关系等； • 支持业界主流计算框架，如Spark、TensorFlow等； • 多用户公平分配资源，快速响应高优先级作业 解决方案: • K8s + Volcano 统一调度所有工作负载； • Queue动态资源共享，DRF、优先级抢占 用户收益：

漏洞 2022年3 月 30 日，国家信息安全漏洞共享平台 （CNVD）收录 Spring 框架远程命令执行漏洞 （CNVD-2022-23942）。攻击者利用该漏洞，可 在未授权的情况下远程执行命令，该漏洞被称为 “核弹级”漏洞。使用 JDK9 及以上版本皆有可能 受到影响。 Spring 框架漏洞 软件下载投毒、SDK/恶意代码污染、基础开源组件漏洞、商业许可证限制 Equifax信息泄露事件 2）从企业角色类型来看，对SBOM有不同的使用需求： 〇 开发团队：用于管理软件资产，在开发早期即可评估安全风险，筛选 适合的组件/软件，并持续更新SBOM； 〇 安全团队：通过提交的SBOM分析软件风险，并通过统一管理进行持 续监控，及时响应安全事件； 〇 法务团队：核查软件授权问题，避免后续公司业务自身权益受到损害。 实践要点 实践要点——与漏洞情报关联 实践要点——拥抱自动化 ——《The Minimum 技术是通过对二进制软件的组成部分进行识别、分析和追踪的技术。 SCA 可以生成完整的 SBOM，SBOM 作为制品成分清单，同时建立软件构成图谱，为后续分析提供基础，即分析开 发人员所使用的各种源码、模块、框架和库，以识别和清点开源软件（OSS）的组件及其构成和依赖关系，并精准识 别系统中存在的已知安全漏洞或者潜在的许可证授权问题。 IAST——API安全检测 doubo fosf://xxx.services

可以使得非IT人员快速构建业务系统成为可能，低代码平台是业 务研发和运行一体的平台，其内部实现并不容易，想落地更不容易，关键在于人们现在存在巨大的误区！工具思维导致落地艰难！ 业务沟通、需求分析与设计的交流平台 低代码平台表达的是业务逻辑。低代码平台的作用是将业务需求中的逻辑关系理清楚，帮助企业实现这个逻辑。 好的低代码平台要能适应企业的需求变化，提供需求变更管理 如果组件的实现方式依旧是 co 失。企业管理者终于意识到，云计算供 应商锁定会阻碍多云方法所带来的创造力、可用性和流动性。 • 云原生PaaS可以屏蔽多云的差异， 统一的不分何种云上的一致的运行 同一服务或者应用。 • 避免厂家锁定，客户可以自由选择 资源分布和费用组合，更加灵活。 • 中心云统一纳管运维和输出服务。 • 是一种以资源视角的云交付形式， 不同于混合云，底层云的资源使用 地位等同。 AWS Aliyun Azure 大规模集群支撑集团“双十 一”，日交易额2684亿元 2 0 1 9 T4项目启动，容器调度技 术开始支撑集团的在线业 务，云原生时代开启 2 0 1 1 在线和离线调度系统打通混合 部署，底层资源池统一，支撑 百万级电商交易活动。 云原生技术全面商业化，容器 技术对外开放 2 0 1 7 云原生技术全面升级，阿 里巴巴原生用云， Serverless时代开始。 2 0 2 0