1 云原生安全威胁分析与 能力建设白皮书 中国联通研究院 中国联通网络安全研究院 下一代互联网宽带业务应用国家工程研究中心 2023 年 11 月 版权声明 本报告版权属于中国联合网络通信有限公司研究院，并受法 律保护。转载、摘编或利用其他方式使用本报告文字或者观点的， 应注明“来源：中国联通研究院”。违反上述声明者，本院将追 究其相关法律责任。 云原生安全威胁分析与能力建设白皮书 云计算 质变的技术内核。 云原生作为云计算深入发展的产物，已经开始在 5G、人工智能、大数据等 各个技术领域得到广泛应用。中国联通研究院一直从事云原生及其安全技术的研 究，致力于推动云原生在通信行业落地实践，全面落实好“大安全”主责主业， 以实际行动践行“国家队、主力军、排头兵”的责任担当。2022 年，我们在“联 通合作伙伴大会”发布了《中国联通云原生安全实践白皮书》，该书系统阐述了 云原生应用保护能力建设思 路，以期与行业同仁共同推动云原生安全落地发展。 最后，白皮书内容难免有疏漏，敬请读者批评指正。 云原生安全威胁分析与能力建设白皮书 8 编写单位： 中国联合网络通信有限公司研究院、联通数字科技有限公司、中国联通福建 省分公司、北京神州绿盟科技有限公司、北京小佑网络科技有限公司、中兴通讯 股份有限公司 专家顾问： 叶晓煜、张建荣、徐雷、潘松柏、冯强、张曼君、傅瑜、葛然、张小梅、徐

NetWorking PaaS 硬件与虚拟化厂商提供，如果是HCI架构， 作为总体集成方，会降低安全集成成本 可信计算环境：OS安全、TPM加密、TEE可信环境 云原生安全：镜像安全、镜像仓库安全、容器加固隔离、通信零信任 (Istio零信任、Calico零信任、Cilium零信任、WorkLoad鉴权、WorkLoad 间授权等)、DevSecOps（安全左右移等等，比如代码或者镜像扫描）、 RASP应用安全、数据安全、态势感知与风险隔离 成本较高，所以要视业务场景要求取舍。 Mesh零信任 mTLS服务间访问授权，主要针对Pod层WorkLod的访问控制 应用透明，全局管理视角，细粒度安全策略 Check&Report机制影响通信性能，并只涉及到服务 通信级别的安全，对node没有防护 Calico零信任 主要针对Node层的访问控制，可以让攻击者难以横向移动，隔离了风险 应用透明，全局管理视角，细粒度安全策略，针 对Node层面构建安全 高负荷的场景。另外也需要进一步将计算和内存分离出 来，使得计算层彻底变为无状态，可以做到灵活的拓展 能力和故障恢复能力。这样在计算层也实现了Serverless 模式。 • 通过RDMA，绕过CPU，直接和远端内存通信，在计算与 存储分离、计算与内存分离架构上，提升网络利用率和 性能，也能得到传统数据库网络和性能上一样的体验。 • 底层Data Chunk，采用去中心存储，单体失败不影响数 据的完整性，并且自动自愈(Serverless)。

支持全球最大容器集群、全球最大Mesh(ASM)集群，神龙架构和ACK容器的组合，可以实现1小时扩容1百万个容器，混部利用 率提升50%，万笔交易成本4年下降80%。 • 拥有国内最大计算平台、顶级实时计算能力。大数据平台批处理单日计算数据量达到1.7EB，实时计算峰值每秒30亿条记录； 云原生PolarDB读写性能提高50%+，计算资源利用率提高60%+。 • 云原生中间件首次实现自研、商用、开源的“三位一体”，通过阿里云服 标准化能力-微服务PAAS-应用架构治理-运行态稳定性管理-2 Ingress k8s-ETCD ConfigMap Zipkin EFK prometheus • ServiceMesh为容器云打通通信网格(东西南北流量)、补充服务治理能力的同时，也将平台能力与微服务运行 RT环境彻底隔离，平台能力可以做到标准化。 • 无论是原生运行模式还是PaaS运行模式，都能非常好的在一个通用平台上部署，并保留各自的优点和克服了 网络堆栈 Node B 业务逻辑 网络堆栈 熔断器 服务发现 熔断器 服务发现 SideCar SideCar 统一化Service Mesh’s Control Plane • 通过将服务治理、通信、安全等从微服务框架中以独立进程剥离出来，解决了微服 务治理的碎片化以及基础设施耦合问题。 • 但是Sidecar（数据面）在国际化组织和企业联盟的努力下，也形成了叫做UDPA （Universal

作权等研发成果，建立了领先和成熟的研发体系。 ü 可信云容器解决 方案认证 ü 2021年云安全守卫者 计划优秀案例 ü DevOps解决方案最高等 级先进级的现场认证 ü 2021年通信行业云计算领域风云团队奖 ü 创新解决方案证书 最高等级认证 优秀案例 专业认证 获奖情况 人 1，00000000000 系统 国家 稳定 发展 健康 财富 安全 创新 安全的重要性 容器内行为 实时监控 产生 告警处置 人工安全标记 响应处置 内置风险策略 木马病毒上传 恶意命令执行 容器逃逸 其他风险策略 已 知 威 胁 监 控 进程 网络连接 系统调用 文件 配置 安全容器模型 在业务上线后，容器安全工具基于内置检测规则+行为学习+自定义策略，多维度保障容器运行时的安全。 已知威胁方面，通过丰富的内置安全策略，对业务容器行为进行实时监测，及时发现风险。 码扫描SAST\软件成分分析SCA、灰盒扫描IAST、镜像扫描、APP扫描， 提前预防安全风险。上线后持续进行安全防护：定期进行镜像扫描、基线合规检测、运行时通过容器安全与微隔离软件对容器 运行实时监测。 生产运营 生产上线 UAT测试（验收测试） 发版前测试 自动化集成与部署 应用开发阶段 需求阶段 业务需求输入 需求 分析 用户故事拆 分 开发任务拆 分 迭代 规划

根据个人喜好数据为用户提供比如按照个人喜好调节温 度、或者提送广告内容等 自动化特征 智能家居 智能办公室 智能信号灯... 远端控制 云端分析系统 设备端 (现场)边缘计算BOX 业务场景复杂，对算力、通信要求很高，计算放置于 云端时效性差，另外无法现场就对业务进行处理，比 如计算路口交通事故预警，给予司机及时提示等，所 以将算力卸载在距离业务现场、设备最近的地方，就 是边缘计算的场景，它的价值空间远超AIoT，可以更 使用地位不对等，以私有云为主体。 控制台 控制台 高级能力-多云（资源角度） 调研机构Gartner公司指出，80％的内部部署开发软件现在支持云计算或云原生，不断发展的云计算生态系统使企业能够更快、 更灵活、更实时地运营，从而带来竞争压力。接受云原生和多云方法作为一种新常态，意味着企业可以避免云计算供应商锁定， 可以提供超过5个9的响应率（99．999％），以避免每次停机导致平均数百万美元的损失。企业管理者终于意识到，云计算供 传统公有云 去中心云 靠近的小云相似 于混合云、多云 纳管或者分布式 整体服务对等 性能、安全可控， 满足可控信息互通 的要求 • 涵盖所有云，涵盖所有业务形态 • 满足性能、安全要求 • 满足云间通信 • 是未来下一代云，目前云厂商还在摸索阶段 • 有望成为云计算终极形式，云原生ServiceMesh以及 OAM等会得到更广阔空间的提升和发展。 2020年，全球数据存储总量预计为58ZB，平均每年增长

中的其他服务器一致。提供后，Consul将等待指定数量的服务器可用，然后引导群集。这允许自动选 初始领导者。这不能与传统-bootstrap标志一起使用。此标志需要-server模式。 ● -bind：应绑定到内部群集通信的地址。这是群集中所有其他节点都应该可以访问的IP地址。默认 况下，这是“0.0.0.0”，这意味着Consul将绑定到本地计算机上的所有地址，并将 第一个可用的私有 Pv4地址通告给群集的其余部分 -serf-wan-bind ：应该绑定到Serf WAN八卦通信的地址。默认情况下，该值遵循与-bind命令行 志相同的规则，如果未指定，-bind则使用该选项。这可以在Consul 0.7.1及更高版本中找到。在Con ul 1.0及更高版本中，可以将其设置为 go-sockaddr 模板 ● -serf-lan-bind：应该绑定到Serf LAN八卦通信的地址。这是群集中所有其他LAN节点都应该可以 encrypt：指定用于加密Consul网络流量的密钥。该密钥必须是16字节的Base64编码。创建加密 钥的最简单方法是使用 consul keygen。群集中的所有节点必须共享相同的加密密钥才能进行通信。 供的密钥将自动持久保存到数据目录，并在重新启动代理时自动加载。这意味着要加密Consul的八卦 议，只需在每个代理的初始启动序列上提供一次该选项。如果在使用加密密钥初始化Consul之后提供 则忽略提供的密钥并显示警告。

多Beats/Logstash接入管控 • 多ES搜索编排系统 • 日志AIOps探索 3 背景与挑战 产品数量 人员规模 主机规模 100+ 1000 + 10000 + 如何降低日志接入门槛 如何保证日志实时上报 如何保障日志采集不影响业务 如何做配置标准化 如何帮助业务快速排障 如何提供方便便捷的性能分析 调优能力 … 4 多Beats/Logstash接入 管控 提供多产品接入管理，多beats标准 并向Master发起Agent注册逻辑，获取agent id 配置获取 从Consul中获取当前agent的配置组列表，并 启动多个采集进程 配置变更感知 watch到Consul对应的agent id路径，实时感 知配置变化，并对启动的进程列表做重启清理 等工作 管理多Beats/logstash Beats等以agent子进程启动其管理这些进程的 cpu/内存等资源 Agent Consul Master 集中管理配置 • 规模化自动化部署Agent • 按业务逻辑划分机器组 • 集中配置，关联机器组 • Agent离线实时感知 • 配置一致性离线分析 • 多beats同时管控 11 当前收益 快 稳 准 • 快速接入(5min) • 配置UI化标准化 • 配置变更实时感知 • 部署全自动化 • 多Beats支持 • Beats运行时cpu/mem可控 • Agent监控视图

试想⼀下，要开发由 200 个“微服务”组成的云原⽣应⽤，会遇到哪些困难呢？ Localhost 时代 在单体应⽤的时代，对于开发者来说是极为友好的，�开发者使⽤本机运⾏应⽤，修改代码后实时⽣效，通过 浏览器访问 Localhost 实时查看代码效果。 单体应⽤和“微服务”应⽤不同，单体应⽤是 “ALL-IN-ONE” 组织⽅式，所有的调⽤关系仅限于在⾃身的类和函 数，应⽤对硬件的要求⼀般也不会太⾼。 ⽽开 Nocalhost - 重新定义云原⽣开发环境.md 2021/1/20 4 / 7 P. 克隆业务代码或选择本地代码⽬录打开 Q. 进⼊开发模式，本地修改代码并保存，⽆需重新构建镜像，远端开发环境实时⽣效，⽀持远程调试 Nocalhost - 重新定义云原⽣开发环境.md 2021/1/20 5 / 7 快速体验 想要快速体验 Nocalhost ，有以下⼏点前置条件： 准备⼀个 Kubernetes

/公司管理层 3、一般场景下，不解决性能问题（特别是延迟）。 分布式数据库使用的约束： 4.数据库网格 4.数据库网格 Service Mesh 是一个基础设施层，用于处理服务间通信。云原生应用有着复杂的服 务拓扑，Service Mesh 保证请求可以在这些拓扑中可靠地穿梭。在实际应用当中， Service Mesh 通常是由一系列轻量级的网络代理组成的，它们与应用程序部署在一

Runtime 还未 完全支持； 不能复用已有的 SDK，需要做网 络 IO 适配改造 External-Proc Extension 适合治理能力已经是一个远程服 务，集成进 Envoy 需要跨进程通信性能低（UDS vs CGO 1KB Latency 差 8 倍)； 需要扩展具备 gRPC server 能力， 多进程管理复杂 MOSN(GoLang) Extension 可复用 MOSN