 云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)云原生安全威胁分析与 能力建设白皮书 中国联通研究院 中国联通网络安全研究院 下一代互联网宽带业务应用国家工程研究中心 2023 年 11 月 版权声明 本报告版权属于中国联合网络通信有限公司研究院,并受法 律保护。转载、摘编或利用其他方式使用本报告文字或者观点的, 应注明“来源:中国联通研究院”。违反上述声明者,本院将追 究其相关法律责任。 云原生安全威胁分析与能力建设白皮书 1 .....................................................................................25 云原生安全威胁分析与能力建设白皮书 2 2.3.4 容器网络攻击............................................................................. .....................................................................................36 云原生安全威胁分析与能力建设白皮书 3 2.6.6 针对函数供应链的攻击........................................................................360 码力 | 72 页 | 2.44 MB | 1 年前3 云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)云原生安全威胁分析与 能力建设白皮书 中国联通研究院 中国联通网络安全研究院 下一代互联网宽带业务应用国家工程研究中心 2023 年 11 月 版权声明 本报告版权属于中国联合网络通信有限公司研究院,并受法 律保护。转载、摘编或利用其他方式使用本报告文字或者观点的, 应注明“来源:中国联通研究院”。违反上述声明者,本院将追 究其相关法律责任。 云原生安全威胁分析与能力建设白皮书 1 .....................................................................................25 云原生安全威胁分析与能力建设白皮书 2 2.3.4 容器网络攻击............................................................................. .....................................................................................36 云原生安全威胁分析与能力建设白皮书 3 2.6.6 针对函数供应链的攻击........................................................................360 码力 | 72 页 | 2.44 MB | 1 年前3
 超大规模深度学习在美团的应用-余建平超大规模机器学习MLX  MLX平台目标  MLX平台架构 • 模型场景应用  召回模型  排序模型 超大规模模型的有效性 • VC维理论  描述模型的学习能力:VC维越大模型越复杂,学习能力越强  机器学习能力 = 数据 + 特征 + 模型 • 数据  海量数据: 美团的亿级用户、千万级POI • 特征  大规模离散特征 > 小规模泛化特征 • 模型  DNN • Online Learning的价值  用户的近期行为,更能表现意图和偏好  增强新item的模型感知能力 • 更快数据反馈、更少资源消耗  分钟级的数据反馈  增量训练、避免batch重训带来的资源消耗 关于Online Learning MLX的模型能力 • 支持千亿级特征、千亿级样本 • 支持计算图模式,模型结构灵活多样  支持推荐、搜索、广告场景常用的深度学习模型 支持外部eval工具,计算MAP、NDCG MLX的模型能力 • 提供离线、近线、在线全流程解决方案,各阶段提供扩展方案,降低算法迭代成本; • 支持Online Learning,提供从近线到在线的模型数据通路; • 提供从召回到排序全流程的模型解决方案,为业务提供最佳实践; • 提供系统的平台化工具,为用户提供易用的界面操作; MLX模型能力 MLX平台架构 MLX平台架构 • 基于Worker0 码力 | 41 页 | 5.96 MB | 1 年前3 超大规模深度学习在美团的应用-余建平超大规模机器学习MLX  MLX平台目标  MLX平台架构 • 模型场景应用  召回模型  排序模型 超大规模模型的有效性 • VC维理论  描述模型的学习能力:VC维越大模型越复杂,学习能力越强  机器学习能力 = 数据 + 特征 + 模型 • 数据  海量数据: 美团的亿级用户、千万级POI • 特征  大规模离散特征 > 小规模泛化特征 • 模型  DNN • Online Learning的价值  用户的近期行为,更能表现意图和偏好  增强新item的模型感知能力 • 更快数据反馈、更少资源消耗  分钟级的数据反馈  增量训练、避免batch重训带来的资源消耗 关于Online Learning MLX的模型能力 • 支持千亿级特征、千亿级样本 • 支持计算图模式,模型结构灵活多样  支持推荐、搜索、广告场景常用的深度学习模型 支持外部eval工具,计算MAP、NDCG MLX的模型能力 • 提供离线、近线、在线全流程解决方案,各阶段提供扩展方案,降低算法迭代成本; • 支持Online Learning,提供从近线到在线的模型数据通路; • 提供从召回到排序全流程的模型解决方案,为业务提供最佳实践; • 提供系统的平台化工具,为用户提供易用的界面操作; MLX模型能力 MLX平台架构 MLX平台架构 • 基于Worker0 码力 | 41 页 | 5.96 MB | 1 年前3
 金卫-Apache APISIX 借助 Service Mesh 实现统一技术栈的全流量管理现状和痛点 为什么需要服务网格  将通用能力下沉  应用专注于业务逻辑  注册发现  流量管理  可观测性  安全防护 服务网格的痛点  方案众多,各有缺陷  与基础设施整合成本高  性能损耗  资源的额外消耗  扩展难度高 理想的服务网格应该是什么样? 易于扩展 理想的服务网格 业务无感知 落地成本低 动态且增量配置 安全管控 可观测 流量精细化管理 跨集群部署 易于上手 • 权限安全管控 • 配置方式被大众接受 理想的服务网格 数据面 • 支持多种协议,甚至是自定义协议 • 性能损耗低 • 资源占用在可控范围 • 启动速度快 • 方便定位问题 • 扩展能力强 APISIX 在 Service Mesh 上的尝试 控制面的抉择 控制面 - 拥抱 Istio  Istio 是当前最为流行的服务网格方案  社区活跃  几乎所有主流云厂商都对 istio  资源消耗可控  APISIX原生支持 增加了xds discovery  配合CRD进行扩展 Apache APISIX  高性能云原生网关  数据面和控制面分离  强大的扩展能力  丰富的生态集成 Apache APISIX的应用案例 https://apisix.apache.org/zh/blog/tags/case-studies/ APISIX Service0 码力 | 34 页 | 3.50 MB | 6 月前3 金卫-Apache APISIX 借助 Service Mesh 实现统一技术栈的全流量管理现状和痛点 为什么需要服务网格  将通用能力下沉  应用专注于业务逻辑  注册发现  流量管理  可观测性  安全防护 服务网格的痛点  方案众多,各有缺陷  与基础设施整合成本高  性能损耗  资源的额外消耗  扩展难度高 理想的服务网格应该是什么样? 易于扩展 理想的服务网格 业务无感知 落地成本低 动态且增量配置 安全管控 可观测 流量精细化管理 跨集群部署 易于上手 • 权限安全管控 • 配置方式被大众接受 理想的服务网格 数据面 • 支持多种协议,甚至是自定义协议 • 性能损耗低 • 资源占用在可控范围 • 启动速度快 • 方便定位问题 • 扩展能力强 APISIX 在 Service Mesh 上的尝试 控制面的抉择 控制面 - 拥抱 Istio  Istio 是当前最为流行的服务网格方案  社区活跃  几乎所有主流云厂商都对 istio  资源消耗可控  APISIX原生支持 增加了xds discovery  配合CRD进行扩展 Apache APISIX  高性能云原生网关  数据面和控制面分离  强大的扩展能力  丰富的生态集成 Apache APISIX的应用案例 https://apisix.apache.org/zh/blog/tags/case-studies/ APISIX Service0 码力 | 34 页 | 3.50 MB | 6 月前3
 Flink如何实时分析Iceberg数据湖的CDC数据2、H HDFS / S3 / OSS 等D裂。数据c e,且KAO本不如S3 / OSS。 3、Kudud批量P描不如3ar4u1t。 4、不支持增量SF。 h点 直接D入CDC到Hi2+分析 、流程能E作 2、Hi2+存量数据不受增量数据H响。 方案评估 优点 、数据不是CR写入; 2、每次数据D致都要 MERGE 存量数据 。T+ 方GT新3R效性差。 3、不M持CR1ps+rt。 D+/4a CaCDC数据 1、仅依t S1a2k+D+/4a,架构简e。 2、无在k服务。l护和运nS本低。 2、D存存储,Ca速O快。 3、方便上S3 OSS,超高性价比。 方案s估 优点 1、增量和全量表割p,时效性不足。 2、r计和l护额外hChang+ S+4表。 3、计算引擎并非原g支UCDC。 4、不支U实时U13+24。 缺点 为何选择 #+ink Iceberg ? #2 、gc近实k导入和实k读取。 2、计算a擎原生gcCDCe入,不需要额外的业务 字r设计。 3、统一的h据t存储,多o化的计算模型。 4、读取合并后的历史h据可F分利wI存加速。 5、云原生gc。 6、gc增量b取。 7、nm足够简s,无在线l务节u。 i案评D Cu 如何实时#入读取? #3 s量更新场景 VS +,+写入场景 k比项 s量更新场景 +,+写入场景 典g场景 1. G,2R;0 码力 | 36 页 | 781.69 KB | 1 年前3 Flink如何实时分析Iceberg数据湖的CDC数据2、H HDFS / S3 / OSS 等D裂。数据c e,且KAO本不如S3 / OSS。 3、Kudud批量P描不如3ar4u1t。 4、不支持增量SF。 h点 直接D入CDC到Hi2+分析 、流程能E作 2、Hi2+存量数据不受增量数据H响。 方案评估 优点 、数据不是CR写入; 2、每次数据D致都要 MERGE 存量数据 。T+ 方GT新3R效性差。 3、不M持CR1ps+rt。 D+/4a CaCDC数据 1、仅依t S1a2k+D+/4a,架构简e。 2、无在k服务。l护和运nS本低。 2、D存存储,Ca速O快。 3、方便上S3 OSS,超高性价比。 方案s估 优点 1、增量和全量表割p,时效性不足。 2、r计和l护额外hChang+ S+4表。 3、计算引擎并非原g支UCDC。 4、不支U实时U13+24。 缺点 为何选择 #+ink Iceberg ? #2 、gc近实k导入和实k读取。 2、计算a擎原生gcCDCe入,不需要额外的业务 字r设计。 3、统一的h据t存储,多o化的计算模型。 4、读取合并后的历史h据可F分利wI存加速。 5、云原生gc。 6、gc增量b取。 7、nm足够简s,无在线l务节u。 i案评D Cu 如何实时#入读取? #3 s量更新场景 VS +,+写入场景 k比项 s量更新场景 +,+写入场景 典g场景 1. G,2R;0 码力 | 36 页 | 781.69 KB | 1 年前3
 Docker 从入门到实践 0.4tomcat/weblogic 集群 iii. 多台物理主机之间的容器互联 iv. 标准化开发测试和生产环境 12. 安全 i. 内核名字空间 ii. 控制组 iii. 服务端防护 iv. 内核能力机制 v. 其它安全特性 vi. 总结 13. Dockerfile i. 基本结构 ii. 指令 iii. 创建镜像 14. 底层实现 i. 基本架构 ii. 名字空间 iii 拟机、公有云、私有云、个人电脑、服务器 等。 这种兼容性可以让用户把一个应用程序从一个平台直接迁移到另外一个。 使用 Docker,只需要小小的修改,就可以替代以往大量的更新工作。所有的修改都以增量的方式被分发和 更新,从而实现自动化并且高效的管理。 特性 容器 虚拟机 启动 秒级 分钟级 硬盘使用 一般为 MB 一般为 GB 性能 接近原生 弱于 系统支持量 单机支持上千个容器 一般几十个 2418f0 *注意:在删除镜像之前要先用 docker rm 删掉依赖于这个镜像的所有容器。 移除本地镜像 Docker —— 从入门到实践 26 移除 Docker 镜像是怎么实现增量的修改和维护的? 每个镜像都由很多层次构成,Docker 使用 Union FS 将这 些不同的层结合到一个镜像中去。 通常 Union FS 有两个用途, 一方面可以实现不借助 LVM、RAID0 码力 | 179 页 | 2.27 MB | 1 年前3 Docker 从入门到实践 0.4tomcat/weblogic 集群 iii. 多台物理主机之间的容器互联 iv. 标准化开发测试和生产环境 12. 安全 i. 内核名字空间 ii. 控制组 iii. 服务端防护 iv. 内核能力机制 v. 其它安全特性 vi. 总结 13. Dockerfile i. 基本结构 ii. 指令 iii. 创建镜像 14. 底层实现 i. 基本架构 ii. 名字空间 iii 拟机、公有云、私有云、个人电脑、服务器 等。 这种兼容性可以让用户把一个应用程序从一个平台直接迁移到另外一个。 使用 Docker,只需要小小的修改,就可以替代以往大量的更新工作。所有的修改都以增量的方式被分发和 更新,从而实现自动化并且高效的管理。 特性 容器 虚拟机 启动 秒级 分钟级 硬盘使用 一般为 MB 一般为 GB 性能 接近原生 弱于 系统支持量 单机支持上千个容器 一般几十个 2418f0 *注意:在删除镜像之前要先用 docker rm 删掉依赖于这个镜像的所有容器。 移除本地镜像 Docker —— 从入门到实践 26 移除 Docker 镜像是怎么实现增量的修改和维护的? 每个镜像都由很多层次构成,Docker 使用 Union FS 将这 些不同的层结合到一个镜像中去。 通常 Union FS 有两个用途, 一方面可以实现不借助 LVM、RAID0 码力 | 179 页 | 2.27 MB | 1 年前3
 Apache Flink的过去、现在和未来slots 4. Allocate Container 5. Start Task Manager 6. Schedule Task YARN RM K8S RM 增量 Checkpoint 时间 全量状态 增量状态 增量 snapshot 基于 credit 的流控机制 Streaming SQL ------------------------- | USER_SCORES MAX(Time) FROM USER_SCORES GROUP BY Name; Flink 在阿里的服务情况 集群规模 超万台 状态数据 PetaBytes 事件处理 十万亿/天 峰值能力 17亿/秒 Flink 的过去 offline Real-time Batch Processing Continuous Processing & Streaming Analytics0 码力 | 33 页 | 3.36 MB | 1 年前3 Apache Flink的过去、现在和未来slots 4. Allocate Container 5. Start Task Manager 6. Schedule Task YARN RM K8S RM 增量 Checkpoint 时间 全量状态 增量状态 增量 snapshot 基于 credit 的流控机制 Streaming SQL ------------------------- | USER_SCORES MAX(Time) FROM USER_SCORES GROUP BY Name; Flink 在阿里的服务情况 集群规模 超万台 状态数据 PetaBytes 事件处理 十万亿/天 峰值能力 17亿/秒 Flink 的过去 offline Real-time Batch Processing Continuous Processing & Streaming Analytics0 码力 | 33 页 | 3.36 MB | 1 年前3
 中国移动磐舟DevSecOps平台云原生安全实践中国移动磐舟DevSecOps 平台云原生安全实践 刘斌 中国移动信息技术中心 01 磐舟DevSecOps平台概况 02 磐舟DevSecOps平台安全能力 03 磐舟DevSecOps实践总结 目 录 目录 CONTENT 磐舟DevSecOps平台定位 基于云原生打造一站式DevSecOps平台,致力于解决企业在数字化转型中的研发效能提升问题,提供从 “需求-开发-测试 统一代 码仓库 依赖制 品仓库 统一 镜像库 云原生 验证环境 磐基 生产运行 核心价值 核心能力 灵活的低代码能力 实现页面组件、数据组件、功能组件的快 速编排,一线人员也能自助开发功能 双模敏态管理 以敏捷研发为引导,融合瀑布式管理需求, 形成普适、灵活的研发过程管理能力。 多用途制品库 兼容市面绝大多数开发语言制品,提供公 用、内部共享、私有等多种使用方式。兼 容市面上制品管理客户端。 国家 稳定 发展 健康 财富 安全 创新 安全的重要性 01 磐舟DevSecOps平台概况 02 磐舟DevSecOps平台安全能力 03 磐舟DevSecOps实践总结 目 录 目录 CONTENT 磐舟DevSecOps安全能力建设框架 安全开发 • • • 安全测试 • • • 安全管控 • • • 安全运营 • • • 一个体系、两个方向、四个环节0 码力 | 22 页 | 5.47 MB | 1 年前3 中国移动磐舟DevSecOps平台云原生安全实践中国移动磐舟DevSecOps 平台云原生安全实践 刘斌 中国移动信息技术中心 01 磐舟DevSecOps平台概况 02 磐舟DevSecOps平台安全能力 03 磐舟DevSecOps实践总结 目 录 目录 CONTENT 磐舟DevSecOps平台定位 基于云原生打造一站式DevSecOps平台,致力于解决企业在数字化转型中的研发效能提升问题,提供从 “需求-开发-测试 统一代 码仓库 依赖制 品仓库 统一 镜像库 云原生 验证环境 磐基 生产运行 核心价值 核心能力 灵活的低代码能力 实现页面组件、数据组件、功能组件的快 速编排,一线人员也能自助开发功能 双模敏态管理 以敏捷研发为引导,融合瀑布式管理需求, 形成普适、灵活的研发过程管理能力。 多用途制品库 兼容市面绝大多数开发语言制品,提供公 用、内部共享、私有等多种使用方式。兼 容市面上制品管理客户端。 国家 稳定 发展 健康 财富 安全 创新 安全的重要性 01 磐舟DevSecOps平台概况 02 磐舟DevSecOps平台安全能力 03 磐舟DevSecOps实践总结 目 录 目录 CONTENT 磐舟DevSecOps安全能力建设框架 安全开发 • • • 安全测试 • • • 安全管控 • • • 安全运营 • • • 一个体系、两个方向、四个环节0 码力 | 22 页 | 5.47 MB | 1 年前3
 阿里云上深度学习建模实践-程孟力训练: 推理: Ring All-reduc同步训练 [HybridBackend/SOK] 特征选择 [VariationalDropout] 通信优化 [GRPC++] 实时训练 [增量更新] 混合精度 [bf16] 工程优化: 千亿特征优化 模型蒸馏 AVX/SSE优化 Graph优化 [User Graph去重] 内存Allocate优化 ParallelStringOp Sequence Feature [side info] Op Fusion [hash + embedding] Overlap Execution [FG OP化] Item Feature增量更新 3.工程优化复 杂 4.数据获取困 难 挑战 深度模型是非线性的: • 参数很多 • 参数敏感 • 不同场景的数据上差异大 从FM到DeepFM rt 增 加了10倍怎么优化? • 超大资源池 智能标注 可视化建模(Designer) 分布式训练(DLC) 在线服务(EAS) 生态市场 开发者工具 • CLI • PAIFlow • OpenAPI AI能力 体验中心 开源 PAI平台(Platform of Artificial Intelligence) Deep Learning Container 数据量大而全 先进的模型结构 业务场景复杂0 码力 | 40 页 | 8.51 MB | 1 年前3 阿里云上深度学习建模实践-程孟力训练: 推理: Ring All-reduc同步训练 [HybridBackend/SOK] 特征选择 [VariationalDropout] 通信优化 [GRPC++] 实时训练 [增量更新] 混合精度 [bf16] 工程优化: 千亿特征优化 模型蒸馏 AVX/SSE优化 Graph优化 [User Graph去重] 内存Allocate优化 ParallelStringOp Sequence Feature [side info] Op Fusion [hash + embedding] Overlap Execution [FG OP化] Item Feature增量更新 3.工程优化复 杂 4.数据获取困 难 挑战 深度模型是非线性的: • 参数很多 • 参数敏感 • 不同场景的数据上差异大 从FM到DeepFM rt 增 加了10倍怎么优化? • 超大资源池 智能标注 可视化建模(Designer) 分布式训练(DLC) 在线服务(EAS) 生态市场 开发者工具 • CLI • PAIFlow • OpenAPI AI能力 体验中心 开源 PAI平台(Platform of Artificial Intelligence) Deep Learning Container 数据量大而全 先进的模型结构 业务场景复杂0 码力 | 40 页 | 8.51 MB | 1 年前3
 基于Consul的多Beats接入管控与多ES搜索编排如何做配置标准化 如何帮助业务快速排障 如何提供方便便捷的性能分析 调优能力 … 4 多Beats/Logstash接入 管控 提供多产品接入管理,多beats标准 化、界面化、自动化的日志接入方案 5 案例:1000+业务10000+台 主机如何快速实现日志接入? 业务规模 1000+业务、 10000+业务主机、每天百T日志增量 日志需求 收集业务日志文件用于故障分析与告警监控 收集主机性能数据做容量分析 案例:如何基于ELK构建内网拨测系统? 基于Healthbeat与Metricbeat构建分布式、全region覆盖、协议支撑丰富的内网拨测平台 21 案例: 使用ES原生ML能力提供排障效率 深挖日志价值,提高故障感知与异常分析能力 22 技术栈 技术选型 前端 TypeScript、Angular 8、 Ng-zorro 后台 Golang、Iris、Consul、微服务化设计、 Pongo2模板管理0 码力 | 23 页 | 6.65 MB | 1 年前3 基于Consul的多Beats接入管控与多ES搜索编排如何做配置标准化 如何帮助业务快速排障 如何提供方便便捷的性能分析 调优能力 … 4 多Beats/Logstash接入 管控 提供多产品接入管理,多beats标准 化、界面化、自动化的日志接入方案 5 案例:1000+业务10000+台 主机如何快速实现日志接入? 业务规模 1000+业务、 10000+业务主机、每天百T日志增量 日志需求 收集业务日志文件用于故障分析与告警监控 收集主机性能数据做容量分析 案例:如何基于ELK构建内网拨测系统? 基于Healthbeat与Metricbeat构建分布式、全region覆盖、协议支撑丰富的内网拨测平台 21 案例: 使用ES原生ML能力提供排障效率 深挖日志价值,提高故障感知与异常分析能力 22 技术栈 技术选型 前端 TypeScript、Angular 8、 Ng-zorro 后台 Golang、Iris、Consul、微服务化设计、 Pongo2模板管理0 码力 | 23 页 | 6.65 MB | 1 年前3
 09-harbor助你玩转云原生-邹佳配额管理 制品的高效分发-复制 [1] 基于策略的内容复制机制:支持多种过滤器(镜像库、tag和标签)与多种触 发模式(手动,基于时间以及定时)且实现对推送和拉取模式的支持 初始全量复制 增量 过滤器 目标仓库 源仓库 目标项目 源项目 触发器 推送(push)或者拉取(pull)模式 过滤器 策略 Docker Client push pull pull 制品的高效分发-复制 [2] 主从模式(/中心-边缘模式) 制品的高效分发-缓存 • 在项目级别提供“缓存”能力 • 已缓存下来的制品与“本地”制品无异 • 相关的管理策略可以应用到缓存的镜像上,比 如配额、扫描等 • 目前仅支持上游Dockerhub*和其它Harbor, 更多上游仓库的支持正在进行中(与复制共享 通过垃圾回收可以清理存储空间中的无用数据,V2.1之前为阻塞式GC,V2.1之后实 现非阻塞式 释放并回收空间/可能释放配额 1 2 3 构建高可用(HA)仓库服务 [1] 使用离线安装包搭建HA仓库服务:基于内容复制能力或者基于外部共享服务 IDP 构建高可用(HA)仓库服务 [2] 使用Helm Chart和外部高可用服务(数据库,缓存和存储)部署HA的仓库服务 构建高可用(HA)仓库服务 [3]0 码力 | 32 页 | 17.15 MB | 6 月前3 09-harbor助你玩转云原生-邹佳配额管理 制品的高效分发-复制 [1] 基于策略的内容复制机制:支持多种过滤器(镜像库、tag和标签)与多种触 发模式(手动,基于时间以及定时)且实现对推送和拉取模式的支持 初始全量复制 增量 过滤器 目标仓库 源仓库 目标项目 源项目 触发器 推送(push)或者拉取(pull)模式 过滤器 策略 Docker Client push pull pull 制品的高效分发-复制 [2] 主从模式(/中心-边缘模式) 制品的高效分发-缓存 • 在项目级别提供“缓存”能力 • 已缓存下来的制品与“本地”制品无异 • 相关的管理策略可以应用到缓存的镜像上,比 如配额、扫描等 • 目前仅支持上游Dockerhub*和其它Harbor, 更多上游仓库的支持正在进行中(与复制共享 通过垃圾回收可以清理存储空间中的无用数据,V2.1之前为阻塞式GC,V2.1之后实 现非阻塞式 释放并回收空间/可能释放配额 1 2 3 构建高可用(HA)仓库服务 [1] 使用离线安装包搭建HA仓库服务:基于内容复制能力或者基于外部共享服务 IDP 构建高可用(HA)仓库服务 [2] 使用Helm Chart和外部高可用服务(数据库,缓存和存储)部署HA的仓库服务 构建高可用(HA)仓库服务 [3]0 码力 | 32 页 | 17.15 MB | 6 月前3
共 179 条
- 1
- 2
- 3
- 4
- 5
- 6
- 18













