 中国移动磐舟DevSecOps平台云原生安全实践自适应安全(持续监控&响应) SEC 安全需求 业务需求进来以后从五个维度对业务需求进行安全分析 威胁分析模型 威胁资源库 安全需求基线 威胁情报库 病例库 安全开发-安全需求分析 安全需求分析通过将安全策略左移至软件开发生命周期的初始阶段,着重在需求设计环节确定关键安全要求,旨在降低风险暴露 并增强产品安全质量。安全团队针对企业内部的业务流程和场景展开威胁建模与风险识别,同时依据实际生产漏洞的运营情况完 进行语法、语义分析的技术上,辅以数据流 分析、控制流分析和特有的缺陷分析算法等高级静态分析手段,能够高效的检测出软件源代码中的可能导致严重 缺陷漏洞和系统运行异常的安全问题和程序缺陷,并准确定位告警,从而有效的帮助开发人员消除代码中的缺陷、 培养安全开发意识,提高安全开发水平、减少不必要的软件补丁升级,为软件的信息安全保驾护航。 发起工程检 测 查看工程缺 陷 缺陷审计 派发线下整 文件中的SSH密钥 、 环境变量中的密码等敏感 信息进行发现,防止敏感 信息泄露。 构建历史命令审计 对镜像文件构建的历史命 令进行审计扫描,对高危 操作进行标记并告警。 镜像发布管控 镜像在被发布之前,依据 安全策略对镜像进行检测 , 或者依据检测结果对镜像 发布流程进行放行或者阻 断、忽略操作,防止危险 镜像通过发版。 安全测试-APP扫描 移动应用安全检测和个人信息合0 码力 | 22 页 | 5.47 MB | 1 年前3 中国移动磐舟DevSecOps平台云原生安全实践自适应安全(持续监控&响应) SEC 安全需求 业务需求进来以后从五个维度对业务需求进行安全分析 威胁分析模型 威胁资源库 安全需求基线 威胁情报库 病例库 安全开发-安全需求分析 安全需求分析通过将安全策略左移至软件开发生命周期的初始阶段,着重在需求设计环节确定关键安全要求,旨在降低风险暴露 并增强产品安全质量。安全团队针对企业内部的业务流程和场景展开威胁建模与风险识别,同时依据实际生产漏洞的运营情况完 进行语法、语义分析的技术上,辅以数据流 分析、控制流分析和特有的缺陷分析算法等高级静态分析手段,能够高效的检测出软件源代码中的可能导致严重 缺陷漏洞和系统运行异常的安全问题和程序缺陷,并准确定位告警,从而有效的帮助开发人员消除代码中的缺陷、 培养安全开发意识,提高安全开发水平、减少不必要的软件补丁升级,为软件的信息安全保驾护航。 发起工程检 测 查看工程缺 陷 缺陷审计 派发线下整 文件中的SSH密钥 、 环境变量中的密码等敏感 信息进行发现,防止敏感 信息泄露。 构建历史命令审计 对镜像文件构建的历史命 令进行审计扫描,对高危 操作进行标记并告警。 镜像发布管控 镜像在被发布之前,依据 安全策略对镜像进行检测 , 或者依据检测结果对镜像 发布流程进行放行或者阻 断、忽略操作,防止危险 镜像通过发版。 安全测试-APP扫描 移动应用安全检测和个人信息合0 码力 | 22 页 | 5.47 MB | 1 年前3
 23-云原生观察性、自动化交付和 IaC 等之道-高磊一个活档,指导集成。 形成市场,能力 互补 全生命周期API管理-2-Azure API Management 配置Http Header, 比如CORS等 配置入站协议转 换等 配置后端治理策略 等,比如限流规则 定义API或者导入 API 全生命周期API管理-3-Azure API Management • 把自己关在小黑 屋里面,自己就 可以自助的从API 使用角度定义、 驱动研发、发布 主动性 被动性 监控 可观察 健康检查 告警 指标 日志 追踪 问题和根因 预警 监控&稳定性 分析&追踪&排错&探索 • 从稳定性目标出发,首先需要有提示应用出问题的手段 • 当提示出现问题后,就需要有定位问题位置的手段,进 一步要有能够指出问题根因、甚至提前就预警的手段。 拓扑流量图:是不是按预期运行 分布式跟踪:哪些调用 故障或者拖慢了系统 监控与告警: 主动告诉我 问题发生了! 微服务部署后就像个黑盒子,如何发现问题并在 发人员可以清晰的观测到整体分布式应用的详细运 行情况,为高精度运维提供可视化支撑 人工发展阶段:符合人分析问题的习惯 宏观->微观 精细化发展阶段:依靠数据赋能,加强可视化能力,进一步简化运维 监控告警 分布式跟踪链 日志查询 根因分析 响应动作 自动化 高端观察性 各维度统计分析 观察性 Prometheus Skywalking EFK Hadoop Spark Cortex0 码力 | 24 页 | 5.96 MB | 6 月前3 23-云原生观察性、自动化交付和 IaC 等之道-高磊一个活档,指导集成。 形成市场,能力 互补 全生命周期API管理-2-Azure API Management 配置Http Header, 比如CORS等 配置入站协议转 换等 配置后端治理策略 等,比如限流规则 定义API或者导入 API 全生命周期API管理-3-Azure API Management • 把自己关在小黑 屋里面,自己就 可以自助的从API 使用角度定义、 驱动研发、发布 主动性 被动性 监控 可观察 健康检查 告警 指标 日志 追踪 问题和根因 预警 监控&稳定性 分析&追踪&排错&探索 • 从稳定性目标出发,首先需要有提示应用出问题的手段 • 当提示出现问题后,就需要有定位问题位置的手段,进 一步要有能够指出问题根因、甚至提前就预警的手段。 拓扑流量图:是不是按预期运行 分布式跟踪:哪些调用 故障或者拖慢了系统 监控与告警: 主动告诉我 问题发生了! 微服务部署后就像个黑盒子,如何发现问题并在 发人员可以清晰的观测到整体分布式应用的详细运 行情况,为高精度运维提供可视化支撑 人工发展阶段:符合人分析问题的习惯 宏观->微观 精细化发展阶段:依靠数据赋能,加强可视化能力,进一步简化运维 监控告警 分布式跟踪链 日志查询 根因分析 响应动作 自动化 高端观察性 各维度统计分析 观察性 Prometheus Skywalking EFK Hadoop Spark Cortex0 码力 | 24 页 | 5.96 MB | 6 月前3
 基于Consul的多Beats接入管控与多ES搜索编排化、界面化、自动化的日志接入方案 5 案例:1000+业务10000+台 主机如何快速实现日志接入? 业务规模 1000+业务、 10000+业务主机、每天百T日志增量 日志需求 收集业务日志文件用于故障分析与告警监控 收集主机性能数据做容量分析 日志热数据保存七天 历史数据冷备一个月 其他诉求 日志上报不能影响核心业务 数据上报延时可感知 准备ES 安装Filebeat 编写Filebeat配置文件 获取master列表 向master发起Agent注册逻辑 返回agent id 增删改策略 获取策略列表 启动管控收集进程 watch配置变化 9 Agent运行时 10 日志接入 购买云ES 录入ES 创建主机组 添加主机 配置日志主题 选择主机组 日志配置 权限管理 资源设置 提交策略 Kibana查日 志 集中管理配置 • 规模化自动化部署Agent •0 码力 | 23 页 | 6.65 MB | 1 年前3 基于Consul的多Beats接入管控与多ES搜索编排化、界面化、自动化的日志接入方案 5 案例:1000+业务10000+台 主机如何快速实现日志接入? 业务规模 1000+业务、 10000+业务主机、每天百T日志增量 日志需求 收集业务日志文件用于故障分析与告警监控 收集主机性能数据做容量分析 日志热数据保存七天 历史数据冷备一个月 其他诉求 日志上报不能影响核心业务 数据上报延时可感知 准备ES 安装Filebeat 编写Filebeat配置文件 获取master列表 向master发起Agent注册逻辑 返回agent id 增删改策略 获取策略列表 启动管控收集进程 watch配置变化 9 Agent运行时 10 日志接入 购买云ES 录入ES 创建主机组 添加主机 配置日志主题 选择主机组 日志配置 权限管理 资源设置 提交策略 Kibana查日 志 集中管理配置 • 规模化自动化部署Agent •0 码力 | 23 页 | 6.65 MB | 1 年前3
 云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)....................................................................................41 3.4Istio 认证策略绕过攻击............................................................................... 43 3.4.1 攻击场景介绍 了变革。主要表现在如下几个方 面:  防护对象产生变化 安全管理的边界扩展到了容器层面,需要采用新的安全策略和工具来保护容 器的安全性,如容器镜像的验证和加密、容器漏洞扫描和运行时监测等。  架构的变化 多云及混合云下的应用架构及工作负载更加复杂,需要采用分布式安全策略 和技术,如服务间的身份验证和授权、服务网格的加密通信、微服务的监测和异 常检测等。  管理模式的变化 云原生安全威胁分析与能力建设白皮书 云原生安全威胁分析与能力建设白皮书 15 云原生应用的快速迭代和部署频率也对安全治理模式提出了新的要求。传统 的安全治理模式通常是基于静态的规则和策略,针对云原生 DevOps 安全治理 需要采用持续安全集成和交付的实践,结合自动化的安全测试、漏洞扫描和合规 性检查等工具,以确保安全策略和控制的持续有效性。 面对这些新的挑战,国内外都开展了云原生安全技术的研究和相关标准规范 的制定完善工作,CNCF、CSA0 码力 | 72 页 | 2.44 MB | 1 年前3 云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)....................................................................................41 3.4Istio 认证策略绕过攻击............................................................................... 43 3.4.1 攻击场景介绍 了变革。主要表现在如下几个方 面:  防护对象产生变化 安全管理的边界扩展到了容器层面,需要采用新的安全策略和工具来保护容 器的安全性,如容器镜像的验证和加密、容器漏洞扫描和运行时监测等。  架构的变化 多云及混合云下的应用架构及工作负载更加复杂,需要采用分布式安全策略 和技术,如服务间的身份验证和授权、服务网格的加密通信、微服务的监测和异 常检测等。  管理模式的变化 云原生安全威胁分析与能力建设白皮书 云原生安全威胁分析与能力建设白皮书 15 云原生应用的快速迭代和部署频率也对安全治理模式提出了新的要求。传统 的安全治理模式通常是基于静态的规则和策略,针对云原生 DevOps 安全治理 需要采用持续安全集成和交付的实践,结合自动化的安全测试、漏洞扫描和合规 性检查等工具,以确保安全策略和控制的持续有效性。 面对这些新的挑战,国内外都开展了云原生安全技术的研究和相关标准规范 的制定完善工作,CNCF、CSA0 码力 | 72 页 | 2.44 MB | 1 年前3
 25-云原生应用可观测性实践-向阳SegmentID、URL 关联键值: Pod、Node、 Service、VPC、 VM Metric WEBHOOK DataSource Plugin Tracing Logging 告警 面向各部门视图 与Grafana、Skywalking结合 simplify the growing complexity © 2021, YUNSHAN Networks Technology VPC#2 TKE容器节点 业务 POD 业务 POD DeepFlow 采集器POD br 业务 POD TCE 运营端 API VPC#1 CLB NATGW VPC#2 CLB NATGW VPCGW策略 VIP:169.254.X.X Spine 完整覆盖微服务东西向、南北向访问路径 如果你的业务运行在私有云上 TKE CVM TKE CVM NFV (GW) 专线 云服务 simplify0 码力 | 39 页 | 8.44 MB | 6 月前3 25-云原生应用可观测性实践-向阳SegmentID、URL 关联键值: Pod、Node、 Service、VPC、 VM Metric WEBHOOK DataSource Plugin Tracing Logging 告警 面向各部门视图 与Grafana、Skywalking结合 simplify the growing complexity © 2021, YUNSHAN Networks Technology VPC#2 TKE容器节点 业务 POD 业务 POD DeepFlow 采集器POD br 业务 POD TCE 运营端 API VPC#1 CLB NATGW VPC#2 CLB NATGW VPCGW策略 VIP:169.254.X.X Spine 完整覆盖微服务东西向、南北向访问路径 如果你的业务运行在私有云上 TKE CVM TKE CVM NFV (GW) 专线 云服务 simplify0 码力 | 39 页 | 8.44 MB | 6 月前3
 云原生图数据库解谜、容器化实践与 Serverless 应用实操本质上来看,事件框架也是⼀个由事件驱动的⼯作负载,那么它本身可以是 Serverless 形式的⼯作负载吗? 可以⽤ OpenFunction 的异步函数来驱动吗? ⾃定义⽇志告警 以 Serverless 的⽅式⽤ OpenFunction 异步函数实现⽇志告警 OpenFunction 社区 交流、参与、演进 OpenFunction Roadmap OpenFunction Community → https://github0 码力 | 47 页 | 29.72 MB | 1 年前3 云原生图数据库解谜、容器化实践与 Serverless 应用实操本质上来看,事件框架也是⼀个由事件驱动的⼯作负载,那么它本身可以是 Serverless 形式的⼯作负载吗? 可以⽤ OpenFunction 的异步函数来驱动吗? ⾃定义⽇志告警 以 Serverless 的⽅式⽤ OpenFunction 异步函数实现⽇志告警 OpenFunction 社区 交流、参与、演进 OpenFunction Roadmap OpenFunction Community → https://github0 码力 | 47 页 | 29.72 MB | 1 年前3
 36-云原生监控体系建设-秦晓辉把中间件实例注册到注册中心,由抓取器统一去注册中心拉取实例列表。这就要求,各个实例的认证信息都得一 致,没有个性化配置,要不然处理起来就略麻烦了 • 中间件实例的监控数据采集其实还是次要的,关键是采集哪些指标,哪些指标要配置告警哪些要配置大盘,需要 一个最佳实践,这其实就是 https://github.com/flashcatcloud/categraf 的初衷 Thank You0 码力 | 32 页 | 3.27 MB | 6 月前3 36-云原生监控体系建设-秦晓辉把中间件实例注册到注册中心,由抓取器统一去注册中心拉取实例列表。这就要求,各个实例的认证信息都得一 致,没有个性化配置,要不然处理起来就略麻烦了 • 中间件实例的监控数据采集其实还是次要的,关键是采集哪些指标,哪些指标要配置告警哪些要配置大盘,需要 一个最佳实践,这其实就是 https://github.com/flashcatcloud/categraf 的初衷 Thank You0 码力 | 32 页 | 3.27 MB | 6 月前3
 09-harbor助你玩转云原生-邹佳- 初识Harbor:云原生制品仓库服务 - 使用Harbor搭建私有制品仓库服务 - 资源隔离与多租户管理模型 - 制品的高效分发(复制、缓存与P2P集成) - 制品的安全分发(签名、漏洞扫描与安全策略) - 资源清理与垃圾回收 - 构建高可用(HA)制品仓库服务 - Harbor集成与扩展 - 路线图 - 参与贡献Harbor社区 云原生与制品管理 [1] 云原生(cloud-native) 初识Harbor [3] – 整体架构 截止:v2.0 初识Harbor [4] – 功能 … 项目N 制品管理 访问控制(RBAC) Tag清理策略 Tag不可变策略 P2P预热策略 缓存策略 机器人账户 Webhooks 项目配置 项目1 项目标签管理 项目扫描器设置 项目级日志 系统设置(鉴权模式等) 内容复制 配额管理 制品的高效分发-复制 [1] 基于策略的内容复制机制:支持多种过滤器(镜像库、tag和标签)与多种触 发模式(手动,基于时间以及定时)且实现对推送和拉取模式的支持 初始全量复制 增量 过滤器 目标仓库 源仓库 目标项目 源项目 触发器 推送(push)或者拉取(pull)模式 过滤器 策略0 码力 | 32 页 | 17.15 MB | 6 月前3 09-harbor助你玩转云原生-邹佳- 初识Harbor:云原生制品仓库服务 - 使用Harbor搭建私有制品仓库服务 - 资源隔离与多租户管理模型 - 制品的高效分发(复制、缓存与P2P集成) - 制品的安全分发(签名、漏洞扫描与安全策略) - 资源清理与垃圾回收 - 构建高可用(HA)制品仓库服务 - Harbor集成与扩展 - 路线图 - 参与贡献Harbor社区 云原生与制品管理 [1] 云原生(cloud-native) 初识Harbor [3] – 整体架构 截止:v2.0 初识Harbor [4] – 功能 … 项目N 制品管理 访问控制(RBAC) Tag清理策略 Tag不可变策略 P2P预热策略 缓存策略 机器人账户 Webhooks 项目配置 项目1 项目标签管理 项目扫描器设置 项目级日志 系统设置(鉴权模式等) 内容复制 配额管理 制品的高效分发-复制 [1] 基于策略的内容复制机制:支持多种过滤器(镜像库、tag和标签)与多种触 发模式(手动,基于时间以及定时)且实现对推送和拉取模式的支持 初始全量复制 增量 过滤器 目标仓库 源仓库 目标项目 源项目 触发器 推送(push)或者拉取(pull)模式 过滤器 策略0 码力 | 32 页 | 17.15 MB | 6 月前3
 24-云原生中间件之道-高磊现从运行态左移到研发态,将大大提高效率 和降低成本 默认安全策略,可以天然的规避大部分 安全问题,使得人员配置和沟通工作大 量减少,提高了整体效率! 安全右移是为了恰到好处的安全,一些非严 重安全问题,没有必要堵塞主研发流程,可 以交于线上安全防御系统。提高了整体实施 效率! 安全编排自动化和响应作为连接各个环 节的桥梁,安全管理人员或者部分由 AIOps组件可以从全局视角观察,动态 调整策略,解决新问题并及时隔离或者 解决! mTLS服务间访问授权,主要针对Pod层WorkLod的访问控制 应用透明,全局管理视角,细粒度安全策略 Check&Report机制影响通信性能,并只涉及到服务 通信级别的安全,对node没有防护 Calico零信任 主要针对Node层的访问控制,可以让攻击者难以横向移动,隔离了风险 应用透明,全局管理视角,细粒度安全策略,针 对Node层面构建安全 采用IpTables,有一定的性能消耗 Cilium零信任 Cilium零信任 采用eBPF,为Mesh打造具备API感知和安全高效的网络层安全解决方案, 克服了Calico SDN安全和性能方面的不足 应用透明,全局管理视角,细粒度安全策略,针 对Node层面构建安全,端到端安全需要和以上安 全方案集成。 说说应用基本依赖的四大件:数据库、存储、中间件和大数据 下单服务 交易支付 支付网关 锁定库存 库存数据库 前台类目 商品查询 BFF 商品数据库 文件存储 logging0 码力 | 22 页 | 4.39 MB | 6 月前3 24-云原生中间件之道-高磊现从运行态左移到研发态,将大大提高效率 和降低成本 默认安全策略,可以天然的规避大部分 安全问题,使得人员配置和沟通工作大 量减少,提高了整体效率! 安全右移是为了恰到好处的安全,一些非严 重安全问题,没有必要堵塞主研发流程,可 以交于线上安全防御系统。提高了整体实施 效率! 安全编排自动化和响应作为连接各个环 节的桥梁,安全管理人员或者部分由 AIOps组件可以从全局视角观察,动态 调整策略,解决新问题并及时隔离或者 解决! mTLS服务间访问授权,主要针对Pod层WorkLod的访问控制 应用透明,全局管理视角,细粒度安全策略 Check&Report机制影响通信性能,并只涉及到服务 通信级别的安全,对node没有防护 Calico零信任 主要针对Node层的访问控制,可以让攻击者难以横向移动,隔离了风险 应用透明,全局管理视角,细粒度安全策略,针 对Node层面构建安全 采用IpTables,有一定的性能消耗 Cilium零信任 Cilium零信任 采用eBPF,为Mesh打造具备API感知和安全高效的网络层安全解决方案, 克服了Calico SDN安全和性能方面的不足 应用透明,全局管理视角,细粒度安全策略,针 对Node层面构建安全,端到端安全需要和以上安 全方案集成。 说说应用基本依赖的四大件:数据库、存储、中间件和大数据 下单服务 交易支付 支付网关 锁定库存 库存数据库 前台类目 商品查询 BFF 商品数据库 文件存储 logging0 码力 | 22 页 | 4.39 MB | 6 月前3
 Volcano加速金融行业大数据分析平台云原生化改造的应用实践大数据分析、人工智能等批量计算场景深度应用于金融场景 作业管理缺失 • Pod级别调度,无法感知上层应用 • 缺少作业概念、缺少完善的生命周期的管理 • 缺少任务依赖、作业依赖支持 调度策略局限 • 不支持Gang-scheduling、Fair-share scheduling • 不支持多场景的Resource reservation,backfill • 不支持CPU/IO 关键特性: 1. 统一的作业管理 提供完善作业生命周期管理,统一支持几乎所有主流的计算框架,如 Pytorch, MPI, Horovod, Tensorflow、Spark等。 2. 丰富的高阶调度策略 公平调度、任务拓扑调度、基于SLA调度、作业抢占、回填、弹性调度、 混部等。 3. 细粒度的资源管理 提供作业队列,队列资源预留、队列容量管理、多租户的动态资源共享。 4. 性能优化和异构资源管理 3. Specify scheduler hints (podgroup template) 用户案例:锐天投资基于Volcano的分布式计算平台 业务场景: • 金融投资公司,业务场景主要为策略研究开发、AI 训练与推理、 大数据ETL和离线批处理任务 客户诉求: • 要求调度系统提供公平机制,满足公司内多团队资源共享,保 证各自业务的SLA • 要求系统提供Gang-scheduling解决基本死锁问题0 码力 | 18 页 | 1.82 MB | 1 年前3 Volcano加速金融行业大数据分析平台云原生化改造的应用实践大数据分析、人工智能等批量计算场景深度应用于金融场景 作业管理缺失 • Pod级别调度,无法感知上层应用 • 缺少作业概念、缺少完善的生命周期的管理 • 缺少任务依赖、作业依赖支持 调度策略局限 • 不支持Gang-scheduling、Fair-share scheduling • 不支持多场景的Resource reservation,backfill • 不支持CPU/IO 关键特性: 1. 统一的作业管理 提供完善作业生命周期管理,统一支持几乎所有主流的计算框架,如 Pytorch, MPI, Horovod, Tensorflow、Spark等。 2. 丰富的高阶调度策略 公平调度、任务拓扑调度、基于SLA调度、作业抢占、回填、弹性调度、 混部等。 3. 细粒度的资源管理 提供作业队列,队列资源预留、队列容量管理、多租户的动态资源共享。 4. 性能优化和异构资源管理 3. Specify scheduler hints (podgroup template) 用户案例:锐天投资基于Volcano的分布式计算平台 业务场景: • 金融投资公司,业务场景主要为策略研究开发、AI 训练与推理、 大数据ETL和离线批处理任务 客户诉求: • 要求调度系统提供公平机制,满足公司内多团队资源共享,保 证各自业务的SLA • 要求系统提供Gang-scheduling解决基本死锁问题0 码力 | 18 页 | 1.82 MB | 1 年前3
共 17 条
- 1
- 2













