中国移动磐舟DevSecOps平台云原生安全实践开发过程自主可控 • 一键发布上磐基,实现“乘舟上云,稳如磐基” • 沉淀IT软件资产,核心代码掌控 • 提升开发交付效率 一键 上磐基 构建 打包 容器 化镜 像 自动化 部署 研发安 全扫描 需求 设计 敏捷 开发交付协同 云原生DevSecOps 安全工具链 国产化 双平面调度 敏捷开 发过程 统一代 码仓库 依赖制 品仓库 统一 镜像库 云原生 验证环境 磐基 原生使用模式,开发组件一键部署 云原生CI持续集成 使用Dockerfile进行云原生方式的CI构建, 拓展形成ARM、x86双架构流水线,底层 安全漏洞统一修复 全面云原生安全 支持代码安全扫描、镜像安全扫描、开源 协议扫描、依赖漏洞扫描。并可给出修复 建议。支持开源风险持续治理。 108 48 78 6 84 1 1 16 14 0 50 100 150 200 250 本单位 研发类 新业务开发 87055条/个 平台管理的需求、任务、缺陷、文档、镜像等数字资产 10.43亿 平台管理的业务或应用代码行数 215.87万 平台进行代码质量扫描、代码安全扫描、镜像安全扫描、整体安全扫描量 183.81万 提交代码、构建、部署总次数,其中x86构建16.42万次,arm构建1.59万次 企业级超大规模实践—推动中移数字化转型 中国移动集团范围内推广使用磐0 码力 | 22 页 | 5.47 MB | 1 年前3
第29 期| 2023 年9 月- 技术雷达对长时间不活跃的应用程序或服务提交的 PR。 如果系统具有广泛的测试覆盖范围——不仅有完善的单元测试,还包括有功能和性能测试,并且构建流水线必 须运行所有这些测试以及安全扫描,我们更提倡自动合并依赖项更新 PR。 简而言之,团队必须完全相信,流水 线运行成功后,软件就可以投入生产。在这种情况下,依赖项更新 PR,即使它们在间接依赖项中包含主要版本 更新,也应该自动合并。 6. 针对 FAIR 数据的数据产品思维 Orca 无需代理,因此提供了良好的开发者 体验,并且易于设置。另一个显著的特点是它促进了安全的左移。我们的团队使用 Orca CLI 来扫描容器镜像 和 IaC 模板,以检测漏洞和配置错误,作为预提交钩子或 CI/CD 工作流的一部分。它还持续监控和扫描容器仓 库(如 AWS ECR),以查找已发布镜像中易受攻击的基础镜像或脆弱的操作系统依赖项。根据我们团队的经验, Orca 提供了从开 提供了从开发到生产的安全状态的统一视图,因此我们将其放入试验阶段。 31. Trino 试验 Trino 以前被称之为 PrestoSQL,是一个专为面向大数据交互式分析查询而设计的开源分布式 SQL 查询引擎。经 过优化后,它可以在本地或者云上环境运行,并支持对 Hive、Cassandra、关系型数据库、甚至专有数据存储 等多种不同的数据源进行查询。它支持基于密码的认证、LDAP 和 OAuth 的身份验证机制,同时具备在0 码力 | 43 页 | 2.76 MB | 1 年前3
机器学习课程-温州大学-12机器学习-关联规则关联规则可以看作是一种IF-THEN关系。假设 商品A被客户购买,那么在相同的交易ID下, 商品B也被客户挑选的机会就被发现了。 5 1.关联规则概述 有没有发生过这样的事:你出去买东西, 结果却买了比你计划的多得多的东西?这 是一种被称为冲动购买的现象,大型零售 商利用机器学习和Apriori算法,让我们倾 向于购买更多的商品。 6 1.关联规则概述 购物车分析是大型超市用来揭示商品之间关联的关 顾客,向他们提供报价,以便他们购买第三种商品,比如鸡蛋。 因此,如果顾客买了面包和黄油,看到鸡蛋有折扣或优惠,他们就会倾向于 多花些钱买鸡蛋。这就是购物车分析的意义所在。 7 1.关联规则概述 置信度: 表示你购买了A商品后,你还会有 多大的概率购买B商品。 支持度: 指某个商品组合出现的次数与总次 数之间的比例,支持度越高表示该组合出现 的几率越大。 提升度: 提升度代表商品A的出现,对商品 B的出现概率提升了多少,即“商品 如果某个项集是频繁的,那么它的所有子集也是频繁的。 11 2.Apriori算法 算法流程 输入:数据集合D,支持度阈值? 输出:最大的频繁k项集 1)扫描整个数据集,得到所有出现过的数据,作为候选频繁1项集。k=1,频繁0项集为空集。 2)挖掘频繁k项集 a) 扫描数据计算候选频繁k项集的支持度 b) 去除候选频繁k项集中支持度低于阈值的数据集,得到频繁k项集。如果得到的频繁k项集 为空,则直接返回0 码力 | 49 页 | 1.41 MB | 1 年前3
为何选择VMware?ESX 直接驱动程序模型利用了经过认证和加强的 I/O 驱动程 序。这些驱动程序必须首先通过 VMware 和硬件供应商联合进行的严格测试和优化步骤,然 后才能被认证为可以与 VMware ESX 结合使用。将这些驱动程序包含在虚拟化管理程序中 后,VMware ESX 可以在 CPU 调度和内存资源方面对这些驱动程序进行特殊处理,以满足 处理多个虚拟机的 I/O 负载所需。与之相反,Xen 和 Microsoft VMware Storage vMotion 媲美的产品。 通过 VMware vMotion 和 VMware Storage vMotion,IT 管理员可以执行各种关键任务,如在正常 工作时间内的计划内维护和自动负载平衡。不再需要支付高额的加班费(晚上、周末),也不再需要 与应用程序所有者一起花若干小时制定维护安排。工作人员保持高效率,其日常工作不会受到任何干 扰,而 IT 管理员则可以重新享受晚上和周末的闲暇时光。 此无法消除应用程序停机时间。为 了进行硬件维护,Microsoft 平台的虚拟机迁移必须安排在工作时间之后或周末进行(加班),以最大限 度减少对最终用户的影响。 没有实时迁移,服务器和共享存储的计划内维护之类的基本常见任务会带来令人无法接受的最终用户 中断。例如,Microsoft 的 Quick Migration 就会导致这类中断,该虚拟机迁移产品会引起停机。 表 2. 各共享 IT0 码力 | 34 页 | 862.76 KB | 1 年前3
大数据集成与Hadoop - IBMIBM软件 2014 年 9 月 大数据集成与 Hadoop 可最大限度降低Hadoop计划风险并提高ROI的最佳实践 2 大数据集成与 Hadoop 简介 Apache Hadoop技术通过支持新的流程和架构,不断改进 大数据措施的经济性和活力,这样不仅有助于削减成本、增加 收益,而且还能树立竞争优势。Hadoop是一个开源软件项目, 支持在多个商业服务器群集间分散处理和存储大型数据集, (请阅读此报告,其中对Hadoop为何并非数据集成平台进行了 讨论)。更加糟糕的是,一些Hadoop软件供应商利用炒作、神 话、误导或矛盾信息来渗透市场。 为彻底切断这种误导,并开发适合您的Hadoop大数据项目的 采用计划,必须遵循最佳实践方法,充分考虑各种新兴技术、可 扩展性需求以及当前的资源和技能水平。面临的挑战:创建最佳 的大数据集成方法和架构,同时避免各种实施缺陷。 海量数据可扩展性:总体要求 如果您 说明Hadoop卓尔不群的言论。充分使用Hadoop的神话 与现实之间存在巨大的反差,这在大数据集成方面表现尤为 突出。很多业界传言称,任何不可扩展的抽取、转换和加载 (ETL) 工具搭配Hadoop后都会得到高性能、高度可扩展 的数据集成平台。 事实上,MapReduce的设计宗旨并非是对海量数据进行 高性能处理,而是为了实现细粒度的容错。这种差异可能会 使整体性能和有效性降低一个数量级乃至更多。0 码力 | 16 页 | 1.23 MB | 1 年前3
VMware Data Recovery 管理员指南业参考工具的课程材料。这些课程可以通过现场指导、教室授课的方式学习, 也可以通过在线直播的方式学习。关于现场试点项目及实施的最佳实践, VMware 咨询服务可提供多种服务,协助您评估、计划、构建和管理虚拟环境。 要了解有关教育课程、认证计划和咨询服务的信息,请访问 http://www.vmware.com/services。 VMware, Inc. 5 VMware Data Recovery Data Recovery 1 VMware® Data Recovery 可创建虚拟机备份,同时不会中断虚拟机的使用或虚拟机提供的数据和服务。Data Recovery 管理现有备份,并在这些备份过时后将其删除。它还支持删除重复以删除冗余数据。 Data Recovery 建立在用于数据保护的 VMware vStorage API 基础上,并与 VMware vCenter Server 集成,使 设备会在备份期间创建虚拟机的静止快照。备份在 ESX 主机上使用更改块跟踪功能。对于每个正在备份的虚拟磁盘,它会检查该虚拟磁盘的前一个备份,然后在 ESX 主机上使用更改跟踪功能获取自上次备份以来的更改。删除重复后的存储会基于最新备份映像创建一个虚拟的 完整备份,并对其应用更改。 注意 这些优化措施不适用于使用 vSphere 4.0 以前的 VMware 产品创建的虚拟机。例如,使用 Virtual Infrastructure0 码力 | 22 页 | 663.62 KB | 1 年前3
OpenShift Container Platform 4.14 分布式追踪1.1.3.1. 过时 过时的功能 的功能 在 Red Hat OpenShift distributed tracing 3.0 中,Jaeger 和 Elasticsearch 已被弃用,并计划在以后的发 行版本中删除。红帽将在当前发行生命周期中对这些组件提供关键及以上的 CVE 程序错误修复和支持, 但这些组件将不再获得功能增强。 第 第 1 章 章 分布式追踪 分布式追踪发 发行注 行注记 15 分钟内发送 trace 的服务。对于没有在最后 15 分钟内发送 trace 的服务,这些 trace 仍然被存 储,即使它们在 Jaeger UI 中不可见。(TRACING-3139) 计划在以后的 Red Hat OpenShift distributed tracing Platform 版本中对 Tempo Operator 提供支持。可 能的额外功能可能包括对 TLS 身份验证、多租户和多个集群的支持。如需有关 OpenShift distributed tracing 平台、提供演示或在测试环境中使用 Red Hat OpenShift distributed tracing 平台(Jaeger)的用户快速安装。如果您计划在生产环境中使用 Red Hat OpenShift distributed tracing 平台 (Jaeger),则必须安装并配置持久性存储选项,即 Elasticsearch。 先决条件 先决条件0 码力 | 100 页 | 928.24 KB | 1 年前3
OpenShift Container Platform 4.14 发行注记Platform Agnostic, 和 Rolling Stream这些生命周期类别为集群管理员提供了额 外的简易性和透明度,以更好地了解每个 Operator 的生命周期策略,并以可预测的支持界限来计划对集 群进行维护和升级。如需更多信息,请参阅 OpenShift Operator 生命周期。 OpenShift Container Platform 专为 FIPS 设计。当以 FIPS 模式运行 "/dev/disk/by-path/pci- 0000:01:00.0-scsi-0:0:0:0",在使用安装程序置备的基础架构在裸机上安装集群时。您还可以在基于代理 的安装过程中指定此参数。这种类型的磁盘别名在重启后保留。如需更多信息,请参阅为裸机配置 install- config.yaml 文件,或为基于代理的安装配置 root 设备提示。 1.3.2.13. 将 将现 现有 有 AWS 安全 安全组应 组应用到集群 前提供手动确认。这有助于防止升级 到 OpenShift Container Platform 4.14 后出现问题,其中已删除的 API 仍在由运行或与集群交互的工作负 载、工具或其他组件使用。管理员必须针对将要删除的任何 API 评估其集群,并迁移受影响的组件,以使 用适当的新 API 版本。完成此操作后,管理员可以向管理员提供确认。 所有 OpenShift Container Platform 40 码力 | 73 页 | 893.33 KB | 1 年前3
OpenShift Container Platform 4.3 架构进行开发 第 第 5 章 章 RED HAT ENTERPRISE LINUX COREOS (RHCOS) 5.1. 关于 RHCOS 5.2. 查看 IGNITION 配置文件 5.3. 安装后更改 IGNITION 配置 第 第 6 章 章 CI/CD 方法和 方法和实 实践 践 6.1. 用于集群管理和应用程序配置管理的 CI/CD 6.2. GITOPS 方法和实践 第 第 7 章 章 章 OPENSHIFT CONTAINER PLATFORM 架 架构 构 3 您还可以与现有版本一起部署和测试应用程序的新版本。在部署了当前版本的同时,还部署应用程序的新 版本。容器通过测试后,只要部署更多新容器并删除旧容器便可。 由于应用程序的所有软件依赖项都在容器本身内解决,因此数据中心的每台主机上都能使用通用操作系 统。您无需逐一为应用主机配置特定的操作系统。当数据中心需要更多容量时,您可以部署另一个通用主 Platform 中的主要组件源自 Red Hat Enterprise Linux 和 相关的红帽技术。OpenShift Container Platform 得益于红帽企业级优质软件的严格测试和认证 计划。 开源开发模型。开发以开放方式完成,源代码可从公共软件存储库中获得。这种开放协作促进了 快速创新和开发。 虽然 Kubernetes 擅长管理应用程序,但它并未指定或管理平台级要求或部署过程。强大而灵活的平台管0 码力 | 47 页 | 1.05 MB | 1 年前3
Hadoop 迁移到阿里云MaxCompute 技术方案储,我们也常称之为数据湖。如 HDFS、对象存储服务等。 批处理:由于大数据场景必须处理大规模的数据集,批处理往往需要从数据存储中读取大量 数据进 行长 时间 处理 分析 ,并将 处理 后的 数据 写 入 新的 数据 对象 供后 续使 用。如 Hive、 MapReduce、Spark 等。 Alibaba Cloud MaxCompute 解决方案 8 实时消息采集:用于实时数 Streaming、Storm 等。 机器学习:满足机器学习工作负载的服务。如当前流行的 Spark MLib/ML、Tensorflow 等。 分析型数据存储:对数据进行处理加工后,面向应用场景,将数据以结构化的方式进行存储, 以便分析工具或分析应用能够获取数据。如利用 MPP 数据仓库、Spark SQL 等支持 BI 工具 访问,利用 Hbase 实现低延迟的在线服务等 项目支持企业从创业团队发展到独角兽的 数据规模需求; 数据分布式存储,多副本冗余,数据存储对外仅开放表的 操作接口,不提供文件系统访问接口 自研数据存储结构,表数据列式存储,默认高度压缩,后 D k n e P y l w s o u ) ( ( f I w s A n t S B M / ) g p L K n T i Q w s J C R a b b C v0 码力 | 59 页 | 4.33 MB | 1 年前3
共 236 条
- 1
- 2
- 3
- 4
- 5
- 6
- 24













