RAINBOND服务⽇日志管理理 好⾬雨交付⼯工程师-郭逊 RAINBOND 线上培训（第⼋八期） 2019/7/31 1.Rainbond⾃自身的⽇日志管理理机制 2.对接 Elasticsearch 3.演示示例例 ⼤大纲 RAINBOND 线上培训（第⼋八期） 2019/7/31 1.RAINBOND⾃自身⽇日志管理理机制 1.1 ⽇日志界⾯面 RAINBOND 2019/7/31 1.RAINBOND⾃自身⽇日志管理理机制 1.1 ⽇日志界⾯面 RAINBOND 线上培训（第⼋八期） 2019/7/31 1.RAINBOND⾃自身⽇日志管理理机制 1.1 ⽇日志界⾯面 RAINBOND 线上培训（第⼋八期） 2019/7/31 1.RAINBOND⾃自身⽇日志管理理机制 1.2 Rainbond⽇日志收集原理理 RAINBOND RAINBOND 线上培训（第⼋八期） 2019/7/31 1.RAINBOND⾃自身⽇日志管理理机制 1.3 ⽇日志来源，以及相关原理理 node服务功能与⻆角⾊色 rbd-eventlog组件功能与⻆角⾊色 NODE服务会监视DOCKERD进程，观察其创建与销毁容器。获取⽂件系统中容器⽇志的路径，
 监视来⾃容器标准输出和标准错误输出，并以UDP协议分发到RBD-EVENTLOG组件。

4.4 集群环境下的横向攻击........................................................................29 2.4.5k8s 管理平台攻击.................................................................................29 2.4.6 第三方组件攻击 1 基础设施即代码安全............................................................................59 4.3.2 权限管理............................................................................................... 60 应用架构》，探讨了云原生应用架构的 5 个主要特征：符合 12 因素应用、面 向微服务架构、自服务敏捷架构、基于 API 的协作和抗脆弱性。同一年，Google 作为发起方成立 CNCF，指出云原生应该包括容器化封装、自动化管理、面向 微服务。到了 2018 年，CNCF 又更新了云原生的定义，把服务网格和声明式 API 给加了进来。后来，随着云计算的不断发展，云原生的簇拥者越来越多，这 一体系在反复的修正与探索中逐渐成熟。VMware

从政策法规、安全技术、安全理念、安全生态、安全思维等维度为产业互联网的安全建设提供前瞻性的参考和指引，助力夯实产业互联网的安全底座。 《趋势》认为，2021年将进一步完善个人信息保护体系，企业对个人信息利用规范化，数字安全合规管理将成为企业的必备能力。与此同时，企业还 应将安全作为“一把手工程”，在部署数字化转型的同时，推进安全前置。 前沿的数字化技术也让产业安全有了更多内涵。5G、AI、隐私计算等技术在构筑数字大楼的同时， 的基石;云上原生的安全能力让成本、效率、安全可以兼得，上云正在成为企业解决数字化转型后顾之忧的最优解…… 安全是为了预防资产损失，所以当安全投入 的成本大于能够避免的资产损失价值时，变 得毫无意义！ 而传统安全开发周期管理由于角色分离、流 程思路老旧、不关注运维安全等问题严重拖 慢了DevOps的效率！ 所以急需一种新型的基于云原生理念的安全 角色、流程以及技术的方案！ 传 统 安 全 工 作 传 统 由 独 立 安 量减少，提高了整体效率! 安全右移是为了恰到好处的安全，一些非严 重安全问题，没有必要堵塞主研发流程，可 以交于线上安全防御系统。提高了整体实施 效率！ 安全编排自动化和响应作为连接各个环 节的桥梁，安全管理人员或者部分由 AIOps组件可以从全局视角观察，动态 调整策略，解决新问题并及时隔离或者 解决！ DevSecOps 标准化能力-承载无忧-E2E云原生纵深安全保障-4-技术建议方案 技术

如何提供方便便捷的性能分析 调优能力 … 4 多Beats/Logstash接入 管控 提供多产品接入管理，多beats标准 化、界面化、自动化的日志接入方案 5 案例:1000+业务10000+台 主机如何快速实现日志接入？ 业务规模 1000+业务、 10000+业务主机、每天百T日志增量 日志需求 收集业务日志文件用于故障分析与告警监控 收集主机性能数据做容量分析 日志热数据保存七天 历史数据冷备一个月 历史数据冷备一个月 其他诉求 日志上报不能影响核心业务 数据上报延时可感知 准备ES 安装Filebeat 编写Filebeat配置文件 测试并下发配置 全网重启filebeat 检测数据是否上报 传统Beats接入流程 配置更改 现网配置是否全部一致？ 日志上报是否有延时？ Filebeat是否资源消耗过多？ Filebeat异常退出如 何处理？ 如何做上报性能调优？ 6 系统架构 8 Agent管理 时序图 Agent注册 Agent启动首先向Consul获取Master服务列表， 并向Master发起Agent注册逻辑，获取agent id 配置获取 从Consul中获取当前agent的配置组列表，并 启动多个采集进程 配置变更感知 watch到Consul对应的agent id路径，实时感 知配置变化，并对启动的进程列表做重启清理 等工作 管理多Beats/logstash

灵活的低代码能力 实现页面组件、数据组件、功能组件的快 速编排，一线人员也能自助开发功能 双模敏态管理 以敏捷研发为引导，融合瀑布式管理需求， 形成普适、灵活的研发过程管理能力。 多用途制品库 兼容市面绝大多数开发语言制品，提供公 用、内部共享、私有等多种使用方式。兼 容市面上制品管理客户端。 全功能云IDE开发 每个云IDE都是一个云端小笔记本，一人一 本，多人可形成云端小局域网。可独立编 0 50 100 150 200 250 本单位 省公司 省公司（直投） 专业公司 入驻项目数 工程类 研发类 新业务开发 87055条/个 平台管理的需求、任务、缺陷、文档、镜像等数字资产 10.43亿 平台管理的业务或应用代码行数 215.87万 平台进行代码质量扫描、代码安全扫描、镜像安全扫描、整体安全扫描量 183.81万 提交代码、构建、部署总次数，其中x86构建16 能测试同步进行的自动化 安全测试，给出漏洞的实际触发路径并提供实际可落地的修复建议。根据需求阶段提出的安全设计方案，配置IAST中的自定义规 则，基于IAST的扫描结果可以实现安全需求设计的闭环管理，大幅减少安全漏洞，有效降低风险暴露时间。 程 序 源 码 程 序 目 标 码 （ 插 桩 后 ） 平 台 机 器 码 应 用 系 统 I A S T 插 桩 A g e n t 展

2 3 _ by QingCloud 应用管理 5 应用仓库管理 4 Helm 及其应用仓库简介 • Helm 是 Kuberetes 的包管理器 类似于 Ubuntu 的 apt-get, Centos 的 yum, 用于管理 Charts Helm Chart 是用来封装 Kubernetes 应用程序的一系列 YAML 文件 • 安装 Helm 在 https://github https://github.com/helm/helm 上下载二进制文件 _ by QingCloud Helm 及其应用仓库简介 • 应用仓库: 管理和分发 Helm Charts. • 安装 Harbor 1. helm repo add harbor https://helm.goharbor.io 2. helm fetch harbor/harbor 3. 修改 values.yaml 4 Chart 目录 chart.yaml: 声明了当前 Chart 的名称、版本等基本信息 values.yaml: 提供应用安装时的默认参数 templates/: 包含应用部署所需要使用的YAML 文件，比如 Deployment 和 Service等 charts/: 当前 Chart 依赖的其它 Chart • helm template hello-chart: 渲染 Chart 并输出

KubeVela：以应用为中心的 渐进式发布最佳实践 孙健波 阿里云-云原生应用平台团队 技术专家 关于我 • 孙健波 • 阿里云 (@天元) • 云原生应用平台团队--应用管理和应用交付 • Github(@wonderflow) • OAM - Open Application Model (https://oam.dev/) • KubeVela (http://kubevela • 滚动发布/原地发布 • 发布暂停 • 发布回滚 • 日志监控 • 健康检查 • 多版本部署 • 多版本流量灰度 • 多集群/多环境灰度 • … KubeVela 具备全部发布能力 的标准化应用管理引擎 KubeVela 简介 第二部分 What is KubeVela？ KubeCon NA 发布 一个标准化的云原生应用平台构建引擎。 • 基于 Kubernetes 和 OAM 模型构建 CRD 注册中心 KubeVela 的 Application 对象 镜像与启动参数 多组件 如何扩容 扩容指标，实例数范围 组件类型 可灵活扩展的其 他能力 • 一个完整的应用描述文件（以 应用为中心） • 灵活的“schema”（参数由 能力模板自由组合） • 放置于应用代码库中（gitops 友好） • 无需学习 K8s 细节（ 完整的 用户侧抽象 ） • 可自动适配任意

监管机构保障成分清单的可信度 软件物料清单 • 软件物料清单（SBOM, Software Bill Of Material）是代码库中所有开放源代码和第三方组件的清单。 • SBOM能够列出管理这些组件的许可证，代码库中使用的组件的版本及其补丁程序状态。 云原生应用安全风险面 第三方组件 开源组件 应用安全 风险面 Web通用漏洞 SQL注入、命令执行、XXE、XSS等OWASP 可以帮助企业进行漏洞管理、应急响应、资产管理、许可证和授权管理、知识产 权管理、合规性管理、基线建立和配置管理等。 作用示例 SBOM使用场景 1）从广义的分类上看，SBOM有三种不同的使用主体： 〇 软件生产商使用SBOM来协助构建和维护他们提供的软件； 〇 软件采购商使用SBOM来进行采购前参考、协商折扣和制定采购策略； 〇 软件运营商使用SBOM为漏洞管理和资产管理提供信息，管理许可和 合规性，并快速识别软件和组件依赖关系以及供应链风险。 2）从企业角色类型来看，对SBOM有不同的使用需求： 〇 开发团队：用于管理软件资产，在开发早期即可评估安全风险，筛选 适合的组件/软件，并持续更新SBOM； 〇 安全团队：通过提交的SBOM分析软件风险，并通过统一管理进行持 续监控，及时响应安全事件； 〇 法务团队：核查软件授权问题，避免后续公司业务自身权益受到损害。 实践要点 实践要点——与漏洞情报关联

Pod内的业务应用的监控 • 业务应用依赖的中间件的监控 云原生之后监控需求的 变化 云原生之后监控需求的变化 •相比物理机虚拟机时代，基础设施动态化，Pod销毁重建非常频繁 •原来使用资产视角管理监控对象的系统不再适用 •要么使用注册中心来自动发现，要么就是采集器和被监控对象通过sidecar模式捆绑一体 指标生命周期变短 •微服务的流行，要监控的服务数量大幅增长，是之前的指标数量十倍都不止 erlay、overlay两层网络，容器内容器外两个namespace，搞懂需要花些时间 •Kubernetes的监控，缺少体系化的文档指导，关键指标是哪些？最佳实践是什么？不是随便搜索几个yaml文件能搞定的 平台侧自身复杂度变高， 监控难度加大 从 Kubernetes 架构来 看要监控的组件 Kubernetes架构 l 服务端组件，控制面：API Server、Scheduler、 暴露的是自身的监控数据 （prometheus协议） • Kubelet 的核心职责就是管理本机的 Pod 和容器，典型的比如创建 Pod、销 毁 Pod，显然我们应该关注这些操作的 成功率和耗时 • Categraf 的仓库中 inputs/kubernetes/kubelet-metrics- dash.json 就是 Kubelet 的大盘文件 • kubelet_running_pods：运行的Pod的数量，gauge类型

全生命周期API管理-1 服务是从内研发视角来看的，但是对于外部消费者只想找到并集成API而已，并不想了解API背后的运维细节或者需要协调运维能力！API成了一 种可以交易的商品，可以购买增强自己APP的能力，比如在自己APP里显示天气预报数据，从外部去管理应用平台，形成了一种新PaaS组织方式。 • 逻辑API：已有API的组 API文档：每一个API有 一个活档，指导集成。 形成市场，能力 互补 全生命周期API管理-2-Azure API Management 配置Http Header， 比如CORS等 配置入站协议转 换等 配置后端治理策略 等，比如限流规则 定义API或者导入 API 全生命周期API管理-3-Azure API Management • 把自己关在小黑 屋里面，自己就 可以自助的从API 针对硬件特性的适配、还需要安装OS 等，最后还要在OS上安装应用，并且 还要保证应用软件依赖拓扑结构不会 出错。 3. 集成点：包括新环境的硬件、软件和 应用与遗留系统的集成，比如，监控、 服务注册中心、文件传输、消息集成、 ITSM等系统的部署集成。 4. 由于上层所依赖的底层环境在不同交 付环境中是不同的，而传统交付方式 缺乏脚本能“理解”的方式来表达这些 差异，此外由于事后更新OS、三方库 或者系统，这些变更又缺乏校验关系，