Chaos Mesh 在网易伏羲私有云自动化故障注入实践 Speaker Name：张慧 网易伏羲 Speaker Title：网易伏羲私有云质量保障负责人、Chaos Mesh 布道师、云原生社区 Stability SIG 发起人 Email：zhangui05@corp.netease.com 云 原 生 学 院 目录  网易伏羲私有云简介  为什么混沌测试  什么是混沌测试 指标 量化 什么是混沌测试 什么是混沌测试 混沌工程旨在将故障扼杀在襁褓之中，也就是在故障造成中断之前将它们识别出来。通过主动制 造故障，测试系统在各种压力下的行为，识别并修复故障问题，避免造成严重后果。 混沌工程将预想的事情和实际发生的事情进行对比，通过“有意识搞破坏”来提升系统稳定性。 鲁棒性 故障注入 如何选择混沌测试工具 混沌工具 混沌工具

化、界面化、自动化的日志接入方案 5 案例:1000+业务10000+台 主机如何快速实现日志接入？ 业务规模 1000+业务、 10000+业务主机、每天百T日志增量 日志需求 收集业务日志文件用于故障分析与告警监控 收集主机性能数据做容量分析 日志热数据保存七天 历史数据冷备一个月 其他诉求 日志上报不能影响核心业务 数据上报延时可感知 准备ES 安装Filebeat 编写Filebeat配置文件 • 配置变更实时感知 • 部署全自动化 • 多Beats支持 • Beats运行时cpu/mem可控 • Agent监控视图 • 离线/容量/延时监控 • 分布式集群管理 • 异常快速定位 • 关联公司CMDB • 资源权限管理 • 配置灰度控制发布 • 配置一致性检测 • 日志覆盖率 12 案例:如何管控整个日志数据流相关资源性能与容量？ 资源限制 cgroup Beats Worker 并发调大 提高写入并发 单次bulk size 调大 Es性能分析 对比 自建 日志平台接入 上报延时分析 无法实时感知日志积压情况 日志延时dashboard快速定位 Filebeat性能分析 依赖白金版monitor机制 不依赖es版本、结合cpu/mem限额配置与实时 指标采集分析 Filebeat性能调优 需要修改配置文件不断尝试 界面提交核心参数并结合延时图对比分析

原生技术架构的典型特征包括：极致的弹性能力，不同于虚拟机分钟级的弹性响 应，以容器技术为基础的云原生技术架构可实现秒级甚至毫秒级的弹性响应；服 务自治故障自愈能力，基于云原生技术栈构建的平台具有高度自动化的分发调度 调谐机制，可实现应用故障的自动摘除与重构，具有极强的自愈能力及随意处置 性；大规模可复制能力，可实现跨区域、跨平台甚至跨服务的规模化复制部署。 由此可见，云原生作为一种新兴的安全理念，是一种构建和运行应用程序的 安全要求。 3 云原生能力成 熟度模型 第 1 部分：技术架构 由中国信息通信研究院牵头编写，规定了基于云原生技术的平台架构的能力 成熟度评估模型，从服务化能力、资源弹性能力、可观测性、故障自愈能力、 自动化能力、无服务器化能力以及安全性等方面对技术架构进行评估。 4 云原生能力成 熟度模型 第 2 部分：业务应用 由中国信息通信研究院牵头编写，规定了基于云原生构建的业务应用的能力 原生应用安全域、云原生研发运营安全域以及云原生安全运维域五个方面 6 云原生安全 API 安全治理 由中国信息通信研究院牵头编写，适用于用帮助用云企业评估自身云原生平 台和应用的 API 安全防护能力水平，定位问题、指导能力建设，适用于规范 云服务商、安全企业提供的产品及服务的能力水平。 7 云原生应用保 护平台 （CNAPP）能 力要求 由中国信息通信研究院牵头编写，为了云原生应用保护平台（CNAPP）的

进行静态扫描，尽可能前置，在IDE编写代码或者提交代码时进行，将极 大优化整体效率和成本 可以无视环境随时可以进行，覆盖漏洞类型全面， 可以精确定位到代码段 路径爆炸问题，并一定与实际相符合，误报率较 高。 DAST(动态安全应用 程序安全测试) 黑盒测试，通过模拟业务流量发起请求，进行模糊测试，比如故障注入 或者混沌测试 语言无关性，很高的精确度。 难以覆盖复杂的交互场景，测试过程对业务造成 较大的干扰，会产生大量的报错和脏数据，所以 SCA（软件成分分析） 有大量的重复组件或者三方库的依赖，导致安全漏洞被传递或者扩散， SCA就是解决此类问题的办法，通过自动化分析组件版本并与漏洞库相 比较，快速发现问题组件，借助积累的供应链资产，可以在快速定位的 同时，推动业务快速修复。 安全左移的一种，在上线前发现依赖组件的安全 问题，快速借助供应链资产库，帮助业务修复问 题。 需要进行大量的安全特征以及资产库的建设或者 三方集成。（涉及业务能力） RASP(运行时安全应 存在性能瓶颈 类似日志方式的顺 序写，性能高 易用程度 封闭体系，集成各 类优秀能力较差 集成能力强，多模 态接口，兼容各类 协议 可用性、稳定性 需要强大的旁路运 维能力 简化运维、自动化 容量和故障转移 云原生数据库其特点，使得应用场 景会更加广泛 高级能力-云原生数据库-应用的基石-2-技术架构 Application Application Application Read Read

当提示出现问题后，就需要有定位问题位置的手段，进 一步要有能够指出问题根因、甚至提前就预警的手段。 拓扑流量图：是不是按预期运行 分布式跟踪:哪些调用 故障或者拖慢了系统 监控与告警： 主动告诉我 问题发生了！ 微服务部署后就像个黑盒子，如何发现问题并在 远端运维是主要的课题，那么就需要从宏观告知 研发人员，并且提供日志、跟踪、问题根因分析 等工具进一步从微观帮助研发人员定位和解决问 题，这是这里在业务上的价值-稳定性赋能。 通过TraceId来 标识记录并还 原发生一次分 布式调用的完 整过程和细节 Logging 通过日志记录 执行过程、代 码调试、错误 异常微观信息 数据之间存在很多关联，通过 关联性数据分析可获得故障的 快速界定与定位，辅助人的决 策就会更加精确 根据运维场景和关注点的不同，以不同图表或者曲 线图来表示整体分布式应用的各维度情况，使得开 发人员可以清晰的观测到整体分布式应用的详细运 行情况，为高精度运维提供可视化支撑

测试环境 生产环境 复杂的应用软件架构，在开发、测试、运维 团队之间建成了认知的“墙”，团队间配合效 率低，故障排查慢，阻碍了软件价值的流动 无法满足用户对于业务快速研发、 稳定交付的要求 场景 1 如果生产中一台Web应用服务器故障，恢复这台服务器需要 做哪些事情？ 场景 2 如果应用负载升高/降低，如何及时、按需扩展/收缩所 用资源？ 场景 3 如果业务系统要升级，如何平滑升级？万一升级失败是 否能够自动回滚？整个过程线上业务持续运行不中断。 传统稳态业务环境难以高效承载敏态应用 发现故障 （假死） 创建 新实例 配置 运行环境 部署当前 应用版本 添加 监控 配置 日志采集 测试确认 服务正常运行 实例 加入集群 恢复正常 场景 1 如果生产中一台Web应用服务器故障，恢复这台服务器需要 做哪些事情？ 场景 2 如果应用负载升高/降低，如何及时按需扩展/收缩所用 所用 资源？ 场景 3 如果业务系统要升级，如何平滑升级？万一升级失败是 否能够自动回滚？整个过程线上业务持续运行不中断。 传统稳态业务环境难以高效承载敏态应用 发现故障 （假死） 创建 新实例 配置 运行环境 部署当前 应用版本 添加 监控 配置 日志采集 测试确认 服务正常运行 实例 加入集群 恢复正常 工作量 成本 新一代架构（微服务）应用的对承载平台提出新要求 传

虚拟机Node vSwitch DeepFlow 采集器进程 业务 POD 业务 POD 采集 POD br 业务 POD 网关 1 2 3 5 6 7 4 容器-虚拟机-NFV网关 全栈链路追踪能力 快速故障定位，缩短MTTR 效果2：服务间调用全栈链路追踪 1 2 3 5 6 7 服务间通过sidecar、 iptables、linux bridge、 NFV网关等相连， 传统APM能追踪得上吗？ simplify ���� ���� ���� ��� �� ������� ������� ������� � �� ����� ����� ����� � �� ����� ������ ���� � 应用故障？ 网络故障？ 系统故障？ 当网络建连失败时，现有的APM能监控到异常吗？当容器Service导致高时延时，现有APM能知晓原因吗？ © 2021, YUNSHAN Networks Technology Co

个代码冲突多 • 系统超过 5 个测试&上线协同代价大 • 数字化升级需要快速迭代 性能 • 单机成为性能瓶颈 可用性 • 单机成为可用性瓶颈 挑战 • 技术复杂度上升 • 运维成本上升 • 可定位性变差 • 快速迭代难以控制风险 阿里微服务解法和优势 MSE微服务引擎 Nacos Ingress（Envoy） 云原⽣⽹关 Sentinel 用户容器 用户POD Tracing ACK/ASK 调度+弹性 解法 • 提供完整微服务产品矩阵 • 通过 MSE 解决微服务最 核心服务发现和配置管理， 通过服务治理提升高可用 • 通过 ACK 解决运维成本 • 通过 ARMS 解决定位成本 • 通过 AHAS 解决技术风险 • 通过 PTS 解决容量风险 优势 • 开源、自研、商业化三位 一体 • 开源 DNS 国内事实标准， 生态完善 • 十多年双十一洪峰考验， 默认高可用 文案、公告 前后端独立发布 布局、氛围调整 高可用平台配置 降级 开关 特性 开关 紧急预 案 提前预 案 白名单 日志级别 、采样率 超时、重试 流量调度 动态数据源 故障自动切库 DB大促预建联 密码定期修改 流量控 制 线程控 制 微服务生态 前端生态 Spring Sentinel 高可用生态 Dubbo Midway Switch 数据库生态

默认情况下，-bind通告地 。但是，在某些情况下，可能存在无法绑定的可路由地址。此标志允许闲聊不同的地址以支持此功能 如果此地址不可路由，则该节点将处于恒定的振荡状态，因为其他节点将不可路由性视为故障。在Co sul 1.0及更高版本中，可以将其设置为 go-sockaddr 模板。 ● -advertise-wan：广告WAN地址用于将我们通告的地址更改为通过WAN加入的服务器节点。当与t 将变得更大并且raft.db文件中的空间在下一个快照之 无法回收，因此增加此值将替换磁盘空间的磁盘空间。如果需要重播更多日志，服务器可能需要更长 原文链接：consul 命令行 时间才能从崩溃或故障转移中恢复。在Consul 1.1.0及更高版本中，默认为16384，在先前版本中， 设置为8192。 ● -raft-snapshot-interval：它控制服务器检查是否需要将快照保存到磁盘的频率。他是一个很少需 所有服务器同时拍摄快照的机会。由于日志将变得更大并且raft.db文件中的空间在下一个快照之前无 回收，因此增加此值将替换磁盘空间的磁盘空间。如果需要重播更多日志，服务器可能需要更长的时 才能从崩溃或故障转移中恢复。在Consul 1.1.0及更高版本中，此默认设置为30s，并且在之前的版 中设置为5s。 ● -recursor：指定上游DNS服务器的地址。可以多次提供此选项，并且功能上与recursors配置选项

2019年双11 2019年12月 2020年6月 2020年7月 2020年12月 2021年 MOSN 简介 — 开源社区 Committer 非蚂蚁 蚂蚁 定位：云原生网络代理平台 开源理念  社区是开源软件发展的动力  借力开源，反哺开源  持续向云原生演进 Star: 3100 Committer: 10 Contributor: 78 在 MOE 支持 L4 扩展后，可方便使得 Envoy 集成 Layotto 或 Dapr 能力，从而同时具备 service mesh 与 application runtime 能 力。 定位：云原生网络代理平台 理念：通用能力回馈社区，同社区共建标准 来吧，提个 PR 就是 gopher Q ? A : E MOSN 官网 http://mosn.io MOSN