Chaos Mesh 在网易伏羲私有云自动化故障注入实践 Speaker Name：张慧 网易伏羲 Speaker Title：网易伏羲私有云质量保障负责人、Chaos Mesh 布道师、云原生社区 Stability SIG 发起人 Email：zhangui05@corp.netease.com 云 原 生 学 院 目录  网易伏羲私有云简介  为什么混沌测试  什么是混沌测试 识别出来。通过主动制 造故障，测试系统在各种压力下的行为，识别并修复故障问题，避免造成严重后果。 混沌工程将预想的事情和实际发生的事情进行对比，通过“有意识搞破坏”来提升系统稳定性。 鲁棒性 故障注入 如何选择混沌测试工具 混沌工具 混沌工具 为什么是 Chaos Mesh 为什么是 Chaos Mesh ● PodChaos: kill / fail

........................................................................................ 192 模块关系依赖 .................................................................................................. Remember Me：记住我，这个是非常常见的功能，即一次登录后，下次再来的话不用登录 了。 记住一点，Shiro 不会去维护用户、维护权限；这些需要我们自己去设计/提供；然后通过 相应的接口注入给 Shiro 即可。 接下来我们分别从外部和内部来看看 Shiro 的架构，对于一个好的框架，从外部来看应该 具有非常简单易于使用的 API，且 API 契约明确；从内部来看的话，其应该有一个可扩展 SecurityManager； 2、 我们需要给 Shiro 的 SecurityManager 注入 Realm，从而让 SecurityManager 能得到合法 的用户及其权限进行判断。 从以上也可以看出，Shiro 不提供维护用户/权限，而是通过 Realm 让开发人员自己注入。 接下来我们来从 Shiro 内部来看下 Shiro 的架构，如下图所示： Su

源生态的发展产生了积极的影响，为全球开发者提供了更多创新和应用的可能。 中国开源模型从最初的质疑中崛起，逐步赢得了广泛认可。这不仅彰显了中国开源模型从追 随者到行业引领者的跨越式成长，也为全球人工智能发展注入了新的活力与动力。中国开源模型 的成功并非偶然。在政府对人工智能产业的持续支持以及国内人工智能行业对模型研发的巨额投 入下，从基础算法到行业应用、从算力基础设施到数据资源整合，中国人工智能生态体系正在迅 整理。 展望 2024 年，中国开源模型的发展展现了技术、生态和社会价值之间的深度协同。无论是从技 术创新到社区建设，还是从行业实践到合规探索，中国开源生态体系的完善正在为全球人工智能 发展注入源源不断的动力。 在 Hugging Face，我们坚信开源是推动人工智能技术进步和生态繁荣的核心力量。开源 不仅能够打破技术壁垒，促进全球开发者之间的协作与创新，还能推动技术的普惠化，让更多的 演提供了可贵的素材。对软件商业化问题感兴趣的朋友一定要长期关注这个赛道。只有这样的对 象才能更有力地说明开源策略的重要性。 其次，我们得明确一点——大模型竞争的赛点是什么？常用的判断依据包括：技术的先进性， C 端用户基数，依赖这个软件的生态系统大小等等。其中哪个更关键一点？ 技术先进是好事，但大模型领域的先进技术远没有达到能为大模型企业带来可观收入的程度。 整个大模型赛道还处在商业化的摸索阶段。这个时间点上的“技术先进性”更多是用于公关宣传

的 Failover 机制 √ 安全 访问控制：主要依靠中间件 × 中间件 治理控制 熔断降级：主要依靠中间件 中间件 限流：速率限制 √ 中间件 资源隔离：主要依靠中间件 中间件 故障注入：不提供 × 超时控制、重试、重写、重定向等：继承 Nginx 的 timeout 机制 √ 监控/故障诊断 链路追踪：主要依靠中间件 APM APM 性能监控：主要依靠中间件 APM APM • 基础架构与业务架构可以独立演进 • 为多语言栈提供了服务治理能力7/24 持续演进的诉求 • 提供高质量的服务治理能力 • 增强流量管理能力 • 将更多治理特性（如限流、熔断、故障注入）与业务架构解耦 • 支持更多的协议 • 增强控制面 • 配合业务容器化上云及混合云架构8/24 行业技术演进 - 通用型 Service Mesh 出现 2017年1月23日 加入 CNCF 提供了部署、升级和有限的运行流量管 理能力 • Istio 补齐了 K8s 在微服务治理上的短板 （限流、熔断、降级、分流等） • Istio 以 Sidecar 的形式运行在 Pod 中， 自动注入，自动接管流量，部署过程对业务 透明 • 提供了完整的 Service Mesh 解决方案 • 数据面：Envoy • 控制面：Pilot，Mixer，Citadel，Galley10/24

ProtocolManager.this.cpProtocol = protocol; }); } ... } 其实，仅做完⼀致性协议抽象是不够的，如果只做到这里，那么服务注册发现以及配置管理，还是 需要依赖⼀致性协议的接口，在两个计算模块中耦合了带状态的接口；并且，虽然做了比较高度的 ⼀致性协议抽象，服务模块以及配置模块却依然还是要在自己的代码模块中去显示的处理⼀致性协 议的读写请求逻辑，以及需要 数据存储抽象 正如前面所说，⼀致性协议，就是用来保证数据⼀致的，如果利用⼀致性协议实现⼀个存储，那么 服务模块以及配置模块，就由原来的依赖⼀致性协议接口转变为了依赖存储接口，而存储接口后面 的具体实现，就比⼀致性协议要丰富得多了，并且服务模块以及配置模块也无需为直接依赖⼀致性 协议而承担多余的编码工作（快照、状态机实现、数据同步）。使得这两个模块可以更加的专注自 35 > Nacos 架构 己 ，并可指定服务节点进行切 换。  (未来终态版本)自动化管控方案：基于每个 server 间连接数及负载自动计算节点合理连接数，自 动触发 reblance，自动削峰填谷。实现周期较长，比较依赖算法准确性。 3. 连接⽣命周期 心跳保活机制 Nacos 架构 < 48 类型 TCP netty mina grpc rsocket tb remote 心跳保活机制 keepalive

可以无视环境随时可以进行，覆盖漏洞类型全面， 可以精确定位到代码段 路径爆炸问题，并一定与实际相符合，误报率较 高。 DAST(动态安全应用 程序安全测试) 黑盒测试，通过模拟业务流量发起请求，进行模糊测试，比如故障注入 或者混沌测试 语言无关性，很高的精确度。 难以覆盖复杂的交互场景，测试过程对业务造成 较大的干扰，会产生大量的报错和脏数据，所以 建议在业务低峰时进行。 IAST(交互式应用程序 安全测试) 结合 式，IAST可以像SAST一样精准的发现问题点 SCA（软件成分分析） 有大量的重复组件或者三方库的依赖，导致安全漏洞被传递或者扩散， SCA就是解决此类问题的办法，通过自动化分析组件版本并与漏洞库相 比较，快速发现问题组件，借助积累的供应链资产，可以在快速定位的 同时，推动业务快速修复。 安全左移的一种，在上线前发现依赖组件的安全 问题，快速借助供应链资产库，帮助业务修复问 题。 需要进行大量的安全特征以及资产库的建设或者 数据的安全生命周期返程三种不同状态：存储中、传输中、使用中，但 是对第三种场景，一直以来缺少保护手段。通过加密技术建立的可信运 行环境TEE（比如IntelSGX，蚂蚁的KubeTEE等）可以保护运行中的数据和 代码，完成了安全闭环。 依赖于硬件和更高阶密码学，可以彻底阻断物理 设备以及软件的攻击，是高级的安全保障技术。 TEE是运行态主动防护的高级手段，对高安全生产 环境建议使用。 成本较高，所以要视业务场景要求取舍。 Mesh零信任

Kubernetes所在宿主的监控 • Kubernetes Node组件监控 • Kubernetes控制面组件监控 • Kubernetes资源对象的监控 • Pod内的业务应用的监控 • 业务应用依赖的中间件的监控 云原生之后监控需求的 变化 云原生之后监控需求的变化 •相比物理机虚拟机时代，基础设施动态化，Pod销毁重建非常频繁 •原来使用资产视角管理监控对象的系统不再适用 •要么使用 labelmap，即：通过这种方式采集的数据，我们无法得到 node 上的 label 数据。node 上的 label 数据最核心的就是 标识了 node 的 IP • 我们可以通过环境变量为抓取器注入NODEIP，比如用 Categraf 的话，就会自动把本机 IP 作为标签带上去，设置 config.toml 中的 hostname=“$ip” 即可 完整配置可以参考： https://github ETCD 也是直接暴露 /metrics 接口，可以直接抓取 • ETCD 可以考虑使用 sidecar 模式来抓，对于运维比较简 单一些，不需要先部署 ETCD 再去配置抓取规则 • ETCD 强依赖硬盘做持久化，所以要特别关注硬盘相关的 指标，尽量用 SSD 或 NVME 的盘 • 采集方式可以参考 categraf 仓库的 k8s/deployment.yaml，如果是 sidecar 模式，就直接使

1300+用例 行覆盖80%+，分支覆盖70%+  集成测试 Given When Then 设计方法 500+用例  异常测试 40+自动化用例  混沌测试 20轮自动化随机故障注入 12/33单元测试 单元测试是软件开发的过程中最基本的测试，它用来对一个模块、一个函数或者一个类来进行 正确性检验的测试工作。 curve通过lcov统计代码覆盖率，衡量单元测试的完备程度，如下图所示： 单个模块的误差积累是否会放大，从而 达到不可接受的程度。  功能测试 站在使用者的角度，对模块提供的功能进行完备 的测试。  异常测试 制造或模拟系统异常(磁盘错误、网络错误、资源 冲突等)、依赖服务异常、应用本身异常等非正常 情况，测试软件的性能和稳定性是否符合预期。  规模测试 测试模块在一定规模下是否能够正常工作，是否 会出现异常或者崩溃， 14/33系统测试 系统测试是  常规测试，主要是新增功能的手工测试；  性能测试，将性能数据与基准对照，确定性能没有出现预期外的下降或提升；  稳定性测试，在正常压力下运行足够长的时间；  异常测试，在正常流程中注入一种软硬件异常；  混沌测试，大压力多级故障（随机组合软硬件异常）。 在系统测试过程中，我们尽可能将所有用例自动化，其优点是：  大幅降低了测试回归成本，加快了测试进度；  可以对代码

（b）训练数据含不当内容、被 “投毒” 风险。训练数据中含有虚假、偏见、 侵犯知识产权等违法有害信息，或者来源缺乏多样性，导致输出违法的、不良 的、偏激的等有害信息内容。训练数据还面临攻击者篡改、注入错误、误导数 据的“投毒”风险，“污染”模型的概率分布，进而造成准确性、可信度下降。 （c）训练数据标注不规范风险。训练数据标注过程中，存在因标注规则 不完备、标注人员能力不够、标注错误等问题，不仅会影响模型算法准确度、 的标准接口、特性库和工具包，以及开发界面和执行平台可能存在逻辑缺陷、- 5 - 人工智能安全治理框架 漏洞等脆弱点，还可能被恶意植入后门，存在被触发和攻击利用的风险。 （b）算力安全风险。人工智能训练运行所依赖的算力基础设施，涉及多源、 泛在算力节点，不同类型计算资源，面临算力资源恶意消耗、算力层面风险跨 边界传递等风险。 （c）供应链安全风险。人工智能产业链呈现高度全球化分工协作格局。 但个别国 敏感数据时使用 加密技术等保护措施。 （h）重点领域使用者应对人工智能行为和影响进行有效监督，确保人工 智能产品和服务的运行基于人的授权、处于人的控制之下。 （i） 重点领域使用者应避免完全依赖人工智能的决策，监控及记录未采 纳人工智能决策的情况，并对决策不一致进行分析，在遭遇事故时具备及时切 换到人工或传统系统等的能力。 6.4 社会公众安全应用指引 （a）社会公众应提高对人工智能产品安全风险的认识，选择信誉良好的

为什么纯粹的eBPF方法不行 • 不够成熟 eBPF 简介 • 编写eBPF程序 • 编译成eBPF中间代码 • 注入内核 • 挂载到network traffic control • 报文激发eBPF代码 技术创新点一 • IPVS 对conntrack的功能依赖 • Iptables SNAT • 具体如何绕过conntrack？ • 进报文 • 将处理请求的钩子从nf