C u r v e 质 量 、 监 控 与 运 维 秦 亦 1/33背景 01 02 03 04 Curve质量控制 Curve监控体系 Curve运维体系Curve 是网易针对块存储、对象存储、云原生数据库、EC等 多种场景自研的分布式存储系统：  高性能、低延迟  当前实现了高性能块存储，对接OpenStack和 K8s  网易内部线上无故障稳定运行近两年  已完整开源 需要利用科学的方法论和专业的工具，在整个 软件生命周期内更好地为用户服务：  质量——向用户交付稳定可靠的软件；  监控——直观地展示Curve运行状态；  运维——保障Curve始终稳定高效运行。 质量 ✓ 质量管理体系（设计、开发、review、CI） ✓ 测试方法论（单元测试、集成测试、系统测试） 监控 ✓ 监控架构 ✓ 指标采集、后端处理、可视化展示 运维 ✓ 运维特性 （易部署、易升级、自治） （易部署、易升级、自治） ✓ 运维工具（部署工具、管理工具） 4/33背景 01 02 03 04 Curve质量控制 Curve监控体系 Curve运维体系软件质量 软件质量的定义是：软件与明确地和隐含地定义的需求相一致的程度。 为了确保最终交付的软件满足需求，必须将质量控制贯穿于设计、开发到测试的整个流程中。 设计  设计流程  文档规范 开发  编码规范与提交流程  版本管理

github、官网、钉钉、微信、B站、知乎、csdn、... • 峰会 • 大咖说.对话开源 • meetup • 荣誉墙 技能栏目: 3万/场 曝光流量 影响力栏目: up 500万/场 曝光流量 竞技栏目: 100万/场 曝光流量 • SIG • Issue 开源代码协作 • 理事会 • 人才发展委员会 • 技术委员会 开源社区治理 • 联合解决方案|产品 • OxM发型版

MDS、Snapshotcloneserver 通过 etcd 选主，实现高可用高可用 chunkserver 使用raft，2N + 1 个副本允许 N 副本异常自治 • 自动故障恢复 • 多对多，恢复时间短 • 精确的流量控制，对io几乎无影响自治 • 集群负载和资源均衡 • leader copyset scatter-width • 无需人工干预 • 对io影响几乎无影响易运维 • 升级秒级影响 • 客户端采用CS架构

减少复制组数量：如果一个数据节点存在 256K个复制组，复制组的内存资源占用将会非常恐怖；复制组之 间的通信将会非常复杂，例如复制组内Primary给Secondary定期发送心跳进行探活，在256K个复制组的情况 下，心跳的流量将会非常大；而引入CopySet的概念之后，可以以CopySet的粒度进行探活、配置变更，降低 开销。 3. 提高数据可靠性：在数据复制组过度打散的情况下，在发生多个节点同时故障的情况下，数据的可靠性会受

6· 销售 物 理 工 序 模 型 导 图 原料 废钢 烧结 球团 焦化 炼铁 炼钢 精炼 连铸 热轧 冷轧 销售 • 料场环境实时监控 • 人员越界安全监测 • 回转窑窑况智能分 析 • 原料无人天车吊装 控制 • 生产现场运输状态 监控 • 现场路线智能调度 • 智能化能源调度 • 料场智能调度 • 燃料水分视觉分析 • 多角度废钢图像 采集 • 废钢智能定级 • 生产现场动作远程控制 • 焦化现场生产安全态势 感知与预警 • 部署打滑预测分析 • 能源计划 • 炼焦煤分级调湿工艺稳 定协调控制 • 危险物识别 • 人员安全监测 • 高炉料面温度检测 • 高炉料面可视化监控 • 炉顶布料效果评定 • 远程换钎 • 中间产品无人天车吊装 控制 • 废品无人天车吊装控制 • 铁水质量预报 • 高炉温度分布 • 高炉燃料比监测 • 高炉精准出铁预测 • 高炉炉况诊断 • ·计算最佳工艺参数 • 炼钢工序物料属性检测 • ·精炼钢水温度连续测量 • 炼钢设备远程监控及故障 诊断 • ·转炉炉体缺陷检测 • 钢水液面检测 • 钢包水口位置定位 • 钢包顶升高度预测 • 钢包吊钩姿态监测 • 钢包温度远程智能监测 • 炼钢工序物料属性检测 • ·精炼钢水温度连续测量 • 炼钢设备远程监控及故障诊断 • 转炉炉体缺陷检测 • 钢水液面检测 • 钢包水口位置定位

5.1 事件一先发生 4.2.5.2 事件二先发生 4.2.6 异常情况4：Etcd集群的follower节点异常 4.2.7 各情况汇总 1. 需求 mds是元数据节点，负责空间分配，集群状态监控，集群节点间的资源均衡等，mds故障可能会导致client端无法写入。 因此，mds需要做高可用。满足多个mds, 但同时只有一个mds节点提供服务，称该提供服务的mds节点为主，等待节点为备；主 ②定期去etcd server中get leader/MDS1，看是否还存在。这里涉及到定期get的时间 PeriodicGetTime， 以及get超时的时间 GetTimeout ③使用Observe监控指定前缀的key的最小版本的变化情况。© XXX Page 19 of 30 1. 2. 1. 该部分涉及到的参数说明： 参数 说明 当前配置 ElectionTimeout mds2当选leader之后，同样与etcd server有三类交互： ①与etcd server维持租约。 ②定期去etcd server中get leader/MDS2，看是否还存在。 ③使用Observe监控指定前缀的key的最小版本的变化情况。© XXX Page 21 of 30 1. 2. 3. 1. 2. 1. 4.2.3 异常情况2：Etcd集群的lea

 PostgreSQL/PolarDB集群统一管理、统一运 维。  PostgreSQL/PolarDB集群可以用功能（即故 障自动切换）  实现对PostgreSQL/PolarDB的监控管理  对PostgreSQL/PolarDB的TopSQL的管理  架构说明  有一台机器上部署的CLup管理节点，这个管 理节点提供WEB管理界面统一管理所有的 PostgreSQL/PolarDB数据库。 数据同步复制 写请求 读请求 应用层 负载均衡器 CLup高可用及读写分离功能http://www.csudata.com │中启乘数科技（杭州）有限公司 数据赋能│价值创新 Clup管理界面-性能监控http://www.csudata.com │中启乘数科技（杭州）有限公司 数据赋能│价值创新 CLUP TOP SQL功能http://www.csudata.com │中启乘数科技（杭州）有限公司

write(offset, len) •服务质量要求：数据不能丢、服务随时可用、弹性扩缩容 要什么 •成百上千台存储节点 •磁盘故障、机器故障、网络故障概率性发生 有什么 分布式存储系统需要满足接口需求，并且有持续监控、错误检测、容错与自动恢复的能力 以达到高可靠、高可用、高可扩分布式存储的要素 要 素 拆 解 数据分布 —— 无中心节点/中心节点 均 衡 地址空间的每段数据会分布在不同机器的磁盘上，如 Curve Ceph 加盘 对IO无影响 秒级io影响 服务端升级 对IO无影响 重启管控面IO无影响，重启osd io秒级影响 客户端升级 热升级，秒级抖动 不支持热升级，需要业务停服 集群监控 丰富的metric metric类型较少主要亮点 — 更稳定 异常场景 Curve Ceph 坏盘 基本无抖动 无明显抖动 慢盘 io持续抖动，但util未100% io持续抖动，util持续100%

策有重大影响时，做好解释说明预案。 （e）服务提供者应检查研发者提供的责任说明文件，确保责任链条可以 追溯到递归采用的人工智能模型。 （f）服务提供者应提高人工智能风险防范意识，建立健全实时风险监控 管理机制，持续跟踪运行中安全风险。 （g）服务提供者应评估人工智能产品与服务在面临故障、攻击等异常条 件下抵御或克服不利条件的能力，防范出现意外结果和行为错误，确保最低限 度有效功能。 加密技术等保护措施。 （h）重点领域使用者应对人工智能行为和影响进行有效监督，确保人工 智能产品和服务的运行基于人的授权、处于人的控制之下。 （i） 重点领域使用者应避免完全依赖人工智能的决策，监控及记录未采 纳人工智能决策的情况，并对决策不一致进行分析，在遭遇事故时具备及时切 换到人工或传统系统等的能力。 6.4 社会公众安全应用指引 （a）社会公众应提高对人工智能产品安全风险的认识，选择信誉良好的

GETATTR流程 • ⽂件读取流程 • 相关⼯作 • extFUSE • google android12 passthrough什么是eBPF • ebpf是不同环境下内核配置， 调试，监控⼯具 • map映射 • 验证器 • Hook • Helper api配置TCP Initial RTO • 场景 内核4.12之前 initial RTO是⼀个常数1s •