© XXX Page 1 of 30 Curve元数据节点高可用© XXX Page 2 of 30 1. 需求 2. 技术选型 3. etcd clientv3的concurrency介绍 3.1 etcd clientV3的concurrency模块构成 3.2 Campaign的流程 3.2.1 代码流程说明 3.2.2 举例说明Campagin流程 3.3 Observe的流程 Etcd集群与MDS1(当前leader)出现网络分区 4.2.5.1 事件一先发生 4.2.5.2 事件二先发生 4.2.6 异常情况4：Etcd集群的follower节点异常 4.2.7 各情况汇总 1. 需求 mds是元数据节点，负责空间分配，集群状态监控，集群节点间的资源均衡等，mds故障可能会导致client端无法写入。 因此，mds需要做高可用。满足多个mds, 但同时只有一个mds节点提供服务，称该提供服务的 的就是zookeeper和etcd, 考虑当前系统中mds有两个外部依赖模块，一是mysql， 用于存储集群拓扑的相关信息；二是etcd，用于存储文件的元数据信息。而etcd可以用于实现mds高可用，没必要引入其他组件。 使用etcd实现元数据节点的leader主要依赖于它的两个核心机制: TTL和CAS。TTL(time to live)指的是给一个key设置一个有效期，到期后key会被自动删

云+社区技术沙龙 冲上云霄—腾讯海量业务上云实践 腾讯云高级工程师 黄宏东 自我介绍 ⚫ 业务开发出身的运维 ⚫ 先后在腾讯负责游戏、安全、医疗类业务运维 ⚫ 经历数年业务爆量、成本优化、业务上云、智能运维等重点项目 ⚫ 目前负责腾讯自研业务的运维与上云工作 01 腾讯业务为什么要上云 02 业务上云的价值 03 如何上云 目录 04 上云案例分享 腾讯业务为什么要上云 “烟囱式”的业务支持体系 幸福的烦恼 ⚫ 重复造轮子，每个部门一套轮子 ⚫ 缺乏统一规范，包括开源代码在内 Bug 多 ⚫ 开源文化落后，共享精神差，很多基础框架没有内部开源 ⚫ 技术支持不足，文档陈旧 ⚫ 数据技术不互通，部门间代码相互封闭，跟业界缺乏交流 ⚫ 缺乏维护，越来越多的历史遗留组件 ⚫ 没有技术图谱 2018年930变革 开源协同 自研上云 代码开源 相互协同 基于公有云模式研发 性能测试 数据备份 云上部署 业务验证 效果评估 问题优化 正式上云 运营维护 上云各环节注意点 业务上云 测试 方案 迁移 混合 质量 功能、性能测试，云上云下对比 安全、容量、难度、风险、数据 接入服务、逻辑服务、数据存储、文件存储 混合云过度到全量公有云 服务调用质量、用户访问质量、 服务可用率 数据上公有云 • 冷迁移+增量 •同步中心数据同步 •切换过程停写

of 24 Curve文件系统元数据管理（已实现）© XXX Page 2 of 24 1. 2. 3. 4. Inode 1、设计一个分布式文件系统需要考虑的点： 2、其他文件系统的调研总结 3、各内存结构体 4、curve文件系统的元数据内存组织 4.1 inode定义： 4.2 dentry的定义： 4.3 内存组织 5 元数据分片 5.1 分片方式一：in 1、设计一个分布式文件系统需要考虑的点： 文件系统的元数据是否全缓存？ 元数据持久化在单独的元数据服务器上？在磁盘上？在volume上？ inode+dentry方式？当前curve块存储的kv方式？ 是否有单独的元数据管理服务器？ 2、其他文件系统的调研总结 fs 中心化元数据 内存namespace元数据 内存空间分配元数据 元数据持久化 元数据扩展 小文件优化 空间管理单位 数据持久化 其他© XXX Page moosefs（mfs） 有元数据服务器 全内存 fsnode → hashtable(inode id) fsedge → hashtable (parent inode + name) 全内存 chunk → hashtable(chunk id) log + dump record 差 否 chunk 链式多副本 overwirte有数据不一致风险 chubaofs（cfs） 有元数据服务器 inode

© XXX Page 1 of 9 Curve支持S3 数据缓存方案© XXX Page 2 of 9 版本 时间 修改者 修改内容 1.0 2021/8/18 胡遥 初稿 背景 整体设计 元数据采用2层索引 对象名设计 读写缓存分离 缓存层级 对外接口 后台刷数据线程 本地磁盘缓存 关键数据结构 详细设计 Write流程 Read流程 ReleaseCache流程 基于s3的daemon版本基于基本的性能测试发现性能非常差。具体数据如下： 通过日志初步分析有2点原因© XXX Page 3 of 9 1.append接口目前采用先从s3 get，在内存中合并完后再put的方式，对s3操作过多 2.对于4k 小io每次都要和s3交互，导致性能非常差。 因此需要通过Cache模块解决以上2个问题。 整体设计 整个dataCache的设计思路，在写场景下能将数据尽可能的合并后flush到s3 读场景上，能够预读1个block大小，减少顺序读对于底层s3的访问频次。从这个思路上该缓存方案主要针对的场景是顺序写和顺序 读，而对于随机写和随机读来说也会有一定性能提升，但效果可能不会太好。 元数据采用2层索引 由于chunk大小是固定的（默认64M），所以Inode中采用map s3ChunkInfoMap用于保存对象存储的位置信息。采用2

© XXX Page 1 of 15 curve文件系统元数据proto（代码接口定义，已实现）© XXX Page 2 of 15 1、代码结构和代码目录 curve文件系统是相对于curve块设备比较独立的一块，在当前curve项目的目录下，增加一个一级目录curvefs，curvefs下有自己独立的proto\src\test。 2、文件系统proto定义 2.1 mds.proto

1 of 3 curvefs s3数据整理(合并碎片、清理冗余)© XXX Page 2 of 3 1. 2. 3. 1. 2. 3. 4. 5. 6. 1. 2. 背景 只考虑单客户端, 单metaserver 为了解决的问题: 客户端在对一个文件的某个部分多次写入后, 同一个chunk会产生很多版本数据; 而客户端在读的时候, 会需要对这些chunk进行筛选和构建 会需要对这些chunk进行筛选和构建, 得到有效的部分, 越是散乱的状态, 就越需要发送更多次读请求至s3. 最后导致无效旧数据的堆积和读请求性能的下降, 所以需要在合适的时候进行重叠元数据和数据的合并 原则是尽力而为, 并不能做到完美 方案 基于一下3个基础的数据结构, 2层索引 s3chuninfolist[index] = [s3chunkinfo(s)] s3chunkinfo { } s3 object命名: chunkid_version_index (index为obj在chunk内的index) 执行步骤 数据整理作为一个后台服务(线程池), 运行于metaserver, 遍历metaserver的inode进行数据整理的尝试, 入队inodekey, 如果是已有inode任务, enqueue直接返回, 不入队 任务开始执行, 尝试根据inodekey获取inode信息

© XXX Page 1 of 12 元数据持久化© XXX Page 2 of 12 前言 Raft Log Raft Snapshot 持久化文件 key_value_pairs 其他说明 实现 1、inode、entry 的编码 2、KVStore Q&A 单靠 redis 的 AOF 机制能否保证数据不丢失? redis 的高可用、高可扩方案？ redis + muliraft 存在的问题？ redis 改造 vs 自己实现? redis 中哈希表实现的优点？ 参考 前言 根据之前讨论的结果，元数据节点的架构如下图所示，这里涉及到两部分需要持久化/编码的内容： Raft Log：记录 operator log Raft Snapshot：将内存中的数据结构以特定格式 dump 到文件进行持久化© XXX Page 3 of 12 Raft Log +------+- -----------+---------+ 持久化文件 字段 字节数 说明 CURVEFS 7 magic number（常量字符 "CURVEFS"），用于标识该文件为 curvefs 元数据持久化文件 version 4 文件版本号（当文件格式变化时，可以 100% 向后兼容加载旧版持久化文件） size 8 键值对数量 key_value_pairs / 键值对（当 size 为

15.服务数据的定义与使用 主 讲 人 ： 古 月 服务模型 自定义服务数据 ➢ ➢ message_generation message_runtime ➢ • find_package( …… message_generation) • add_service_files(FILES

JumpServer 堡垒机⼀体机及信创⽅案 3 5 为什么要使⽤堡垒机？ - 以更安全的⽅式管控和登录各种类型的资产 - 系统管理员 外包⼈员 普通⽤户 临时访客 运维资产集 服务器 ⽹络设备 数据库 安全设备 事前授权 事中监察 事后审计 管理者期望 堡垒机的 4A 能⼒ 堡垒机 身份鉴别 Authentication 授权控制 Authorization 安全审计 Auditing 全等级要求很⾼，堡垒机是提⾼其安全合规⽔平的必备选择。 服务业 传统服务⾏业，以及包括了物流交通⾏业在内的、依托于信息技术发展演进的现代服务业，普遍具有分布式基础设施的安全 管控需求，同时需要兼顾海量资产的纳管和⾼可⽤，堡垒机是其必备的 IT 安全组件。 互联⽹ 互联⽹⾏业拥有⼤量的异构云资产，并持续追求 IT 系统运维的安全和⾼效，是堡垒机⼀直以来的忠实⽤户群体。 医疗医药 医疗医药⾏业的信息化⽔平呈现⾼速发展的态势，IT 堡垒机的能⼒范围 身份鉴别 授权控制 账号管理 安全审计 站内信 邮箱 企业微信 钉钉 ⼯单 通知 / 审批 LDAP 对象存储 ⽇志存储 … Linux Windows ⽹络设备 数据库 Web 虚拟应⽤ … 基础设施 使⽤者 服务 Https API SSH Client … KMS JumpServer 提供的堡垒机必备功能 身份验证 Authentication

Ø 2014年加入爱奇艺，主导了CDN数据平台、CDN调度平台、CDN运维平台研发上线， 目前负责CDN相关产品开发和运维工作 01 爱奇艺CDN概况 02 运维痛点分析 03 运维平台架构设计 04 平台应用&实践 05 总结&展望 目录 01 爱奇艺CDN概况 数据增长趋势 节点分层策略 CDN 节点特点 爱奇艺CDN数据增长趋势 2014 2019 2015 2018 可连通性弱 变更频繁 02 运维痛点总结 软件配置管理 运维数据统计 CDN设备管理 运维痛点 – 软件配置 连通性 不可保证 状态 不可预知 周期 不可预估 运维痛点 – 数据统计 实时性差 迭代低效 开发繁琐 CNC CT CMNET GWBN SCC IPTV 收集代理 HDFS 数据统计、展示 SSH-Based-Tools 运维痛点 – 设备管理 依赖合作商网络情况 Ø 缺点: 配置复杂、登录 管理复杂，不稳定 运维痛点小结 Ø 软件配置 l 配置任务状态不可控 l 连通性不可靠 l 日常软件、配置升级不可控 l 一些案例: Ø 数据统计 l 实时性差 l 迭代效率低 l 开发繁琐 Ø 设备管理 03 运维平台设计 架构演进大事记 整体架构设计 通用代理服务集群设计(Promise) 运维任务模型设计 应用配置管理