 Curve质量监控与运维 - 网易数帆9/33新代码提交 Dailybuild测试 提交issue 开发设计 提交PR review +1 CI测试(编译、静态检 查、单元测试、集成测 试、覆盖率80%卡点) 合入master 分支 代码提交流程 异常自动化 测试 混沌测试 (每周一次) CI测试(编译、静态检 查、单元测试、集成测 试、覆盖率80%卡点) 邮件通知 Curve所有代码均在github托管。新 代码需要通过CI测试和code 易升级 • 客户端采用CS架构,升级只需重启服务,秒级影响 • MDS与ChunkServer支持滚动升级 自治 • 自动均衡 • 自动故障恢复 27/33易部署 准备安装 包 配置用户 配置SSH 免密 安装 ansible 配置Ansible 执行 ansible 确认集群 状态 28/33易升级  Client易升级 为避免Curve client升级影响QEMU,Curve0 码力 | 33 页 | 2.64 MB | 6 月前3 Curve质量监控与运维 - 网易数帆9/33新代码提交 Dailybuild测试 提交issue 开发设计 提交PR review +1 CI测试(编译、静态检 查、单元测试、集成测 试、覆盖率80%卡点) 合入master 分支 代码提交流程 异常自动化 测试 混沌测试 (每周一次) CI测试(编译、静态检 查、单元测试、集成测 试、覆盖率80%卡点) 邮件通知 Curve所有代码均在github托管。新 代码需要通过CI测试和code 易升级 • 客户端采用CS架构,升级只需重启服务,秒级影响 • MDS与ChunkServer支持滚动升级 自治 • 自动均衡 • 自动故障恢复 27/33易部署 准备安装 包 配置用户 配置SSH 免密 安装 ansible 配置Ansible 执行 ansible 确认集群 状态 28/33易升级  Client易升级 为避免Curve client升级影响QEMU,Curve0 码力 | 33 页 | 2.64 MB | 6 月前3
 BazelCurve 编译 Curve bazel 编译分享 程义 - 存储计算部 2022 年 11 月 11 日 C ur v e1 升级 bazel 到 4.2.2 2 支持 Debian9 、 Debian10 、 Debian11 3 支持 gcc clang 更新内容 Curve1 编译 Debian11-Dockerfile .bazelrc :build-debian11 cd /curve/ # 使用 gcc 编译 bazel build –config=gcc7-later … # use '-faligned-new' to enable C++17 over-aligned new support # 使用 clang 编译 CC=clang CXX=clang++ bazel build …2 制作镜像 com/curve/curvefs:chengyi01-debian113 修改 & 单元测试 curvefs/test/tools/curvefs_version_tool_test.cpp # 使用 clang 编译 CC=clang CXX=clang++ bazel build curvefs/...THANK YOU0 码力 | 6 页 | 4.69 MB | 6 月前3 BazelCurve 编译 Curve bazel 编译分享 程义 - 存储计算部 2022 年 11 月 11 日 C ur v e1 升级 bazel 到 4.2.2 2 支持 Debian9 、 Debian10 、 Debian11 3 支持 gcc clang 更新内容 Curve1 编译 Debian11-Dockerfile .bazelrc :build-debian11 cd /curve/ # 使用 gcc 编译 bazel build –config=gcc7-later … # use '-faligned-new' to enable C++17 over-aligned new support # 使用 clang 编译 CC=clang CXX=clang++ bazel build …2 制作镜像 com/curve/curvefs:chengyi01-debian113 修改 & 单元测试 curvefs/test/tools/curvefs_version_tool_test.cpp # 使用 clang 编译 CC=clang CXX=clang++ bazel build curvefs/...THANK YOU0 码力 | 6 页 | 4.69 MB | 6 月前3
 Curve核心组件之snapshotclone初始状态; • 正在安装元数据或拷贝数据中; • 用户不可见。 Cloning: • 元数据安装成功; • Lazy方式下可见,用户可用; • 非Lazy不可见。 MetaInstalled: • 数据拷贝完成; • 可提供所有服务。 Cloned:LAZY 克隆 Lazy克隆 较快,秒级克隆: MetaInstalled状态可用,即完成元数据安装,就 从临时目录rename,用户可见。 适用于从镜像快速创建云主机场景 非Lazy克隆 较慢,分钟级: Cloned状态可用,即完成整个数据克隆,才从临 时目录rename,用户才可见。 无Lazy Alloc chunk: 安装元数据时即分配好chunk。 无额外接口: 无需Flatten接口。 适用场景: 适用于从云主机或快照创建镜像CHUNKSERVER端克隆实现-CHUNKFILE 字段 类型 说明 version0 码力 | 23 页 | 1.32 MB | 6 月前3 Curve核心组件之snapshotclone初始状态; • 正在安装元数据或拷贝数据中; • 用户不可见。 Cloning: • 元数据安装成功; • Lazy方式下可见,用户可用; • 非Lazy不可见。 MetaInstalled: • 数据拷贝完成; • 可提供所有服务。 Cloned:LAZY 克隆 Lazy克隆 较快,秒级克隆: MetaInstalled状态可用,即完成元数据安装,就 从临时目录rename,用户可见。 适用于从镜像快速创建云主机场景 非Lazy克隆 较慢,分钟级: Cloned状态可用,即完成整个数据克隆,才从临 时目录rename,用户才可见。 无Lazy Alloc chunk: 安装元数据时即分配好chunk。 无额外接口: 无需Flatten接口。 适用场景: 适用于从云主机或快照创建镜像CHUNKSERVER端克隆实现-CHUNKFILE 字段 类型 说明 version0 码力 | 23 页 | 1.32 MB | 6 月前3
 副本如何用CLup管理PolarDBSQL功能http://www.csudata.com │中启乘数科技(杭州)有限公司 数据赋能│价值创新 Clup管理界面-在Web界面中管理数据库-9- @ PolarDB环境准备创建PolarDB的要求  安装要求 需要有共享盘:盘的大小需要大于等于20GB CLup的高可用需要VIP 操作系统:CentOS7.X 盘要求有路径:/dev/nvmeXnY  机器需求 4台虚拟机器或物理机 创建虚拟机的时候选中的盘都不是共享盘,必须在创建完 虚拟机后,在单独添加共享盘创建PolarDB需要的阿里云环境 安装依赖包: * libaio.x86_64 libaio-devel.x86_64 * libicu.x86_64 libicu-devel.x86_64 安装方法: yum install libaio.x86_64 libaio- devel.x86_64 libicu.x86_640 码力 | 34 页 | 3.59 MB | 6 月前3 副本如何用CLup管理PolarDBSQL功能http://www.csudata.com │中启乘数科技(杭州)有限公司 数据赋能│价值创新 Clup管理界面-在Web界面中管理数据库-9- @ PolarDB环境准备创建PolarDB的要求  安装要求 需要有共享盘:盘的大小需要大于等于20GB CLup的高可用需要VIP 操作系统:CentOS7.X 盘要求有路径:/dev/nvmeXnY  机器需求 4台虚拟机器或物理机 创建虚拟机的时候选中的盘都不是共享盘,必须在创建完 虚拟机后,在单独添加共享盘创建PolarDB需要的阿里云环境 安装依赖包: * libaio.x86_64 libaio-devel.x86_64 * libicu.x86_64 libicu-devel.x86_64 安装方法: yum install libaio.x86_64 libaio- devel.x86_64 libicu.x86_640 码力 | 34 页 | 3.59 MB | 6 月前3
 TGT服务器的优化支持复杂的存储系统,例如ceph rbd, sheepdog, glfs • 纯C代码,外加一些脚本 • 完整的源代码和维护工具、手册 • 编写IO驱动比较容易,容易扩展支持新的存储系统 • 代码独立,容易编译、调试、修改,适应性强让TGT支持curve • 编写curve驱动,底层异步提交I/O,pipeline • 利用NEBD PART 1接口,需要与nebdserver运行在同一台机器 •0 码力 | 15 页 | 637.11 KB | 6 月前3 TGT服务器的优化支持复杂的存储系统,例如ceph rbd, sheepdog, glfs • 纯C代码,外加一些脚本 • 完整的源代码和维护工具、手册 • 编写IO驱动比较容易,容易扩展支持新的存储系统 • 代码独立,容易编译、调试、修改,适应性强让TGT支持curve • 编写curve驱动,底层异步提交I/O,pipeline • 利用NEBD PART 1接口,需要与nebdserver运行在同一台机器 •0 码力 | 15 页 | 637.11 KB | 6 月前3
 BRPC与UCX集成指南Channel远程调用的发起21 UCX ●NVIDIA Mellanox 开源项目 ●支持RDMA,TCP,Shared memory等 ●能透明支持多个链路传输,例如多网卡bond ●编译成.so或lib的方式,可以集成到应用程序里 ●有完善的配置功能,ucx_info可以dump配置信息 ●有性能测试工具 ●比较详细的文档2223 UCS ●是一些工具代码,例如 –链表0 码力 | 66 页 | 16.29 MB | 6 月前3 BRPC与UCX集成指南Channel远程调用的发起21 UCX ●NVIDIA Mellanox 开源项目 ●支持RDMA,TCP,Shared memory等 ●能透明支持多个链路传输,例如多网卡bond ●编译成.so或lib的方式,可以集成到应用程序里 ●有完善的配置功能,ucx_info可以dump配置信息 ●有性能测试工具 ●比较详细的文档2223 UCS ●是一些工具代码,例如 –链表0 码力 | 66 页 | 16.29 MB | 6 月前3
 Curve核心组件之chunkserverCliService。成员变更相关操作 • CopySetService。创建copyset等操 作 • RaftService。Braft内置的service, 完成raft成员之间的选举,日志复制, 安装快照等操作。 ChunkServer架构CopysetNode封装了braft的Node,并 实现了braft的状态机,完成与raft的交 互。详细交互流程后面展开。 CopysetNodeManager负责管理0 码力 | 29 页 | 1.61 MB | 6 月前3 Curve核心组件之chunkserverCliService。成员变更相关操作 • CopySetService。创建copyset等操 作 • RaftService。Braft内置的service, 完成raft成员之间的选举,日志复制, 安装快照等操作。 ChunkServer架构CopysetNode封装了braft的Node,并 实现了braft的状态机,完成与raft的交 互。详细交互流程后面展开。 CopysetNodeManager负责管理0 码力 | 29 页 | 1.61 MB | 6 月前3
 CurveFs 用户权限系统调研Identify) GID(Group Identity) 超级用户: UID:0 默认是root用户,UID为0的用户为超级用户, 虚拟用户: UID:1~499 与真实普通用户区分开来,这类用户最大的特点是安装系统后默认就会存在,且默认情况大多数不能登录系统 普通用户: UID:500~65535 具备系统管理员root的权限的运维人员添加的,权限很小,一般用sudo管理提权 用户和用户组的关系: 一对一、一对多、多对一、多对多0 码力 | 33 页 | 732.13 KB | 6 月前3 CurveFs 用户权限系统调研Identify) GID(Group Identity) 超级用户: UID:0 默认是root用户,UID为0的用户为超级用户, 虚拟用户: UID:1~499 与真实普通用户区分开来,这类用户最大的特点是安装系统后默认就会存在,且默认情况大多数不能登录系统 普通用户: UID:500~65535 具备系统管理员root的权限的运维人员添加的,权限很小,一般用sudo管理提权 用户和用户组的关系: 一对一、一对多、多对一、多对多0 码力 | 33 页 | 732.13 KB | 6 月前3
共 8 条
- 1













