 CurveFS rename 接口实现方案© XXX Page 1 of 15 rename 接口实现方案(已实现,选用方案二)© XXX Page 2 of 15 1. 2. 3. 4. 1. 2. 1. 3. 1. 2. 背景 方案调研 Chubaofs Juicefs 方案实现 方案一:chubaofs 方案二:事务方案 方案三:利用 KV 自带的分布式事务 Q&A 1 2:rename A→C (A 存在,而 C 存在) 4. 当 2 个操作的 dentry 属于同一个 copyset 有什么不一样? 背景 当前 curvefs 并没有实现 rename 接口,本文档是对 rename 接口实现的调研及方案设计。 rename 操作,主要操作的是 dentry,如 rename /dir1/file1 /dir2/file2,主要有 2 个步骤:(1) 删除 file1 file1 的 dentry,(2) 增加 file2 的 dentry(该 dentry 的 inodeid 等同 file1 的 inode id)。 关于 rename 接口的实现,主要调研了 chubaofs 和 juicefs,而 rename 的实现难点主要在于其原子性的保证。 方案调研 Chubaofs chubaofs 中的 rename 实现不是原子性的,它是通 用创建源文件的硬0 码力 | 15 页 | 555.93 KB | 6 月前3 CurveFS rename 接口实现方案© XXX Page 1 of 15 rename 接口实现方案(已实现,选用方案二)© XXX Page 2 of 15 1. 2. 3. 4. 1. 2. 1. 3. 1. 2. 背景 方案调研 Chubaofs Juicefs 方案实现 方案一:chubaofs 方案二:事务方案 方案三:利用 KV 自带的分布式事务 Q&A 1 2:rename A→C (A 存在,而 C 存在) 4. 当 2 个操作的 dentry 属于同一个 copyset 有什么不一样? 背景 当前 curvefs 并没有实现 rename 接口,本文档是对 rename 接口实现的调研及方案设计。 rename 操作,主要操作的是 dentry,如 rename /dir1/file1 /dir2/file2,主要有 2 个步骤:(1) 删除 file1 file1 的 dentry,(2) 增加 file2 的 dentry(该 dentry 的 inodeid 等同 file1 的 inode id)。 关于 rename 接口的实现,主要调研了 chubaofs 和 juicefs,而 rename 的实现难点主要在于其原子性的保证。 方案调研 Chubaofs chubaofs 中的 rename 实现不是原子性的,它是通 用创建源文件的硬0 码力 | 15 页 | 555.93 KB | 6 月前3
 CloudExplorer 3.0 管理员手册v1.2Network,SDN)是由美国斯坦福大 学 clean-slate 课题研究组提出的一种新型网络创新架构,是网络虚拟化的 一种实现方式。是当前最热门的网络技术之一,是私有云和公有云相比虚 拟化平台先进的一个部分就是 SDN,它能够解放网络管理中的手工操作, 减少配置错误,易于统一快速部署。其核心技术 OpenFlow 通过将网络设 备的控制面与数据面分离开来,从而实现了网络流量的灵活控制,使网络 作 参数选项范围、默认值以及 在申请侧和管理侧是否可见选项及是否可修改。 中间件 中间件是介于应用系统和系统软件之间的一类软件,它使用系统软件所提 供的基础服务(功能),衔接网络上应用系统的各个部分或不同的应用, 能够达到资源共享、功能共享的目的。目前,它并没有很严格的定义,但 是普遍接受 IDC 的定义:中间件是一种独立的系统软件服务程序,分布式 应用软件借助这种软件在不同的技术之间共享资源,中间件位于客户机服 所示,可展开门户功能菜单,如图 2-3 所示。 杭州飞致云信息科技有限公司 18 图 2-2 门户菜单入口 图 2-3 门户功能菜单 杭州飞致云信息科技有限公司 19 门户功能菜单中每块(下图方形边框部分示例)均为一个模块服务,比如管理中心、虚 拟机服务、账单中心、运营分析、数据库服务、负载均衡服务等。可以方便地从中选择进 入模块门户功能页面。 图 2-4 模块服务 门户功能菜单的菜单项可以在角色的权限中进行授权配置,如图0 码力 | 308 页 | 0 Bytes | 1 年前3 CloudExplorer 3.0 管理员手册v1.2Network,SDN)是由美国斯坦福大 学 clean-slate 课题研究组提出的一种新型网络创新架构,是网络虚拟化的 一种实现方式。是当前最热门的网络技术之一,是私有云和公有云相比虚 拟化平台先进的一个部分就是 SDN,它能够解放网络管理中的手工操作, 减少配置错误,易于统一快速部署。其核心技术 OpenFlow 通过将网络设 备的控制面与数据面分离开来,从而实现了网络流量的灵活控制,使网络 作 参数选项范围、默认值以及 在申请侧和管理侧是否可见选项及是否可修改。 中间件 中间件是介于应用系统和系统软件之间的一类软件,它使用系统软件所提 供的基础服务(功能),衔接网络上应用系统的各个部分或不同的应用, 能够达到资源共享、功能共享的目的。目前,它并没有很严格的定义,但 是普遍接受 IDC 的定义:中间件是一种独立的系统软件服务程序,分布式 应用软件借助这种软件在不同的技术之间共享资源,中间件位于客户机服 所示,可展开门户功能菜单,如图 2-3 所示。 杭州飞致云信息科技有限公司 18 图 2-2 门户菜单入口 图 2-3 门户功能菜单 杭州飞致云信息科技有限公司 19 门户功能菜单中每块(下图方形边框部分示例)均为一个模块服务,比如管理中心、虚 拟机服务、账单中心、运营分析、数据库服务、负载均衡服务等。可以方便地从中选择进 入模块门户功能页面。 图 2-4 模块服务 门户功能菜单的菜单项可以在角色的权限中进行授权配置,如图0 码力 | 308 页 | 0 Bytes | 1 年前3
 Zadig 产品使用手册)、数 据变更、部署、冒烟测试、项目管理任务 变更 测试工程师 更新测试验证环境 project-sit-workflow • 构建、配置变更( Apollo/Nacos )、数 据变更、部署、接口测试 更新集成测试环境 project-auto-sit-workflow • 构建,部署,场景测试 发布工程师 更新预发环境 project-uat-workflow • 质量门禁、构建、配置变更( 变更发布 产品规划 需求开发 服务的调试——调整副本数量 / 重启实例 Sprint 发布 测试验证 变更发布 产品规划 测试集管理—— GitLab 仓库管理 支持冒烟测试 / 接口测试 /UI 测试 / 场景测试 / 性能测试等 1. 本地编写测试脚本并针对 sit 环境本地自测 2. 没问题后提交到 GitLab 仓库 测试验证 Sprint 发布 需求开发 变更发布 安全扫描 ->IM 通知 Sprint 发布 需求开发 变更发布 产品规划 测试验证 sit 发布——执行 sit 工作流更新环境进行集成验证 包括步骤:构建 -> 部署 sit 环境 -> 接口测试 -> IM 通知 Sprint 发布 需求开发 变更发布 产品规划 测试验证 自动化测试——测试结果分析 Sprint 发布 需求开发 变更发布 产品规划 测试验证 uat0 码力 | 52 页 | 22.95 MB | 1 年前3 Zadig 产品使用手册)、数 据变更、部署、冒烟测试、项目管理任务 变更 测试工程师 更新测试验证环境 project-sit-workflow • 构建、配置变更( Apollo/Nacos )、数 据变更、部署、接口测试 更新集成测试环境 project-auto-sit-workflow • 构建,部署,场景测试 发布工程师 更新预发环境 project-uat-workflow • 质量门禁、构建、配置变更( 变更发布 产品规划 需求开发 服务的调试——调整副本数量 / 重启实例 Sprint 发布 测试验证 变更发布 产品规划 测试集管理—— GitLab 仓库管理 支持冒烟测试 / 接口测试 /UI 测试 / 场景测试 / 性能测试等 1. 本地编写测试脚本并针对 sit 环境本地自测 2. 没问题后提交到 GitLab 仓库 测试验证 Sprint 发布 需求开发 变更发布 安全扫描 ->IM 通知 Sprint 发布 需求开发 变更发布 产品规划 测试验证 sit 发布——执行 sit 工作流更新环境进行集成验证 包括步骤:构建 -> 部署 sit 环境 -> 接口测试 -> IM 通知 Sprint 发布 需求开发 变更发布 产品规划 测试验证 自动化测试——测试结果分析 Sprint 发布 需求开发 变更发布 产品规划 测试验证 uat0 码力 | 52 页 | 22.95 MB | 1 年前3
 Zadig 产品使用手册构建、配置变更(Apollo/Nacos)、数据 变更、部署、冒烟测试、项目管理任务变 更 测试工程师 更新测试验证环境 project-sit-workflow • 构建、配置变更(Apollo/Nacos)、数据 变更、部署、接口测试 更新集成测试环境 project-auto-sit-workflow • 构建,部署,场景测试 发布工程师 更新预发环境 project-uat-workflow • 质量门禁、构建、配置变更 测试验证 变更发布 产品规划 需求开发 服务的调试——调整副本数量/重启实例 Sprint 发布 测试验证 变更发布 产品规划 测试集管理——GitLab 仓库管理 支持冒烟测试/接口测试/UI 测试/场景测试/性能测试等 1. 本地编写测试脚本并针对 sit 环境本地自测 2. 没问题后提交到 GitLab 仓库 测试验证 Sprint 发布 需求开发 变更发布 ->IM 通知 Sprint 发布 需求开发 变更发布 产品规划 测试验证 sit 发布——执行 sit 工作流更新环境进行集成验证 包括步骤:构建 -> 部署 sit 环境 -> 接口测试 -> IM 通知 Sprint 发布 需求开发 变更发布 产品规划 测试验证 自动化测试——测试结果分析 Sprint 发布 需求开发 变更发布 产品规划 测试验证 uat0 码力 | 52 页 | 16.27 MB | 1 年前3 Zadig 产品使用手册构建、配置变更(Apollo/Nacos)、数据 变更、部署、冒烟测试、项目管理任务变 更 测试工程师 更新测试验证环境 project-sit-workflow • 构建、配置变更(Apollo/Nacos)、数据 变更、部署、接口测试 更新集成测试环境 project-auto-sit-workflow • 构建,部署,场景测试 发布工程师 更新预发环境 project-uat-workflow • 质量门禁、构建、配置变更 测试验证 变更发布 产品规划 需求开发 服务的调试——调整副本数量/重启实例 Sprint 发布 测试验证 变更发布 产品规划 测试集管理——GitLab 仓库管理 支持冒烟测试/接口测试/UI 测试/场景测试/性能测试等 1. 本地编写测试脚本并针对 sit 环境本地自测 2. 没问题后提交到 GitLab 仓库 测试验证 Sprint 发布 需求开发 变更发布 ->IM 通知 Sprint 发布 需求开发 变更发布 产品规划 测试验证 sit 发布——执行 sit 工作流更新环境进行集成验证 包括步骤:构建 -> 部署 sit 环境 -> 接口测试 -> IM 通知 Sprint 发布 需求开发 变更发布 产品规划 测试验证 自动化测试——测试结果分析 Sprint 发布 需求开发 变更发布 产品规划 测试验证 uat0 码力 | 52 页 | 16.27 MB | 1 年前3
 Red Hat OpenShift GitOps 1.13 了解 OpenShift GitOps另外,您可以使用适当的参数 外,您可以使用适当的参数运 运行命令来收集具体信息,如以下部分所述: 行命令来收集具体信息,如以下部分所述: 要收集与一个或多个特定功能相关的数据, 要收集与一个或多个特定功能相关的数据,请 请使用 使用 --image 参数和 参数和镜 镜像,如以下部分所述。 像,如以下部分所述。 示例命令 示例命令 要收集 要收集审计 审计日志, 日志,请 请使用 使用 -- /usr/bin/gather_audit_logs 参数,如以下部分所述。 参数,如以下部分所述。 $ oc adm must-gather --image=registry.redhat.io/openshift-gitops-1/must-gather- rhel8:v1.10.0 Red Hat OpenShift 1.13 了解 了解 OpenShift GitOps 10 示例命令 示例命令 注意 注意 作 作为 为默 默认 认信息集合的一部分,不会收集 信息集合的一部分,不会收集审计 审计日志来 日志来减 减小文件的大小。 小文件的大小。 当您 当您运 运行 行 oc adm must-gather 时 时,集群的新 ,集群的新项0 码力 | 17 页 | 203.28 KB | 1 年前3 Red Hat OpenShift GitOps 1.13 了解 OpenShift GitOps另外,您可以使用适当的参数 外,您可以使用适当的参数运 运行命令来收集具体信息,如以下部分所述: 行命令来收集具体信息,如以下部分所述: 要收集与一个或多个特定功能相关的数据, 要收集与一个或多个特定功能相关的数据,请 请使用 使用 --image 参数和 参数和镜 镜像,如以下部分所述。 像,如以下部分所述。 示例命令 示例命令 要收集 要收集审计 审计日志, 日志,请 请使用 使用 -- /usr/bin/gather_audit_logs 参数,如以下部分所述。 参数,如以下部分所述。 $ oc adm must-gather --image=registry.redhat.io/openshift-gitops-1/must-gather- rhel8:v1.10.0 Red Hat OpenShift 1.13 了解 了解 OpenShift GitOps 10 示例命令 示例命令 注意 注意 作 作为 为默 默认 认信息集合的一部分,不会收集 信息集合的一部分,不会收集审计 审计日志来 日志来减 减小文件的大小。 小文件的大小。 当您 当您运 运行 行 oc adm must-gather 时 时,集群的新 ,集群的新项0 码力 | 17 页 | 203.28 KB | 1 年前3
 2.2.2云音乐在GitOps CD领域的最佳实践Horizon落地 05 背景 第一部分 背景 云主机时代的痛点 2020年,云音乐开始容器化转型 效率 低下 计算 焦虑 运维 繁琐 成本 高昂 背景 业界优秀产品 站在巨人的肩膀上,打造符合公司中长期发展的 DevOps CD 产品 - Horizon Helm Chart的理念 如何屏蔽 k8s 复杂性? 屏蔽大部分细节,将少量配置开放给 使用者 集中了应用依赖的各种 集中了应用依赖的各种 资源 helm chart不足: • 面向开发者,对普通用户不友好 Horizon模板体系 第二部分 ├── Chart.yaml ├── README.md ├── schema ## 定义各种上层用户可理解的输入(支持前端自动渲染) │ ├── application.schema.json ## 障用户进行最佳实践,例如: • 屏蔽复杂的资源配置:业务更容易理解 的标准资源规格 • 底层能力快速封装:混合云、服务网格 有了这样的模板,是否能直接apply使用 呢? GitOps最佳实践 第三部分 ArgoCD的设计 什么是GitOps apiVersion: apps/v1 kind: Deployment metadata: name: demo spec: replicas:0 码力 | 22 页 | 3.15 MB | 1 年前3 2.2.2云音乐在GitOps CD领域的最佳实践Horizon落地 05 背景 第一部分 背景 云主机时代的痛点 2020年,云音乐开始容器化转型 效率 低下 计算 焦虑 运维 繁琐 成本 高昂 背景 业界优秀产品 站在巨人的肩膀上,打造符合公司中长期发展的 DevOps CD 产品 - Horizon Helm Chart的理念 如何屏蔽 k8s 复杂性? 屏蔽大部分细节,将少量配置开放给 使用者 集中了应用依赖的各种 集中了应用依赖的各种 资源 helm chart不足: • 面向开发者,对普通用户不友好 Horizon模板体系 第二部分 ├── Chart.yaml ├── README.md ├── schema ## 定义各种上层用户可理解的输入(支持前端自动渲染) │ ├── application.schema.json ## 障用户进行最佳实践,例如: • 屏蔽复杂的资源配置:业务更容易理解 的标准资源规格 • 底层能力快速封装:混合云、服务网格 有了这样的模板,是否能直接apply使用 呢? GitOps最佳实践 第三部分 ArgoCD的设计 什么是GitOps apiVersion: apps/v1 kind: Deployment metadata: name: demo spec: replicas:0 码力 | 22 页 | 3.15 MB | 1 年前3
 高效智能运维[云+社区技术沙龙第29期] - 腾讯智能运维(Metis)项目实践有监督算法 特征工程 离线训练 实时计算 人工标注 提升效果 单维时间序列分析 时间序列异常检测整体流程 单维时间序列分析 打标工程 单维时间序列分析 异常检测:提供率值检测和量值检测的接口; 特征提取:提供三类特征(统计,拟合,分类),特征维度>200,可以自定义特征; 异常查询:异常入库存储,提供管理,查询,检索,放缩功能; 人工标注:提供正负样本的标注工具; 样本管理:提供检索,图示,编辑,删除,导入等功能;0 码力 | 28 页 | 1.88 MB | 1 年前3 高效智能运维[云+社区技术沙龙第29期] - 腾讯智能运维(Metis)项目实践有监督算法 特征工程 离线训练 实时计算 人工标注 提升效果 单维时间序列分析 时间序列异常检测整体流程 单维时间序列分析 打标工程 单维时间序列分析 异常检测:提供率值检测和量值检测的接口; 特征提取:提供三类特征(统计,拟合,分类),特征维度>200,可以自定义特征; 异常查询:异常入库存储,提供管理,查询,检索,放缩功能; 人工标注:提供正负样本的标注工具; 样本管理:提供检索,图示,编辑,删除,导入等功能;0 码力 | 28 页 | 1.88 MB | 1 年前3
 高效智能运维[云+社区技术沙龙第29期] - ServerlessOpsFunction Fun Fun Fun Fun … … Fun Fun Fun Fun … … Serverless Computing BaaS CMQ 消息队列 AI 接口 IOT 平台 API 网关 Credis 云缓存 …. COS 对象存储 CDB 云数据库 终端用户 Ckafka COS … API GW HTTP Timer 调用 函数代码0 码力 | 32 页 | 4.85 MB | 1 年前3 高效智能运维[云+社区技术沙龙第29期] - ServerlessOpsFunction Fun Fun Fun Fun … … Fun Fun Fun Fun … … Serverless Computing BaaS CMQ 消息队列 AI 接口 IOT 平台 API 网关 Credis 云缓存 …. COS 对象存储 CDB 云数据库 终端用户 Ckafka COS … API GW HTTP Timer 调用 函数代码0 码力 | 32 页 | 4.85 MB | 1 年前3
 高效智能运维[云+社区技术沙龙第29期] - 冲上云霄—腾讯海量业务上云实践•采用弹性网卡 •实现Pod IP跨集群访问 网络 •支持CLB •支持L5/CMLB •支持VIP 路由与服务发现 •StatefulsetPlus •原地重启 分批发布 •接口证书认证 •基于RBAC授权 权限控制 •基于项目管理 •角色鉴权认证 镜像仓库 •CBS(SSD/SATA) •Cehp/NFS 网络存储 •远端日志挂载 •页面日志查询 远程日志0 码力 | 26 页 | 2.39 MB | 1 年前3 高效智能运维[云+社区技术沙龙第29期] - 冲上云霄—腾讯海量业务上云实践•采用弹性网卡 •实现Pod IP跨集群访问 网络 •支持CLB •支持L5/CMLB •支持VIP 路由与服务发现 •StatefulsetPlus •原地重启 分批发布 •接口证书认证 •基于RBAC授权 权限控制 •基于项目管理 •角色鉴权认证 镜像仓库 •CBS(SSD/SATA) •Cehp/NFS 网络存储 •远端日志挂载 •页面日志查询 远程日志0 码力 | 26 页 | 2.39 MB | 1 年前3
 高效智能运维[云+社区技术沙龙第29期] - 蓝鲸研发运维技术PaaS体系实践-张敏…… 开发场景 测试场景 运维场景 代码仓库 单元测试 代码检查 制品管理 测试管理 UI测试 配置管理 自动部署 环境管理 自动发布 系统监控 应用监控 编译加速 版本体验 接口测试 测试数据 作业平台 标准运维 嘉为蓝鲸研运一体化门户 开发门户 测试门户 运维门户 项目经理门户 管理者门户 代码管理 流水线引擎 代码扫描 制品管理 自动化测试 度量数据 第三方工具0 码力 | 26 页 | 8.25 MB | 1 年前3 高效智能运维[云+社区技术沙龙第29期] - 蓝鲸研发运维技术PaaS体系实践-张敏…… 开发场景 测试场景 运维场景 代码仓库 单元测试 代码检查 制品管理 测试管理 UI测试 配置管理 自动部署 环境管理 自动发布 系统监控 应用监控 编译加速 版本体验 接口测试 测试数据 作业平台 标准运维 嘉为蓝鲸研运一体化门户 开发门户 测试门户 运维门户 项目经理门户 管理者门户 代码管理 流水线引擎 代码扫描 制品管理 自动化测试 度量数据 第三方工具0 码力 | 26 页 | 8.25 MB | 1 年前3
共 15 条
- 1
- 2













