Curve核心组件之mds – 网易数帆Curve核心组件之 MDS 陈威Curve 是高性能、高可用、高可靠的分布式存储系统 • 高性能、低延迟 • 可支撑储场景:块存储、对象存储、云原生数据库、EC等 • 当前实现了高性能块存储,对接OpenStack和 K8s 网易内部线上无故障稳定运行一年多 • 已开源 • github主页: https://opencurve.github.io/ • github代码仓库: https://github 络的规划以面向业务提供如下功能和非功能需求。 1. 故障域的隔离:比如副本的放置分布在不同机器,不同机架,或是不同的交换机下面。 2. 隔离和共享:不同用户的数据可以实现固定物理资源的隔离和共享。 • pool: 用于实现对机器资源进行物理隔离,server不能跨 Pool交互。运维上,建议以pool为单元进行物理资源的扩 容。 • zone: 故障隔离的基本单元,一般来说属于不同zone的机 Chunkserver: 用于抽象描述物理服务器上的一块物理磁盘 (SSD),chunkserver以一块磁盘作为最小的服务单元。TOPOLOGY curve在上物理pool之上又引入逻辑pool的概念,以实现统一存储系统的需求,即在单个存储系统中多副 本PageFile支持块设备、三副本AppendFile(待开发)支持在线对象存储、AppendECFile(待开发)支持 近线对象存储可以共存。0 码力 | 23 页 | 1.74 MB | 6 月前3
Hadoop 迁移到阿里云MaxCompute 技术方案以便分析工具或分析应用能够获取数据。如利用 MPP 数据仓库、Spark SQL 等支持 BI 工具 访问,利用 Hbase 实现低延迟的在线服务等 分析与报表:对数据进行分析和展现以获取洞察。如 BI 工具、jupyter 等。 数据作业编排:将多个数据处理动作(数据移动、处理转换等)编排成为工作流并周期性地 执行以实现数据处理工作的自动化。如 Apache Oozie、Sqoop 等。 2.1.2 开源大数据组件架构 提交方式(暂不 支持 spark-shell/spark-sql 的交互式),提供原生的 Spark WebUI 供用户查看; * 通过访问 OSS、OTS、database 等外部数据源,实现 更复杂的 ETL 处理,支持对 OSS 非结构化进行处理; * 使用 Spark 面向 MaxCompute 内外部数据开展机器 学习,扩展应用场景; 机器学习 PAI MaxCompute 开发&诊断 Dataworks/Studio/Logview 配套的数据同步、作业开发、工作流编排调度、作业运维 及诊断工具。开源社区常见的 Sqoop、Kettle、Ozzie 等 实现数据同步和调度。 整体 不是孤立的功能,完整的企 业服务 不需要多组件集成、调优、定制,开箱即用。 3 MaxCompute 迁移场景分析 3.1 迁移基于 Hadoop 的数据湖/数据仓库业务负载0 码力 | 59 页 | 4.33 MB | 1 年前3
Guía de referencia de Debian v2.124«La Especificación Única de UNIX v3« susv4 I:0 16 buscar ”Las especificaciones únicas de UNIX v4” golang I:20 11 Compilador del lenguaje de programación Go rustc V:3, I:14 8860 Lenguaje de programación0 码力 | 285 页 | 1.43 MB | 1 年前3
共 3 条
- 1













