Curve核心组件之mds – 网易数帆是高性能、高可用、高可靠的分布式存储系统 • 高性能、低延迟 • 可支撑储场景:块存储、对象存储、云原生数据库、EC等 • 当前实现了高性能块存储,对接OpenStack和 K8s 网易内部线上无故障稳定运行一年多 • 已开源 • github主页: https://opencurve.github.io/ • github代码仓库: https://github.com/opencurve/curve 以面向业务提供如下功能和非功能需求。 1. 故障域的隔离:比如副本的放置分布在不同机器,不同机架,或是不同的交换机下面。 2. 隔离和共享:不同用户的数据可以实现固定物理资源的隔离和共享。 • pool: 用于实现对机器资源进行物理隔离,server不能跨 Pool交互。运维上,建议以pool为单元进行物理资源的扩 容。 • zone: 故障隔离的基本单元,一般来说属于不同zone的机 况 下,心跳的流量将会非常大;而引入CopySet的概念之后,可以以CopySet的粒度进行探活、配置变更,降低 开销。 3. 提高数据可靠性:在数据复制组过度打散的情况下,在发生多个节点同时故障的情况下,数据的可靠性会受 到影响。引入CopySet,可提高分布式存储系统中的数据持久性,降低数据丢失的概率。COPYSET ChunkServer,Copyset和Chunk三者之间的关系如下图:0 码力 | 23 页 | 1.74 MB | 6 月前3
Hadoop 迁移到阿里云MaxCompute 技术方案阿里云大数据组件架构 2.1.4 阿里云大数据与 Hadoop 生态的产品映射 基于借助该大数据架构,对 Hadoop 及开源生态组件与阿里云大数据生态产品进行了对比 映射(仅作为对功能定位的映射,不代表对应组件可无缝迁移),以便读者对相关服务的迁移至 阿里云大数据产品服务有更好的理解。 组件分类 Hadoop 开源组件 阿里云产品/产品组件 数据存储 HDFS 文件系统 业服务 不需要多组件集成、调优、定制,开箱即用。 3 MaxCompute 迁移场景分析 3.1 迁移基于 Hadoop 的数据湖/数据仓库业务负载 根据 MaxCompute 产品的定位和特性,您可以将基于 Hadoop 为核心的数据湖、数据仓库及 周边配套工具(数据集成、数据开发、作业调度、数据治理等)业务负载迁移至 MaxCompute 及 Dataworks 的云原生大数据平台解决方案。0 码力 | 59 页 | 4.33 MB | 1 年前3
共 2 条
- 1













