 Curve核心组件之mds – 网易数帆segment是给文件分配空间的最小单位 。 • PageFileChunkInfo: chunk是数据分片的最小单元。 segment 和 chunk的关系如下图:NAMESERVER Namespace的文件的目录层次关系如右图。 文件的元数据以KV的方式存储。 • Key:ParentID + “/”+ BaseName; • Value:自身的文件ID。 这种方式可以很好地平衡几个需求: • 文件列目录:列出目录下的所有文件和目0 码力 | 23 页 | 1.74 MB | 6 月前3 Curve核心组件之mds – 网易数帆segment是给文件分配空间的最小单位 。 • PageFileChunkInfo: chunk是数据分片的最小单元。 segment 和 chunk的关系如下图:NAMESERVER Namespace的文件的目录层次关系如右图。 文件的元数据以KV的方式存储。 • Key:ParentID + “/”+ BaseName; • Value:自身的文件ID。 这种方式可以很好地平衡几个需求: • 文件列目录:列出目录下的所有文件和目0 码力 | 23 页 | 1.74 MB | 6 月前3
 Hadoop 迁移到阿里云MaxCompute 技术方案Spark 交互式分析 Impala Presto Hawk GreenPlum 等交互式分析 MaxCompute Lightning,提供只读的交互式查 询服务 图计算 Spark GraphX MaxCompute Spark GraphX MaxCompute Graph 流式采集 Kafka Datahub,流式数据投递至 MaxCompute0 码力 | 59 页 | 4.33 MB | 1 年前3 Hadoop 迁移到阿里云MaxCompute 技术方案Spark 交互式分析 Impala Presto Hawk GreenPlum 等交互式分析 MaxCompute Lightning,提供只读的交互式查 询服务 图计算 Spark GraphX MaxCompute Spark GraphX MaxCompute Graph 流式采集 Kafka Datahub,流式数据投递至 MaxCompute0 码力 | 59 页 | 4.33 MB | 1 年前3
共 2 条
- 1













