Curve核心组件之mds – 网易数帆server超过offline的时间没有收到心 跳(默认30min), chunkserver状态改为offline, 打印一条error日志。调度模块感知到offline状态, 触发chunk server的recover修复。 心跳正常 心跳正常 超过miss时间 未超过offline时间 UNSTABLE ONLINE OFFLINESCHEDULE Schedule(系统调度)是为了实现系统的自动容错和负载均衡,这两个功能是分布式 负载均衡,这两个功能是分布式 存储系统的核心问题,也是 curve 是否能上生产环境的决定因素之一。 • 自动容错保证常见异常(如坏盘、机器宕机)导致的数据丢失不依赖人工处理,可 以自动修复。 • 负载均衡和资源均衡保证集群中的磁盘、cpu、内存等资源的利用率最大化。SCHEDULE Schdedule的具体实现 Coordinator: 调度模块的对外接口。心跳会将 chunkserver上报上来的copyset信息提交给0 码力 | 23 页 | 1.74 MB | 6 月前3
Hadoop 迁移到阿里云MaxCompute 技术方案概要 Hadoop 在企业构建第一代大数据平台中成为主流的技术框架,但是随着企业信息化的高 速发展,在数字化、智能化的转型过程中,Hadoop 越来越复杂的技术架构和运维成本、平台 的稳定性和安全性、资源的弹性伸缩能力都遇到了瓶颈,严重阻碍了客户数据业务的发展。随着 云计算技术的发展和普及,越来越多的企业客户选择数据上云,在云上构建数据仓库。以云数 仓、云计算为核心的企业服务架构成为新一代0 码力 | 59 页 | 4.33 MB | 1 年前3
共 2 条
- 1













