Storage • 场景 – 用于收集并存储非结构化以及半结构化数据 – 数据存储要求可靠 – 保证数据强一致性 – 数据可被排序以便提供低延时的随机查询 • 案例 – 原始日志查询系统 – 在线指标查询系统 • 主要组件 – HBase, Flume, Sqoop 10 Postgres Conference China 2016 中国用户大会 HBase适用场景 • 高并发高性能读写访问场景 20MB文件） – 对联机分析必须提供标准编程接口，支持SQL/JDBC/ODBC等 • 高可扩展和高可用 – 用户程序查询数据不需要知道底层细节，比如数据分布细节 – 可以水平扩展 – 允许多台机器故障的场景下，业务不中断 Postgres Conference China 2016 中国用户大会 原有方案：小型机+存储+Oracle • 成本高、扩展性差 – 价格昂贵 • 服务器采

zookeeper作为协调信息存储的地⽅方, ⽐比如节点健康状态 然后HBase的数据都要存放在hdfs上, 就要有node. 如图可以看出RegionServer和Datanode尽量量在同⼀一台机器器上. • ⽔水平 按rowkey分开 region • Pre-split: 0-5 6-10 • Auto-split: size • 垂直 按CF分开 系统组成 Region offset> RowKey: Column Qualifier: 指定指标的所有数据 指定指标指定时间的所有数据 指定⼀一个服务器器所有指标? 内存使⽤用率 20190725 16 机器器号 2294 类似关系数据中建索引的时候, 最左前缀的原则 Schema设计 OpenTSDB 另⼀一种存指标数据的设计