Hadoop最新结构化存储利器Kudu介绍 分会场2 Postgres Conference China 2016 中国用户大会 案例：运营商清帐单系统关键需求 • 必须能够高效处理海量数据 – 单月清单数据量约1000亿条×1k/条=100TB，6个月总量高达 ~600TB – 从600TB清单数据中检索某用户某个月的清单记录，响应时间应小 于1秒 – 支持高峰期每秒2000个并发访问查询 – 满足现在清帐单业务的查询统计需求(23类) Postgres Conference China 2016 中国用户大会 开发指南 21 Postgres Conference China 2016 中国用户大会 HBase表结构逻辑图 22 Postgres Conference China 2016 中国用户大会 HBase基础 • 表记录按RowKey字典序存储 • 表Schema只定义到Column Family级别属性

然后是列列, 这⾥里里hbase要求我们把列列做个分类, 叫列列族. 这⾥里里我分了了两个ColumnFamily, 分数和图⽚片 每个列列族名+列列限定名⽤用冒号连起来组成列列名, ⽐比如 分数:语⽂文. 然后我⼜又有图⽚片列列族, 只有⼀一列列头像, 存的是⼆二进制的图⽚片内容 然后hbase⼜又引⼊入了了版本概念, 就是图上这个 ⾏行行 交 列列 的每⼀一个格⼦子 都可以有多个版本的值 后来看google论⽂文说⼈人家参考了了很多模型最终才决 定这样设计的…. • 简单⾼高效, 可以作为其他应⽤用的基础 • OpenTSDB: 时序数据库, 主要是监控数据这类的 • JanusGraph: 图数据库, 知识图谱 • GeoMesa: 时空位置数据库 • Kylin: OLAP, ⽤用HBase存cube • Phoenix: Sql on HBase 数据模型 why 会把所有region的索引信息加载进去. 系统组成 HFile • 整个HFile分为4⼤大部分 • 所有东⻄西都被组织为⼤大⼩小相同 的block • Index block / bloom block 这个图是整个HFile⽂文件的结构. 最下是⽂文件尾, 根据⽂文件尾上的信息, 就能读取到 load-on-open部分的各种索引信息 最上是数据块所有实际的数据, 数据块的叶节点索引, 布隆隆索引都在这