China 2016 中国用户大会 典型用户案例：Data Storage • 场景 – 用于收集并存储非结构化以及半结构化数据 – 数据存储要求可靠 – 保证数据强一致性 – 数据可被排序以便提供低延时的随机查询 • 案例 – 原始日志查询系统 – 在线指标查询系统 • 主要组件 – HBase, Flume, Sqoop 10 Postgres Conference China 2016 中国用户大会 Kudu的设计目标 • 扫描大数据量时吞吐率高(列式存 储和多副本机制) – 目标: 相对Parquet的扫描性能差距 在2x之内 • 访问少量数据时延时低(主键索引 和多数占优复制机制) – 目标: SSD上读写延时不超过1毫秒 • 类似的数据库语义(初期支持单行 记录的ACID) • 关系数据模型 – SQL查询 – “NoSQL”风格的扫描/插入/更新 (Java客户端) 网络需要至少万兆网络。而千兆网一般配4到6 块硬盘。 • 更多的硬盘数量能增加并发，提高HBase 的读性能 Postgres Conference China 2016 中国用户大会 写性能 • HBase理论平均写延时<10ms，时间复杂度O(1) • 没有可用的handler响应 – 考虑增加handler数目或硬件资源 • 更常见的情况是95%－99%的写入都很快，但有些 写入非常慢，甚至慢上万倍，一般问题在服务器端：