�! Hbase! ES�H2! mysql,hdfs! 34 Pinpoint��������� • Collector, �����agent��� ������Hbase� • Agent, ����������� ���JVM���Java����� �������JVM����� ���������Collector • Web UI, �hbase������� FBJCe AgeDI 接s层 A22 数据源 AafAa 集 群 实时计算层 4FarA集 群 OpenTSDB Elas-c Search HBase 数据存r层 数据服务层 (aIa 4ervice 数据消费层 y实时监控 (aHhbEard 实时监控 其它应用 FBJCe 5E)4 FBJCe 5EHB

区块链实现 作者：yibi-dev 海量存证数据+区块链实现 区块链存证目前存在的挑战 优化实现方案 亦笔科技的存证数据存储实现 为什么使用Phoenix+Hbase Hbase数据模型 Hbase分片基础的Region Hbase在业务实现上存在的不足 Phoenix架构 Phoenix性能对比 Cassandra如何快速、可靠的存储小文件 Cassandra数据的写入 Cassandra数据的读取 的可插拔实现。 亦笔科技的存证数据存储实现 Hbase对于海量文档数据存储有较好的支持，目前hadoop技术体系也相对 成熟稳定。使用Phoenix+Hbase支持海量数据的存储、随机查询。 Cassandra也是一种点对点的分布式nosql数据库，对于小文档数据存储有 良好的表现。支持海量文件数据的读写，节点数据自动同步。 为什么使用Phoenix + Hbase 在存证场景中，许多合作对象所需要存证的数据很难保持高度一致。NoSQL数 据库更适用于高扩展性的数据存储需求。海量存储、高并发同时也是很适合存 证的业务诉求。而稀疏的特性也大大节约了存储空间。 Hbase数据模型 HBase 以表的形式存储数据。表由行和列组成。列划分为若干个列族（row family），如下图所示。 Rowkey的概念和mysql中的主键是完全一样的，Hbase使用Rowkey来唯一的区 分某一行的数据。每个Region负责一小部分Rowkey范围的数据的读写和维

0 Architecture Messenger 2.0 The New Facebook Messages Emails Chats SMS Messages 技术微调 ▪ HBase - Small messages - Message metadata (thread/message indices) - Search index ▪ Haystack (our photo Attachments - Large messages Messenger 3.0 Mobile first - Mobile traffic > Web - VS whatspp, webchat - Hbase Perf issue - Client send pref & reliablity Sync protocol “Queue in memory” - MQTT + HTTPs (SPDY)

如何实现？如何优化？ WHY 为什什么需要流数据存储？ 单体应⽤用 烟筒式 SOA 微服务 那些年年的服务 MySQL ES HDFS KV HBase Hive 这些年年的数据 Services Data MySQL ES HDFS KV HBase Hive 统⼀一的流数据存储平台 我们的愿景 Services Streaming Storage Data 有序 Append

关系型数据库 ● NoSQL ● 中间件 ● NewSQL 1970s 2010 2015 Present MySQL PostgreSQL Oracle DB2 ... Redis HBase Cassandra MongoDB ... Google Spanner Google F1 TiDB RDBMS NoSQL NewSQL NewSQL 是什么 ● 水平扩展 ● 事务 gRPC gRPC gRPC 数据分片 ● Hash Based Partition ○ Redis ○ 不利于范围 Scan ● Range Based Partition ○ Hbase ○ Range 需要足够大且足够小 Storage stack 1/2 ● TiKV is the underlying storage layer ● Physically, data

业务保障管理理后台 应⽤用JVM进程 故障动态注⼊入 Attach 故障注⼊入 指标聚合查询 熔断降级计算（Flink） ⽇日志中⼼心 KAFKA 数据采集、计算、存储 指标（HBase） 指标明细（ES） 降级⽇日志（ES） ETL 指标计算（Flink） 脚本引擎 查 询 服 务 ⽇日志数据 指标（Redis） 业务异常数据快照（ES） 熔断降级通知 降级服务管理理 规则表达式 熔断 降级 条件 计算 降级消息 数据 存储 实时告警 规则配置 开发 ⽇日志解析规则 控制中⼼心 ETCD 降级服务 降级处理理 流处理理集群（Flink） HBase ES Redis 落地存储 数据服务 数据平台 实时告警 告警策略略 指标查询 指标脚本开发 指标配置 产品化 开发 复合指标计算如何处理理 ServiceA ServiceB

● Middleware & Proxy ● NewSQL 1970s 2010 2015 Present MySQL PostgreSQL Oracle DB2 ... Redis HBase Cassandra MongoDB ... Google Spanner Google F1 TiDB RDBMS NoSQL NewSQL Architecture TiKV TiKV

FDLEe AgeFK 接y层 A22 数据源 CafCa 集 群 实时计算层 4HaIC 集 群 OpenTSDB� Elas-c Search� HBase� 数据存储层 数据服务层 (aKa 4eIMAce 数据消费层 准实时监控 (ashboaId 实时监控 其它应用 FDLEe 5o)4 FDLEe 5oHB

类型对日志进行分类和聚合，解析为链路日志、节点日志和业务日志。 日志存储：完成日志解析后，日志会按照树状的存储模型进行落地存储，结合存储的 需求分析以及各个存储选项的特点，点评内容平台最终选择 HBase 作为存储选型。 后端 < 639 需求分析 选型优点 OLTP 业务：逻辑链路的实时读写 数据量很大：海量的记录数，且未来会持 续增长 写密集、读较少：日志上报峰值 QPS 较高 业务场景简单：简单读写即可满足需求 存储特性：支持横向扩展、快速扩充字段 查询特性：支持精确和前缀匹配查询，且支持快速随机 的访问 经济成本：存储介质成本低廉 整体而言，log_agent + Kafka + Flink + HBase 的日志上报和存储架构能够很好地 支持复杂的业务系统，天然支持分布式场景下众多应用的日志上报，同时适用于高流 量的数据写入。 (2) 实现众多后端服务的低成本改造 点评内容平台实现了“自定义日志工具包”（即下图 储实时特征，Kafka 硬盘存储下降 10+ 倍。 2. 延时消费 Join 方式：解决占用内存大问题。 ● 曝光流作为主流，写入到 HBase 中，同时为了后续能让其他流在 HBase 中 Join 上曝光，将 RowKey 写入 Redis；后续流通过 RowKey 写入 HBase， 曝光与点击、特征的拼接借助外存完成，保证数据量增大后系统能稳定运行。 ● 样本流延时消费，后台服务的样本流往往会比曝光流先到，为了能

广泛，在实际案例和文档上都非常丰富，很容易落地实现；Spark本身是一个非常优秀的分布式计算框 架，目前团队对Spark有很强的掌控力，调优经验也很丰富，这样只需要专注在计算逻辑的开发即可； Alluxio相对HDFS或HBase来说更加轻量，同时支持包括内存在内的多层异构存储，这些特性可能会在后 续优化中得到利用。 在具体的部署方式上，Spring Server单独启动，Spark和Alluxio都采用Standalone模式，且两个服务的