(Change Data Capture) + Merge的技术方案，即实时 Binlog采集 + 离线处理Binlog还原业务数据这样一套解决方案。Binlog是MySQL的二进制日志，记录了 MySQL中发生的所有数据变更，MySQL集群自身的主从同步就是基于Binlog做的。 本文主要从Binlog实时采集和离线处理Binlog还原业务数据两个方面，来介绍如何实现DB数据准确、高 效地进入数仓。 美团DB数据同步到数据仓库的架构与实践 - 美团技术团队 整体的架构如上图所示。在Binlog实时采集方面，我们采用了阿里巴巴的开源项目Canal，负责从MySQL 实时拉取Binlog并完成适当解析。Binlog采集后会暂存到Kafka上供下游消费。整体实时采集部分如图中 红色箭头所示。 离线处理Binlog的部分，如图中黑色箭头所示，通过下面的步骤在Hive上还原一张MySQL表： 1 采用Linkedin的开源项目Camus，负责每小时把Kafka上的Binlog数据拉取到Hive上。 2. 对每张ODS表，首先需要一次性制作快照（Snapshot），把MySQL里的存量数据读取到Hive上，这一过程底层采用 直连MySQL去Select数据的方式。 3. 对每张ODS表，每天基于存量数据和当天增量产生的Binlog做Merge，从而还原出业务数据。 我们回过头来看看，背景中

现存问题 • 数据库访问基本采用直连方式 • 无法满足数据访问平台化要求 • 配置管理方式落后，运维压力大 • 为什么采用Go来实现 • go诸多优点，可用性高 • go处理mysql的binlog有知识积累 • 公司大规模推广使用go 8 分表路由逻辑 • 分表规则 • 哈希分表：shardkey通过Hash函数分表 • 分段分表：按照年、月、日或者整形范围分表 本质上哈希 本质上哈希分表与分段分表都是一样，只是其Hash方式不同，使得看起来有两 种不同的数据组织方式。 9 故障主备切换 • 故障情形 • 从节点挂掉：进行剔除下线处理 • 主节点挂掉，机器存活：通过binlog恢复数据，提升备为主 • 主节点挂掉，机器不存活：采用Relaylog恢复数据，提升备为主 • 部署模式 • 一主多从 • 双主多从 10 故障主备切换 • 一主多从模式 master Dead-Master Latest-Slave Slave Latest-Slave与Master差异 日志 Latest-Slave与Slave差异 日志 Master故障时试图通过Rsync拉取Binlog，最大程度保 证数据不丢失； Slave之间的数据差异通过中继日志恢复。 • 数据恢复工作原理 11 故障主备切换 • 双主多从模式 master slave slave slave

修复同一个区块内修改Entry，后续交易查询该Entry结果出错的问题 修复raft共识下，非leader节点交易池中的交易不能被打包的问题 修复CachedStorage的一个死锁问题 修复开启Binlog情况下，极端情况下，从Binlog恢复出错的问题 修复特定情况下节点重启后Viewchange被拒，无法快速恢复视图的问题 兼容性 向前兼容，旧版本可以直接替换程序升级 推荐版本 最低版本 说明 控制台 1 控制本地存储的整体数据量。 重要 FISCO BCOS从2.7.1版本开始，通过配置“数据仓库”，实现对海量数据 治理的支持； FISCO BCOS为实现海量数据治理的功能，需使用scalable存储模式、 开启binlog及配置amdb-proxy，相关操作见本文档说明； “数据仓库”的使用请参考 [文档] [https://data- doc.readthedocs.io/zh_CN/latest/docs/ type=scalable来选择链的存储模式 为scalable。 设置群组的ini配置文件中[storage].binary_log=true来启用binlog。如 用户使用build_chain脚本搭链，并选择scalable存储模式，配置文件会自 动开启binlog。 参考说明进行amdb-proxy配置，其中设置amdb-proxy访问的数据源为“数 据仓库”生成的数据库。 文件组织 节点使用sc

修复同一个区块内修改Entry，后续交易查询该Entry结果出错的问题 修复raft共识下，非leader节点交易池中的交易不能被打包的问题 修复CachedStorage的一个死锁问题 修复开启Binlog情况下，极端情况下，从Binlog恢复出错的问题 修复特定情况下节点重启后Viewchange被拒，无法快速恢复视图的问题 兼容性 向前兼容，旧版本可以直接替换程序升级 推荐版本 最低版本 说明 控制台 1 控制本地存储的整体数据量。 重要 FISCO BCOS从2.7.1版本开始，通过配置“数据仓库”，实现对海量数据 治理的支持； FISCO BCOS为实现海量数据治理的功能，需使用scalable存储模式、 开启binlog及配置amdb-proxy，相关操作见本文档说明； “数据仓库”的使用请参考 [文档] [https://data- doc.readthedocs.io/zh_CN/latest/docs/ type=scalable来选择链的存储模式 为scalable。 设置群组的ini配置文件中[storage].binary_log=true来启用binlog。如 用户使用build_chain脚本搭链，并选择scalable存储模式，配置文件会自 动开启binlog。 参考说明进行amdb-proxy配置，其中设置amdb-proxy访问的数据源为“数 据仓库”生成的数据库。 文件组织 节点使用sc

修复同一个区块内修改Entry，后续交易查询该Entry结果出错的问题 修复raft共识下，非leader节点交易池中的交易不能被打包的问题 修复CachedStorage的一个死锁问题 修复开启Binlog情况下，极端情况下，从Binlog恢复出错的问题 修复特定情况下节点重启后Viewchange被拒，无法快速恢复视图的问题 兼容性 向前兼容，旧版本可以直接替换程序升级 推荐版本 最低版本 说明 控制台 1 控制本地存储的整体数据量。 重要 FISCO BCOS从2.7.1版本开始，通过配置“数据仓库”，实现对海量数据 治理的支持； FISCO BCOS为实现海量数据治理的功能，需使用scalable存储模式、 开启binlog及配置amdb-proxy，相关操作见本文档说明； “数据仓库”的使用请参考 [文档] [https://data- doc.readthedocs.io/zh_CN/latest/docs/ type=scalable来选择链的存储模式 为scalable。 设置群组的ini配置文件中[storage].binary_log=true来启用binlog。如 用户使用build_chain脚本搭链，并选择scalable存储模式，配置文件会自 动开启binlog。 参考说明进行amdb-proxy配置，其中设置amdb-proxy访问的数据源为“数 据仓库”生成的数据库。 文件组织 节点使用sc

修复同一个区块内修改Entry，后续交易查询该Entry结果出错的问题 修复raft共识下，非leader节点交易池中的交易不能被打包的问题 修复CachedStorage的一个死锁问题 修复开启Binlog情况下，极端情况下，从Binlog恢复出错的问题 修复特定情况下节点重启后Viewchange被拒，无法快速恢复视图的问题 兼容性 向前兼容，旧版本可以直接替换程序升级 推荐版本 最低版本 说明 控制台 1 控制本地存储的整体数据量。 重要 FISCO BCOS从2.7.1版本开始，通过配置“数据仓库”，实现对海量数据 治理的支持； FISCO BCOS为实现海量数据治理的功能，需使用scalable存储模式、 开启binlog及配置amdb-proxy，相关操作见本文档说明； “数据仓库”的使用请参考 [文档] [https://data- doc.readthedocs.io/zh_CN/latest/docs/ type=scalable来选择链的存储模式 为scalable。 设置群组的ini配置文件中[storage].binary_log=true来启用binlog。如 用户使用build_chain脚本搭链，并选择scalable存储模式，配置文件会自 动开启binlog。 参考说明进行amdb-proxy配置，其中设置amdb-proxy访问的数据源为“数 据仓库”生成的数据库。 文件组织 节点使用sc

修复同一个区块内修改Entry，后续交易查询该Entry结果出错的问题 修复raft共识下，非leader节点交易池中的交易不能被打包的问题 修复CachedStorage的一个死锁问题 修复开启Binlog情况下，极端情况下，从Binlog恢复出错的问题 修复特定情况下节点重启后Viewchange被拒，无法快速恢复视图的问题 兼容性 向前兼容，旧版本可以直接替换程序升级 推荐版本 最低版本 说明 控制台 1 控制本地存储的整体数据量。 重要 FISCO BCOS从2.7.1版本开始，通过配置“数据仓库”，实现对海量数据 治理的支持； FISCO BCOS为实现海量数据治理的功能，需使用scalable存储模式、 开启binlog及配置amdb-proxy，相关操作见本文档说明； “数据仓库”的使用请参考 [文档] [https://data- doc.readthedocs.io/zh_CN/latest/docs/ type=scalable来选择链的存储模式 为scalable。 设置群组的ini配置文件中[storage].binary_log=true来启用binlog。如 用户使用build_chain脚本搭链，并选择scalable存储模式，配置文件会自 动开启binlog。 参考说明进行amdb-proxy配置，其中设置amdb-proxy访问的数据源为“数 据仓库”生成的数据库。 文件组织 节点使用sc

修复同一个区块内修改Entry，后续交易查询该Entry结果出错的问题 修复raft共识下，非leader节点交易池中的交易不能被打包的问题 修复CachedStorage的一个死锁问题 修复开启Binlog情况下，极端情况下，从Binlog恢复出错的问题 修复特定情况下节点重启后Viewchange被拒，无法快速恢复视图的问题 兼容性 向前兼容，旧版本可以直接替换程序升级 推荐版本 最低版本 说明 控制台 1 控制本地存储的整体数据量。 重要 FISCO BCOS从2.7.1版本开始，通过配置“数据仓库”，实现对海量数据 治理的支持； FISCO BCOS为实现海量数据治理的功能，需使用scalable存储模式、 开启binlog及配置amdb-proxy，相关操作见本文档说明； “数据仓库”的使用请参考 [文档] [https://data- doc.readthedocs.io/zh_CN/latest/docs/ type=scalable来选择链的存储模式 为scalable。 设置群组的ini配置文件中[storage].binary_log=true来启用binlog。如 用户使用build_chain脚本搭链，并选择scalable存储模式，配置文件会自 动开启binlog。 参考说明进行amdb-proxy配置，其中设置amdb-proxy访问的数据源为“数 据仓库”生成的数据库。 文件组织 节点使用sc

版本 本 本 13 FISCO BCOS Documentation, 发 发 发布 布 布 v2.7.2 • 修复CachedStorage的一个死锁问题 • 修复开启Binlog情况下，极端情况下，从Binlog恢复出错的问题 • 修复特定情况下节点重启后Viewchange被拒，无法快速恢复视图的问题 兼 兼 兼容 容 容性 性 性 向 向 向前 前 前兼 兼 兼容 容 容，旧版本可以直接替换程序升级 要 要: • FISCO BCOS从2.7.1版本开始，通过配置“数据仓库”，实现对海量数据治理的支持； • FISCO BCOS为实现海量数据治理的功能，需使用scalable存储模式、开启binlog及配置amdb- proxy，相关操作见本文档说明； • “数据仓库”的使用请参考 [文档] 。 8.4.1 scalable存 存 存储 储 储模 模 模式 式 式 FISCO BCOS type=scalable来选择链的存储模式为scalable。 • 设 置 群 组 的ini配 置 文 件 中[storage].binary_log=true来 启 用binlog。 如 用 户 使 用build_chain脚本搭链，并选择scalable存储模式，配置文件会自动开启binlog。 • 参考说明进行amdb-proxy配置，其中设置amdb-proxy访问的数据源为“数据仓库”生成的数据库。 文 文 文件 件

修复同一个区块内修改Entry，后续交易查询该Entry结果出错的问题 修复raft共识下，非leader节点交易池中的交易不能被打包的问题 修复CachedStorage的一个死锁问题 修复开启Binlog情况下，极端情况下，从Binlog恢复出错的问题 修复特定情况下节点重启后Viewchange被拒，无法快速恢复视图的问题 兼容性 向前兼容，旧版本可以直接替换程序升级 推荐版本 最低版本 说明 控制台 1 type=scalable来选择链的存储模式 为scalable。 设置群组的ini配置文件中[storage].binary_log=true来启用binlog。如 用户使用build_chain脚本搭链，并选择scalable存储模式，配置文件会自 动开启binlog。 参考说明 [https://data-doc.readthedocs.io/zh_CN/latest/docs/WeBankBlockchain-Data- alable/state存储整体的状态数据，该文件 夹不可删除。 binlog binlog文件记录了每个区块的每个交易对区块链状态的修改结果。binlog机制 的作用在于： 1. 提供了区块维度的数据操作结果的记录； 2. 节点可通过binlog文件而非通过原有的拉取区块重放交易的方式来恢复数 据； 3. binlog文件为“数据仓库”的快照构建提供数据来源。 用户可通过设置群组的ini配置文件中[storage]