全球敏捷运维峰会 广州站 基于ClickHouse+StarRocks 构建支撑千亿级数据量的高可用查询引擎 演讲人：蔡岳毅 全球敏捷运维峰会 广州站 1. 为什么选择ClickHouse/StarRocks； 2. ClickHouse/StarRocks的高可用架构； 3. 如何合理的应用ClickHouse的优点，StarRocks 如何来补充ClickHouse 的短板； 全球敏捷运维峰会 广州站 根据实际业务场景需要来选择 1. 不固定的查询条件，不固定的汇总条件； 2. 数据量日益增量，每天要更新的数据量也不断增大； 3. 业务场景不断增多，涉及面越来越广； 4. 需要保证高可用并秒出； 5. 从Sql，Es， CrateDB， Kylin，Ingite，MongoDB，Hbase 不断的研究，实践； 全球敏捷运维峰会 广州站 ClickHouse 置文件； 全球敏捷运维峰会 广州站 StarRocks的特点 优点： 1. 支持标准的SQL语法，兼容MySql协议； 2. MPP架构，扩缩容非常简单方便； 3. 支持高并发查询； 4. 跨机房部署，实现最低成本的DR 缺点： 1. 不支持大规模的批处理； 2. 支持insert into，但最理想的是消费Kafka； 全球敏捷运维峰会 广州站 ClickHous

业务范围涵盖涵半投资银行直接投资.证券.保险.基金、飞机租 赁.资产管理,金融科技等多个领域,为全球客户提供全面的金融服务。 业务挑战 中国银行在生产实践中采用中 Zabbix 运维监控方案, 作为开源云原生方案, Zabbix 一直使用 MySQL 作为 后端存储, 在面对更大规模监控需求的时候, 单机 MySQL 数据库面临性能和容量瓶颈, 无法支持几T量级 的数据, 使得监控对象的数量和数据存储时间不能莱得。 TiDB 是兼容 MySQL 协议的分布式数据库, 在易用性与平滑升级方面比其他监控后台数据库方案更有优 势,中国银行决定采用 TiDB 痊换 Zabbix 后端的 MySQL,构建新一代运维监控平台。 Tizabbix 解决方案 在不改动 Zabbix 源码的情况下,采用 TiDB 普换 MYSQL, 实现监控数据的采集,存储和查询, 把监控对象的 自动注册改为使用 API 延迟注册, 解决事务冲突的问题TiDB 解决事务冲突的问题TiDB 支持表分区, 通过 Drop Partition 来解决历史 数据的删除问题。 TiZabbix 方案的架构设计简洁,采用 Agent 主动模式有效减少 zabbix Server 的压力, 在大规模数据量场 景下, 通过灵活使用API来规避一些 Web 操作的失效问题。目前, Tizabbix 方案在中国银行各类场景中监 控对象的数量超过 10000+, 数据量达到 18T

• OpSets: Sequential Specifications for Replicated Datatypes • Thanks For Watching 本PPT来自2019携程技术峰会 更多信息请关注“携程技术中心”微信公众号~

5.可配置的load balance和重连策略 6、query build 7、Object mapper Datastax java driver 1.ansible自动部署 2.Zabbix监控 运维和监控 运维和监控 性能调优 1.集群调优 1)Cassandra本身参数优化设置 2)JVM参数优化设置 2.schema设计优化 性能调优-集群调优化 集群参数设置 1