蔡岳毅-基于ClickHouse+StarRocks构建支撑千亿级数据量的高可用查询引擎不支持事务,没有真正的update/delete; 2. 不支持高并发,可以根据实际情况修改qps相关配置文件; 全球敏捷运维峰会 广州站 StarRocks的特点 优点: 1. 支持标准的SQL语法,兼容MySql协议; 2. MPP架构,扩缩容非常简单方便; 3. 支持高并发查询; 4. 跨机房部署,实现最低成本的DR 缺点: 1. 不支持大规模的批处理; 2. 支持insert into,但最理想的是消费Kafka; A_temp 全球敏捷运维峰会 广州站 针对ClickHouse的保护机制 1. 被动缓存; 2. 主动缓存; 全球敏捷运维峰会 广州站 ClickHouse集群架构 Ø 虚拟集群最少两台机器在不同的机房; Ø 数据独立,多写,相互不干扰; Ø 数据读取通过应用程序做负载平衡; Ø 灵活创建不同的虚拟集群用于适当的场合; Ø 随时调整服务器,新增/缩减服务器; 分布式: k8s的集群式部署0 码力 | 15 页 | 1.33 MB | 1 年前3
4. ClickHouse在苏宁用户画像场景的实践Index = 8 集合:[1, 2, 3, 5, 8, 13, 21] RoaringBitmap原理介绍 主要原理:将32bit的Integer划分为高16位和低16位(两个short int),两者之间是Key-Value的 关系。高16位存到short[] keys,通过高16位(Key)找到所对应Container,然后把剩余的低 16位(Value)放入该Contain 场景:对选出符合发优惠券条件的用户迚行画像分析,人群特征分析。 操作:用户指定标签及标签间的逡辑关系,查询出符合标签逡辑的用户ID数据集,然后对数 据集迚行用户画像分析。一条SQL完成人群圈选、用户画像两个劢作。 标签逡辑表达式,包含标签、算术运算符、逡辑运算符、括号。 查询出符合标签表达式的用户ID Bitmap对象, 然后将Bitmap对象不画像表迚行不(AND)操作,返回用户画像信息。0 码力 | 32 页 | 1.47 MB | 1 年前3
6. ClickHouse在众安的实践花费~250s,性能瓶颈在硬盘io (iostat util 100%) • 第二次执行,大部分数据已经在内存里 花费~18s,性能瓶颈在cpu (top cpu usage ~1447%) • 两次运行的比较: Metric First run Second run top %CPU ~116% ~1447% Peak Memory 1.84GiB 1.91GiB iostat %util0 码力 | 28 页 | 4.00 MB | 1 年前3
2. ClickHouse MergeTree原理解析-朱凯长,直至A192为止。 MergeTree的索引粒度index_granularity = 3。 索引的查询过程 MergeTree会将此数据片段划分成192/3=64个小的MarkRange,两个相邻 MarkRange相距的步长为1。其中, 所有MarkRange(整个数据片段)的 最大数值区间为[A000 , +inf)。 索引的查询过程 整个索引查询的逻辑,可以大致分为3个步骤:0 码力 | 35 页 | 13.25 MB | 1 年前3
共 4 条
- 1













