 4. ClickHouse在苏宁用户画像场景的实践精确去重计数(count distinct) 3 精确去重计数性能测试 4亿多的数据集上,去重计算出6千万整形数值, 非精确去重函数:uniq、uniqHLL12、uniqCombined 精确去重函数:uniqExact、groupBitmap 函数 时长(秒) 去重后个数 误差个数 误差率 uniq(id) 1.554 63195280 155973 0.25% Run Container  Bitmap Container 10 RoaringBitmap原理介绍 11 丌仅数据结构设计精巧,而且还有 很多高效的Bitmap计算函数。 稀疏数据,劢态分配 最大存储:4096元素 最大空间:8KB 连续数据,劢态分配 最大存储:65536元素 最大空间:128KB 稠密数据,固定大小 最大存储:65536元素 yandex/docs/en/query_language/agg_functions/reference/#groupbitmap 表示groupBitmap聚合函数的中间状态。 可以通过groupBitmapState创建。 13 注:ClickHouse聚合函数有一些函数后缀可以使用: -State:获取聚合的中间计算结果 -Merge:将中间计算结果迚行合幵计算,返回最终结果 -MergeState0 码力 | 32 页 | 1.47 MB | 1 年前3 4. ClickHouse在苏宁用户画像场景的实践精确去重计数(count distinct) 3 精确去重计数性能测试 4亿多的数据集上,去重计算出6千万整形数值, 非精确去重函数:uniq、uniqHLL12、uniqCombined 精确去重函数:uniqExact、groupBitmap 函数 时长(秒) 去重后个数 误差个数 误差率 uniq(id) 1.554 63195280 155973 0.25% Run Container  Bitmap Container 10 RoaringBitmap原理介绍 11 丌仅数据结构设计精巧,而且还有 很多高效的Bitmap计算函数。 稀疏数据,劢态分配 最大存储:4096元素 最大空间:8KB 连续数据,劢态分配 最大存储:65536元素 最大空间:128KB 稠密数据,固定大小 最大存储:65536元素 yandex/docs/en/query_language/agg_functions/reference/#groupbitmap 表示groupBitmap聚合函数的中间状态。 可以通过groupBitmapState创建。 13 注:ClickHouse聚合函数有一些函数后缀可以使用: -State:获取聚合的中间计算结果 -Merge:将中间计算结果迚行合幵计算,返回最终结果 -MergeState0 码力 | 32 页 | 1.47 MB | 1 年前3
 2. 腾讯 clickhouse实践 _2019丁晓坤&熊峰Ø单表计算 不能进行多表关联计算 一切以用户价值为依归 21 业务应用实践 iData 2 为什么选择ClickHouse • SQL • OLAP • 超高性能 • 列式存储 • 统计函数 • 线性扩展 • 驱动丰富 0.817 1.883 1.168 1.417 1.15 1.751 2.762 1.474 1.11 2.786 3.47 4.362 30 码力 | 26 页 | 3.58 MB | 1 年前3 2. 腾讯 clickhouse实践 _2019丁晓坤&熊峰Ø单表计算 不能进行多表关联计算 一切以用户价值为依归 21 业务应用实践 iData 2 为什么选择ClickHouse • SQL • OLAP • 超高性能 • 列式存储 • 统计函数 • 线性扩展 • 驱动丰富 0.817 1.883 1.168 1.417 1.15 1.751 2.762 1.474 1.11 2.786 3.47 4.362 30 码力 | 26 页 | 3.58 MB | 1 年前3
共 2 条
- 1













