4. ClickHouse在苏宁用户画像场景的实践密的占用空间相 同。通常会使用一种bitmap压缩算法迚行优化。 RoaringBitmap是一种已被业界广泛使用的高效的bitmap压缩算法,使用者包括Spark、 Hive、ElasticSearch、Kylin、Druid、InfluxDB等, 详见:http://roaringbitmap.org/ 通过单个bitmap可以完成精确去重操作,通过多个bitmap的and、or、xor、andnot等位 Contents 苏宁如何使用ClickHouse ClickHouse集成Bitmap 用户画像场景实践 17 用户画像原有的流程及痛点 Hive表 商品数据 ElasticSearch 用户数据 交易数据 HBase Redis 第三方… Spark 用户画像平台 现有的流程: ES中定义标签的大宽表 通过Spark关联各种业务数据,插入到ES大 查询请求平均响应时长在2秒以下,复杂查询在10秒内。 支持标签数据实时更新,增加标签、删除标签、修改标签。 标签表达式和查询SQL对用户来说比较友好。 相对亍ElasticSearch的配置,可以节约一半硬件资源。 速度快 友好 省钱 实时 29 社区贡献 Bitmap功能 https://github.com/ClickHous0 码力 | 32 页 | 1.47 MB | 1 年前3
共 1 条
- 1













