 ClickHouse在B站海量数据场景的落地实践Future Work Future Work v ClickHouse集群容器化,提升物理集群资源使⽤率 v ClickHouse倒排索引调研与改造,提升⽇志检索性能 v 丰富ClickHouse编码类型,拓展zorder应⽤场景,提升圈选计算性能 v ClickHouse存算分离探索,降低集群扩容成本 Q&A0 码力 | 26 页 | 2.15 MB | 1 年前3 ClickHouse在B站海量数据场景的落地实践Future Work Future Work v ClickHouse集群容器化,提升物理集群资源使⽤率 v ClickHouse倒排索引调研与改造,提升⽇志检索性能 v 丰富ClickHouse编码类型,拓展zorder应⽤场景,提升圈选计算性能 v ClickHouse存算分离探索,降低集群扩容成本 Q&A0 码力 | 26 页 | 2.15 MB | 1 年前3
 8. Continue to use ClickHouse as TSDBQingCloud 自研的一 款高性能、具备强大 分析 能力的时序数据库产品 高性能并发读写 • 千万数据点并发实时写入 • 引入辅助索引,加快数据检索 速度 低成本存储 • 列式存储结合高效的编码 • Delta、XOR 等适合时序场景的压缩算法 • 通过 Rollup 功能,对历史数据做聚合,减少数据量 稳定可扩展 • 分布式架构 • 数据多副本存储 • 服务高可用 Thanks For0 码力 | 42 页 | 911.10 KB | 1 年前3 8. Continue to use ClickHouse as TSDBQingCloud 自研的一 款高性能、具备强大 分析 能力的时序数据库产品 高性能并发读写 • 千万数据点并发实时写入 • 引入辅助索引,加快数据检索 速度 低成本存储 • 列式存储结合高效的编码 • Delta、XOR 等适合时序场景的压缩算法 • 通过 Rollup 功能,对历史数据做聚合,减少数据量 稳定可扩展 • 分布式架构 • 数据多副本存储 • 服务高可用 Thanks For0 码力 | 42 页 | 911.10 KB | 1 年前3
 2. Clickhouse玩转每天千亿数据-趣头条解决: clickhouse安装完成以后,在users.xml文件中配置一下max_memory_usage_for_all_queries,控制 clickhouse-server最大占用内存,避免被OS kill 我们遇到的问题 Memory limit (for query) exceeded:would use 9.37 GiB (attempt to allocate chunk of0 码力 | 14 页 | 1.10 MB | 1 年前3 2. Clickhouse玩转每天千亿数据-趣头条解决: clickhouse安装完成以后,在users.xml文件中配置一下max_memory_usage_for_all_queries,控制 clickhouse-server最大占用内存,避免被OS kill 我们遇到的问题 Memory limit (for query) exceeded:would use 9.37 GiB (attempt to allocate chunk of0 码力 | 14 页 | 1.10 MB | 1 年前3
 2. ClickHouse MergeTree原理解析-朱凯本和数据采样等所有的基本能力,而家族中其他的表引擎则在MergeTree的基础之 上各有所长。 MergeTree的名称由来 MergeTree在写入一批数据时,数据总会以数据片段的形式写入磁盘,且数据 片段不可修改。为了避免片段过多,ClickHouse会通过后台线程定期合并这 些数据片段,属于相同分区的数据片段会被合成一个新的片段。这种数据片 段往复合并的特点也正是合并树的名称由来。 MergeTree的创建方式0 码力 | 35 页 | 13.25 MB | 1 年前3 2. ClickHouse MergeTree原理解析-朱凯本和数据采样等所有的基本能力,而家族中其他的表引擎则在MergeTree的基础之 上各有所长。 MergeTree的名称由来 MergeTree在写入一批数据时,数据总会以数据片段的形式写入磁盘,且数据 片段不可修改。为了避免片段过多,ClickHouse会通过后台线程定期合并这 些数据片段,属于相同分区的数据片段会被合成一个新的片段。这种数据片 段往复合并的特点也正是合并树的名称由来。 MergeTree的创建方式0 码力 | 35 页 | 13.25 MB | 1 年前3
 4. ClickHouse在苏宁用户画像场景的实践ch_label_dist_date 查询 分布式表 标签数据表 HDFS 导入  HDFS上采用snappy.parquet格式存储数据。  采用AB表切换方式,避免查询和写入的冲突,标签数据表以日期结尾命名。  通过重建分布式表迚行AB表切换,指向丌同日期的标签数据表。  通过增加标签数据表的副本数,提升幵发性能。 21 用户画像系统常见应用场景0 码力 | 32 页 | 1.47 MB | 1 年前3 4. ClickHouse在苏宁用户画像场景的实践ch_label_dist_date 查询 分布式表 标签数据表 HDFS 导入  HDFS上采用snappy.parquet格式存储数据。  采用AB表切换方式,避免查询和写入的冲突,标签数据表以日期结尾命名。  通过重建分布式表迚行AB表切换,指向丌同日期的标签数据表。  通过增加标签数据表的副本数,提升幵发性能。 21 用户画像系统常见应用场景0 码力 | 32 页 | 1.47 MB | 1 年前3
共 5 条
- 1













