Solutions 2. MySQL Engine Not suitable for big tables Not suitable for MongoDB Possible Solutions 3. Reinit whole table every day…… Possible Solutions 4. CollapsingMergeTree ● FINAL is slow ● GROUP Delete PTS Magical Flag Delete id name flag 2 Bob1 2 2 Bob2 1 2 Bob2 3 id name flag 2 Bob1 2 2 Bob2 2 2 Bob2 3 PTS Magical Flag Add new column PTS Magical Flag Why fast? Clickhouse Mutation 2019-10-01 00:00:00 UUID1 2 Bob1.5 2 2019-10-01 12:00:00 UUID2 2 Bob2 2 2019-10-02 00:00:00 UUID3 2 Bob2 3 2019-10-03 00:00:00 BONUS Time travel history state Create Update Update Delete Future ● Auto

document storage 2 / 97 Highload Architecture https://github.com/donnemartin/system-design-primer 3 / 97 Highload Architecture › Webserver (Apache, Nginx) › Cache (Memcached) https://github.com/don Amazon SQS) › Coordination system (Zookeeper, etcd) › MapReduce (Hadoop, Spark) › Network File System (S3, HDFS) https://github.com/donnemartin/system-design-primer 6 / 97 Highload Architecture › Webserver Amazon SQS) › Coordination system (Zookeeper, etcd) › MapReduce (Hadoop, Spark) › Network File System (S3, HDFS) › Key-Value Storage (Redis, Aerospike) › Relational DBMS (PostgreSQL, MySQL) › NoSQL DBMS (MongoDB

marketing • AI-based customer service • ... Our Partners and Customers Begin Content Area = 16,30 3 About Me Chenzhang HU 胡宸章 R&D Engineer at CraiditX Focusing on AI systems and algorithms Active centralMoment(3)(x) / pow(stddevPop(x), 3) FROM data SELECT (sum(pow(x, 3)) / count() - 3 * sum(pow(x, 2)) * sum(x) / pow(count(), 2) + 2 * pow(sum(x), 3) / pow(count(), 3)) / pow(stddevPop(x), 3) FROM data r1)(require(get(1) = ''product_info.html''), product_id(get(2)), return(''viewed'')), rule(r3, r2)(require(get(1) = ''product_buy.html''), verify(product_id = get(2)), return(''purchased''))

ClickHouse集成Bitmap 用户画像场景实践 2 选择ClickHouse的原因 1. 速度快 2. 特性发布快 3. 软件质量高 4. 物化视图 5. 高基数查询 6. 精确去重计数（count distinct） 3 精确去重计数性能测试 4亿多的数据集上，去重计算出6千万整形数值， 非精确去重函数：uniq、uniqHLL12、uniqCombined 00101110 00100001 00100000 …… Byte[0] Byte[1] Byte[2] Byte[n] 9 Index = 8 集合：[1, 2, 3, 5, 8, 13, 21] RoaringBitmap原理介绍 主要原理：将32bit的Integer划分为高16位和低16位(两个short int)，两者之间是Key-Value的 关系。高16位存到short[] user_id product_id 1 2019-10-01 1 p1 2 2019-10-01 1 p2 3 2019-10-01 2 p1 4 2019-10-01 3 p1 5 2019-10-02 3 p2 6 2019-10-02 4 p1 7 2019-10-02 5 p1 8 2019-10-02 5

Хеш-таблицы в ClickHouse 1. GROUP BY 2. JOIN 3. SELECT DISTINCT 44 Хеш-таблица 55 Основные методы 1. lookup O(1) average 2. insert O(1) average 3. erase O(1) average (Не очень важен для наших сценариев) Дизайн хеш-таблицы 02 Составляющие хеш-таблицы 88 1. Хеш-функция 2. Способ разрешения коллизий 3. Ресайз 4. Способ размещения ячеек в памяти Выбор хеш-функции 99 1. Не использовать identity-функцию для целочисленных типов 2. Не использовать хэш-функции для строк (CityHash) для целочисленных типов 3. Не использовать криптографические хэш-функции, если вас не атакуют. Например, вычисление SipHash ~980

ClickHouse/StarRocks的高可用架构； 3. 如何合理的应用ClickHouse的优点，StarRocks 如何来补充ClickHouse 的短板； 4. ClickHouse的调优，运维介绍； 5. 应用总结； 全球敏捷运维峰会 广州站 根据实际业务场景需要来选择 1. 不固定的查询条件，不固定的汇总条件； 2. 数据量日益增量，每天要更新的数据量也不断增大； 3. 业务场景不断增多，涉及面越来越广； 不断的研究，实践； 全球敏捷运维峰会 广州站 ClickHouse 的特点 优点： 1. 数据压缩比高，存储成本相对非常低； 2. 支持常用的SQL语法，写入速度非常快，适用于大量的数据更新； 3. 依赖稀疏索引，列式存储，cpu/内存的充分利用造就了优秀的计算能力， 并且不用考虑左侧原则； 缺点： 1. 不支持事务，没有真正的update/delete； 2. 不支持高并发，可以根据实际情况修改qps相关配置文件； 不支持高并发，可以根据实际情况修改qps相关配置文件； 全球敏捷运维峰会 广州站 StarRocks的特点 优点： 1. 支持标准的SQL语法，兼容MySql协议； 2. MPP架构，扩缩容非常简单方便； 3. 支持高并发查询； 4. 跨机房部署，实现最低成本的DR 缺点： 1. 不支持大规模的批处理； 2. 支持insert into，但最理想的是消费Kafka； 全球敏捷运维峰会 广州站

集群现状 • 我们遇到的问题 业务背景 基于storm的实时指标的计算存在的问题 1：指标口径(SQL) -> 实时任务 2：数据的回溯 3：稳定性 业务背景 什么是我们需要的? 1：实时指标SQL化 2：数据方便回溯，数据有问题，方便恢复 3：运维需要简单 4：计算要快，在一个周期内，要完成所有的指标的计算 集群现状 100+台32核128G 部分复杂累时查询30S内完成 集群现状 集群现状 我们遇到的问题 关于机器的配置 早期集群机器配置16核64G 一块1.7T本地SSD 问题： 1：内存限制，对于一些大的查询会出现内存不够问题 2：存储限制，随着表越来多，磁盘报警不断 3：cpu限制 64G对于一些大表(每天600亿+)的处理，很容易报错，虽然有基于磁盘解决方案，但是会影响速度 clickhouse的数据目录还不支持多个数据盘，单块盘的大小限制太大 cpu需要根据实际情况而定 eventType) or order by (eventType, timestamp) 业务场景 1：趣头条和米读的上报数据是按照”事件类型”(eventType)进行区分 2：指标系统分”分时”和”累时”指标 3：指标的一般都是会按照eventType进行区分 select count(1) from table where dt='' and timestamp>='' and timestamp<='' and

丁晓坤 & 熊峰 一切以用户价值为依归 2 • Clickhouse 的部署与监控管理 • Clickhouse 的应用实践 iData 目录 部署与监控管理 一切以用户价值为依归 3 1 4 部署与监控管理 1 高内存，廉价存储： 单机配置: Memory128G CPU核数24 SATA20T，RAID5 万兆网卡 一切以用户价值为依归 5 部署与监控管理 1 Shard02 Shard03 Load Balancing 一切以用户价值为依归 6 部署与监控管理 1 线性平滑扩容： 扩容： 1.安装新部署新的shard分片机器 2.新shard上创建表结构 3.批量修改当前集群的配置文件增加新的分片 4.名字服务添加节点 一切以用户价值为依归 7 部署与监控管理 1 大批量，少批次 WriteModel BatchSize RowLengt h Server Scheduler SQL-Parser QueryOptimier Column1 DataNode Column2 Column3 ColumnN Column1 DataNode Column2 Column3 ColumnN bitmap 画像下钻分布式计算引擎 多维 提取 iData大数据分析引擎 分布式多维计算引擎 基于位图索引和行式内容存储

неделю вливается 40 пулл реквестов › 20% изменений от внешних разработчиков › Уже 6900 звездочек! 3 / 77 Тестирование ClickHouse, которого мы заслуживаем Пулл реквесты 4 / 77 Тестирование ClickHouse zoo1 zoo2 zoo3 29 / 77 Тестирование ClickHouse, которого мы заслуживаем Интеграционные тесты: пример hdfs1 node1:9018 192.168.2.1 node2:9018 192.168.2.2 blocade zoo1 zoo2 zoo3 iptables -I DOCKER-USER Интеграционные тесты: пример hdfs1 node1:9018 192.168.2.1 node2:9018 192.168.2.2 blocade zoo1 zoo2 zoo3 INSERT INTO tt SELECT * FROM hdfs('hdfs://hdfs1:9000/tt', 'TSV') client 31 /