инфраструктуре заказчика • На личном ноутбуке ClickHouse доступен под разные платформы: • x86_64, aarch64 (ARM), PowerPC 64, RISC-V • Linux, FreeBSD, mac OS ClickHouse — настоящий open-source 10 • Исходники cloud-native ClickHouse. Кстати, а что это значит? Сложность разделения ресурсов 21 • Разделение CPU и IO между запросами • Приоритеты запросов • Memory overcommit Недостаточные возможности по интеграции

инфраструктуре заказчика • На личном ноутбуке ClickHouse доступен под разные платформы: • x86_64, aarch64 (ARM), PowerPC 64, RISC-V • Linux, FreeBSD, mac OS ClickHouse — настоящий open-source 10 • Исходники cloud-native ClickHouse. Кстати, а что это значит? Сложность разделения ресурсов 21 • Разделение CPU и IO между запросами • Приоритеты запросов • Memory overcommit Недостаточные возможности по интеграции

first_policy_premium • ... • phone_flag • ha_flag • ... clickhouse集群配置 • 阿里云ECS * 6，生产环境集群 • CPU: • Intel(R) Xeon(R) CPU E5-2682 v4 @ 2.50GH • 12 cores 24 processors • 内存: 96GB • 硬盘: 1TB 高效云盘，最大IO吞吐量 140MBps 花费~250s，性能瓶颈在硬盘io (iostat util 100%) • 第二次执行，大部分数据已经在内存里 花费~18s，性能瓶颈在cpu (top cpu usage ~1447%) • 两次运行的比较： Metric First run Second run top %CPU ~116% ~1447% Peak Memory 1.84GiB 1.91GiB iostat %util 100% > 18s ，～3.8x • ToDos • 优化数据导入流程 • 支持多分区，支持指定主键 • 常用字段加热 29 常用分析性能的命令分享 • linux命令 • top：查看系统cpu使用率，内存使用率等 • iotop：查看系统进程占用io情况 • iostat -dmx 1: 查看磁盘io使用情况，每秒更新 • Clickhouse命令： • set send_logs_level

息预测股价涨跌 不断的汇总日成交量从 而制定商业规划 Why we choose it 不断收集CPU、 Memory等系统指标预 测系统未来趋势 不断收集市场变化信 息预测股价涨跌 不断的汇总日成交量从 而制定商业规划 Why we choose it 不断收集CPU、 Memory等系统指标预 测系统未来趋势 不断收集市场变化信 息预测股价涨跌 不断的汇总日成交量从 PARTITION BY toYYYYMM(Time) ORDER BY (Name, Time, Age, ...); ► Column-Orient Model How we do CPU : Intel Skylake 8 core Memory : 64 GB Disk : 500GB SSD Data Set : TSBS, 12 Hours, 40000 Drivers Rows ► Column-Orient Model How we do :) SELECT value FROM benchmark.tags WHERE (metric_name = 'cpu-usage_user') AND ((created_at >= '2016-01-01 08:00:00') AND (created_at <= '2016-01-01 09:00:00'))

› Кэш OS › Уровень RAID и состояние диска › Положение данных на диске Память: › Аллокатор › Объем CPU: › Количество ядер › Размер кэшей › Планирование https://cdn-images-1.medium.com/max/2600/1*l0rkhXUnMtGFXrRqcaEcoA которого мы заслуживаем Как измерять производительность › Исключить влияние диска и кэшей › Фиксировать CPU и память › Подбирать условия останова › Проверять запросы дольше 10ms › Использовать реальные данные TeamCity, но проще › Запуск произвольного кода на python (задачи) › Фиксирование характеристик хостов (CPU, RAM, OS) › Устойчивость к выпадению хостов › Хранение и поиск артефактов › Запуск задач по таймеру

广州站 ClickHouse 的特点 优点： 1. 数据压缩比高，存储成本相对非常低； 2. 支持常用的SQL语法，写入速度非常快，适用于大量的数据更新； 3. 依赖稀疏索引，列式存储，cpu/内存的充分利用造就了优秀的计算能力， 并且不用考虑左侧原则； 缺点： 1. 不支持事务，没有真正的update/delete； 2. 不支持高并发，可以根据实际情况修改qps相关配置文件； ClickHouse应用小结 • 数据导入之前要评估好分区字段； • 数据导入时根据分区做好Order By； • 左右表join的时候要注意数据量的变化； • 是否采用分布式； • 监控好服务器的cpu/内存波动/`system`.query_log； • 数据存储磁盘尽量采用ssd； • 减少数据中文本信息的冗余存储； • 特别适用于数据量大，查询频次可控的场景，如数据分析，埋点日志系统；

问题： 1：内存限制，对于一些大的查询会出现内存不够问题 2：存储限制，随着表越来多，磁盘报警不断 3：cpu限制 64G对于一些大表(每天600亿+)的处理，很容易报错，虽然有基于磁盘解决方案，但是会影响速度 clickhouse的数据目录还不支持多个数据盘，单块盘的大小限制太大 cpu需要根据实际情况而定 解决： 1：机器的内存推荐128G+ 2：采用软连接的方式，把不同的表分布到不同的盘上面，这样一台机器可以挂载更多的盘

requests: memory: "512Mi" cpu: "500m" limits: memory: "512Mi" cpu: "500m" # Etc. Operator = deployment + monitoring + operation

Clickhouse 的应用实践 iData 目录 部署与监控管理 一切以用户价值为依归 3 1 4 部署与监控管理 1 高内存，廉价存储： 单机配置: Memory128G CPU核数24 SATA20T，RAID5 万兆网卡 一切以用户价值为依归 5 部署与监控管理 1 生产环境部署方案： Distributed Table Replica1Replica1 Replica1Replica1