Бэкенд Алексей Миловидов ClickHouse: настоящее и будущее Почему ClickHouse — хорошая система Я расскажу 01 Почему ClickHouse — плохая система 02 И что с этим делать 03 3 Impala Spark SQL Presto/Trino jd MariaDB CS Exasol Teradata ClickHouse — хорошая система 4 Это более оптимально ClickHouse не тормозит Доклад «секреты оптимизации производительности ClickHouse» youtube.com/watch?v=ltg8vstuHUU исходя из конкретных сценариев • Внимание к деталям и специализация под сценарии нагрузки ClickHouse — надёжная система 6 • Кросс-ДЦ master-master репликация • Надёжная запись и хранение данных

Тестирование ClickHouse которого мы заслуживаем Александр Сапин Про себя › Работаю в Яндексе › Разрабатываю ClickHouse › Иногда пишу тесты 1 / 77 Тестирование ClickHouse, которого мы заслуживаем Про Про ClickHouse ClickHouse: Поколоночная СУБД › Не тормозит. › Масштабируется линейно › Позволяет хранить петабайты данных › Поддерживает гибкий SQL с расширениями › Отказоустойчив при работе в разных разных ДЦ 2 / 77 Тестирование ClickHouse, которого мы заслуживаем ClickHouse: как проект › Открытый исходный код на C++ › Больше 300 тысяч строк кода › Открытый репозиторий на GitHub › Изменения через пулл

Integrating ClickHouse into Your IT Ecosystem Alexander Sapin, Software Engineer ClickHouse in Production ClickHouse DBMS › Blazing fast › Linearly scalable › Flexible SQL dialect › Store petabytes Fault-tolerant › 1000+ companies using in production › Open-source › Hundreds of contributors 1 / 97 ClickHouse is NOT Good for › Frequent small inserts › Regular updates › Key-value access with high request etcd) › NoSQL DBMS (MongoDB, Couchbase) › OLAP Database (ClickHouse!) https://github.com/donnemartin/system-design-primer 8 / 97 ClickHouse in Production: Yandex.Metrika › Third web analytics service

ClickHouse on Kubernetes! Alexander Zaitsev Altinity Background ● Premier provider of software and services for ClickHouse ● Incorporated in UK with distributed team in US/Canada/Europe ● US/Europe sponsor of ClickHouse community ● Offerings: ○ 24x7 support for ClickHouse deployments ○ Software (Kubernetes, cluster manager, tools & utilities) ○ POCs/Training What is Kubernetes ● allocate machine resources efficiently ● automate application deployment Why run ClickHouse on Kubernetes? Other applications are already there Easier to manage than deployment on hosts

ClickHouse on Kubernetes! Alexander Zaitsev, Altinity Limassol, May 7th 2019 Altinity Background ● Premier provider of software and services for ClickHouse ● Incorporated in UK with with distributed team in US/Canada/Europe ● US/Europe sponsor of ClickHouse community ● Offerings: ○ 24x7 support for ClickHouse deployments ○ Software (Kubernetes, cluster manager, tools & utilities) Why run ClickHouse on Kubernetes? 1. Other applications are already there 2. Portability 3. Bring up data warehouses quickly 4. Easier to manage than deployment on hosts What does ClickHouse look like

wire протокола в ClickHouse Баранов Юрий, 155 Научный руководитель: Миловидов Алексей Николаевич, руководитель группы разработки СУБД ClickHouse Предметная область ClickHouse - это колоночная аналитическая Существующие в ClickHouse интерфейсы Утилита командной строки Нативный интерфейс (TCP) HTTP JDBC Driver ODBC Driver 3 Актуальность задачи Отсутствие необходимости собирать нативный клиент ClickHouse Возможность сервер в ClickHouse Подобрать механизм аутентификации, применимый в ClickHouse Добавить тесты 5 Проблемы при внедрении в ClickHouse Некоторые клиенты использовали поля, недоступные в ClickHouse: https://bugs

reserved. STRICTLY CONFIDENTIAL Begin Content Area = 16,30 $ ￥ € $ €￥ $ £ ￥ ￡ ￥ UDF in ClickHouse Concept, Develpoment, and Application in ML Systems Begin Content Area = 16,30 2 About CraiditX Interested in computer system and language stuff • 8 organizations, 90+ repos, 600+ followers ClickHouse Contributor Begin Content Area = 16,30 4 OLAP in ML Systems Begin Content Area = 16,30 5 TABLE ... AS SELECT ...” A Database System and A ML Pipeline Begin Content Area = 16,30 10 Why ClickHouse Limited hardware resources & time → efficiency matters Performance • Each node is able to handle

MaterializeMySQL Database engine in ClickHouse WinterZhang(张健) About me • Active ClickHouse Contributor • MaterializeMySQL Database Engine • Custom HTTP Handler • MySQL Database Engine • BloomFilter

Machine Learning with ClickHouse Nikolai Kochetov, ClickHouse developer Experimental dataset NYC Taxi and Uber Trips › Where to download: https://www1.nyc.gov/site/tlc/about/tlc-trip-record-data.page page › How to import data into ClickHouse: https://clickhouse.yandex/docs/en/getting_started/example_datasets/nyc_taxi/ › What you can also read: https://toddwschneider.com/posts/ analyzing-1-1-bi Tools you got used to Small sample of data is enough to start All you need is to get it from ClickHouse Couple of lines for Python + Pandas import requests import io import pandas as pd url = 'http://127

Machine Learning with ClickHouse Nikolai Kochetov, ClickHouse developer Experimental dataset NYC Taxi and Uber Trips › Where to download: https://www1.nyc.gov/site/tlc/about/tlc-trip-record-data.page page › How to import data into ClickHouse: https://clickhouse.yandex/docs/en/getting_started/example_datasets/nyc_taxi/ › What you can also read: https://toddwschneider.com/posts/ analyzing-1-1-bi Tools you got used to Small sample of data is enough to start All you need is to get it from ClickHouse Couple of lines for Python + Pandas import requests import io import pandas as pd url = 'http://127