ClickHouse在B站海量数据场景的落地实践品:北极星 v 行为数据分析平台主要以下功能模块: 事件分析 v 海量埋点事件数据,⽇增数据千亿级。 v ⽤户⾏为事件的多维度分析场景。 v 事件包含公共属性和私有属性,均可作过滤和聚合维度。 v 不同事件有不同的私有属性字段。 v 动态选择的过滤维度和聚合维度。 v 交互式分析延迟要求 (5秒内)。 路径分析 v 选定中⼼事件。 v 按时间窗⼜确定上下游事件。 v 离线S0 码力 | 26 页 | 2.15 MB | 1 年前3
2. 腾讯 clickhouse实践 _2019丁晓坤&熊峰游戏 营销活动 Dbbinlog 数据库采集 Game DB 数 据 管 理 + 元 数 据 TDBANK 准实时传输管道 Kafka-Pipeline 实时管道 TDW 数据仓库 采 集 存 储 大数据应用 PaaS平台 数据挖掘与内容推荐 PaaS 精准 推荐 知识 图谱 精细化 运营 … iData 大数据分析PaaS 实时 分析 多维 分析 Analytical Engine & Database 大数据仓库 Hadoop Data Lake 计算引擎 MR & Spark Data Warehouse OLTP Big Data Analysis 数据报表 多 维 聚 合 iData大数据分析引擎 TGMars TGSpark & Storage 大数据仓库 Hadoop Data Lake 计算引擎 MR & 10 一切以用户价值为依归 24 业务应用实践 iData 2 如何使用ClickHouse ClickHouse集群 TGMARS DATA 消息中间件 RDBMS(MYSQL) 数据仓库(TDW) 画像服务 BI服务 查询服务 ETL工具 一切以用户价值为依归 25 业务应用实践 iData 2 • 支持更多的机器学习算法 • 支持explain 查看整个sql 执行计划0 码力 | 26 页 | 3.58 MB | 1 年前3
3. 数仓ClickHouse多维分析应用实践-朱元01 1,基于公司对数据要求为T+1 2. 基于现有开发人员水平及成本 因此采用可视化同步工具kettle. 先将oracle数据平台维度信息以及相关主题清单数据同步至clichouse数据 仓库 Oracle数据平台 • 通过kettle每天 定时导出文件至 本地 Etl服务器 • 通过clickhouse- client将文本导 入ck数据库 clickhouse数据库0 码力 | 14 页 | 3.03 MB | 1 年前3
6. ClickHouse在众安的实践洞察与应对 预测与行动 源数据 数据清洗 标准报表 OLAP系统 商务智能(BI) 机器学习建模 人工智能优化 发生了什么? 为什么发生? 什么会发生? 什么是最佳决策? 分析性数据仓库 数据洞察与可视化 数据治理 预测分析与机器学习 CHAPTER 众安集智平台与clickhouse 02 集智平台 X-Brain AI 开放平台 计算框架 Hadoop, JStorm0 码力 | 28 页 | 4.00 MB | 1 年前3
Тестирование ClickHouse которого мы заслуживаемНастроенный -Weverything › Система сборки CMake + Ninja › Статический бинарник под все Linux › Запуск в Docker и Vagrant › 6 млн строк в contrib › Сборки для энтузиастов 9 / 77 Тестирование ClickHouse, которого ClickHouse, которого мы заслуживаем Тесты совместимости проверяем: › Версии символов @GLIBC_ › Запуск в docker на CentOS 5 и Ubuntu 12.04 чиним: › Заменяем функции из glibc на куски из musl › Убираем слишком хосте 24 / 77 Тестирование ClickHouse, которого мы заслуживаем Интеграционные тесты: фреймворк › docker-compose для окружения › python + pytest для описания сценария › Конфигурация в коде 25 / 77 Тестирование0 码力 | 84 页 | 9.60 MB | 1 年前3
ClickHouse on KubernetesClickHouse Operator ClickHouseInstallation YAML file (Apache 2.0 source, distributed as Docker image) ClickHouse cluster resources kubectl apply create resources What does ClickHouse0 码力 | 34 页 | 5.06 MB | 1 年前3
ClickHouse on Kubernetesyour-favorite namespace ClickHouse cluster resources (Apache 2.0 source, distributed as Docker image) Altinity ClickHouse Operator Quick Start Installing and removing the ClickHouse operator0 码力 | 29 页 | 3.87 MB | 1 年前3
共 7 条
- 1













