新一代分布式高性能图数据库的构建 - 沈游人低资源消耗 • 易用 • 功能丰富 AtlasGraph 关键特性 云原生 Cloud-Native Graph Database 支持弹性伸缩,有 效利用硬件资源,高可用,高 可靠,故障自愈,低成本运维 HTAP Hybrid Transactional/Analytical Processing ,高性能图计算引 擎,预置 20 余种图计算算法 ,可扩展的分析引擎支持更复 杂的数据挖掘和机器学习场景 Rust 开发的分布式存储引 擎及图计算引擎,精细的内存 管理设计,内置索引系统,支 持毫秒级的并发查询响应速度 易用 AQL(Atlas Graph Query Language) ,类 SQL 的图查询 语言,内置上百种分析函数, 面向分析师友好,拥抱标准, 基于 openCypher 向 ISO GQL 迈进 实时大图 支持万亿节点存储及流式计算 引擎的结合,最新数据实时入 库构图,为在线业务决策分析 specifications from SQL/Framework and SQL/Foundation • Capabilities needed by both SQL/PGQ (Property Graph Queries in SQL) and the GQL standard • GQL Specific Capabilities •2019-09 – 39075 Database Language GQL0 码力 | 38 页 | 24.68 MB | 1 年前3
ClickHouse: настоящее и будущеесистема Я расскажу 01 Почему ClickHouse — плохая система 02 И что с этим делать 03 3 Impala Spark SQL Presto/Trino Drill Actian Vortex Kylin Kudu MonetDB Actian Vector Actian Matrix Redshift Greenplum OmniSci (mapD) Brytlyt HyPER Pinot kdb+ Shakti MemSQL (SingleStore) Vertica SAP HANA Sybase IQ MS SQL with CS index Oracle Exadata IBM Netezza, IBM BLU TiDB Hawq Vectorwise Snowflake Citus Druid аутентификация • Все доступные средства тестирования в CI ClickHouse — удобная система 7 Язык SQL, адаптированный для удобства аналитики: • Алиасы в любом месте запроса • Массивы, кортежи, лямбда0 码力 | 32 页 | 2.62 MB | 1 年前3
sync clickhouse with mysql mongodbCRUD directly Can’t update/delete table frequently in Clickhouse Possible Solutions 2. MySQL Engine Not suitable for big tables Not suitable for MongoDB Possible Solutions 3. Reinit whole table Trouble Shoot ● SQL is too big(max_ast_elements, max_expanded_ast_elements) ● Mutations are stuck (KILL MUTATION) ● Zookeeper OOM because of SQL length (Put ids in a Memory Engine temp table) Final0 码力 | 38 页 | 2.25 MB | 1 年前3
基于 Rust Arrow Flight 的物联网和时序数据传输及转换工具 霍琳贺T D e n g i n e t a o s X R u s t 使 用 TDengine: 时序数据库 TDengine 是一款开源、云原生的时序数据库( Time Series Database ),专为物联网、工业互联网、金融、 IT 运维监控等场景设计并优化,具有极强的弹性伸缩能力。同时它还带有内建的缓存、流式计算、数据订阅等 系统功能,能大幅减少系统设计的复杂度,降低研发 多表 高效聚合 高效写入 支持标准 SQL 写入,支持批量写入 支持 Schemaless 写入 支持从 Kafaka, MQTT, OPC, PI System 以及文 件直接导入 数据源导入时,可定义规则引擎 TDengine: 与上下游应用的关系 TDengine = Time-Series Database + Caching + Data Subscription FLOAT) TAGS ( `groupid` INT, `location` VARCHAR(24)) TDengine - 业务模式 开源版 企业版 云服务版 核心功能开源 • SQL 支持 • 无模式写入 • 缓存 • 流计算 • 数据订阅 • 集群、高可用 高可靠、线性扩展 + 专业技术服务 • 边云数据复制 • 跨云 / 异地数据复制 • 增量备份 • 多级存储0 码力 | 29 页 | 2.26 MB | 1 年前3
Analyzing MySQL Logs with ClickHouse16 MySQL Audit Logs to ClickHouse © 2018 Percona. 17 When to use MySQL Audit Logs Audit Database Access Have Limited Level of Details Allows extensive filtering by Object, User Account etc 20 Clickhouse/ClickTail Setup • Install Schema • cat schema/db.sql | clickhouse-client –multiline • cat schema/mysqlaudit.sql | clickhouse-client –multiline • Configure ClickTail • [Required Options] Percona. 26 Clickhouse/ClickTail Setup • Install Schema • cat schema/db.sql | clickhouse-client –multiline • cat schema/mysql.sql | clickhouse-client –multiline • Configure ClickTail • [Required Options]0 码力 | 43 页 | 2.70 MB | 1 年前3
Harbor Deep Dive - Open source trusted cloud native registryVulnerability Scanning Job Service Admin Service Harbor components 3rd party components SQL Database Key/Value Storage Persistence components Local or Remote Storage (block, file, object) Users0 码力 | 15 页 | 8.40 MB | 1 年前3
Performance Lets dive into Performance issuesFunctions and objects defined in loops • Statements like debugger, eval, with. • How to access Native Engine information • Object class modifications. Threading • In NativeScript by default everything runs amount of work; if possible move to your worker thread. • Gathering and saving data from/to your database is a prime example. Enabling Optimization Testing • npm i v8-natives --save • Edit your app/package v8Flags V8 Natives • Docs: https://github.com/NathanaelA/v8-Natives • Gives you access to low level engine information. Things like: getHeapUsage(), deoptimizeNow, optimizeFunctionOnNextCall, getOptimizationStatus0 码力 | 15 页 | 1.71 MB | 1 年前3
谈谈MYSQL那点事16G ,最好本值超 1024M innodb_flush_log_at_trx _commit 1 0 0 代表日志只大约每秒写入日志文件并且日志文件 刷新到磁盘 ; 1 为执行完没执行一条 SQL 马上 commit; 2 代表日志写入日志文件在每次提交 后 , 但是日志文件只有大约每秒才会刷新到磁盘上 . 对速度影响比较大,同时也关系数据完整性 innodb_log_file_size 设计合理的数据表结构:适当的数据冗余 设计合理的数据表结构:适当的数据冗余 对数据表建立合适有效的数据库索引 对数据表建立合适有效的数据库索引 数据查询:编写简洁高效的 数据查询:编写简洁高效的 SQL SQL 语句 语句 应用优化 应用优化 应用优化方式 应用优化方式 应用优化 应用优化 表结构设计原则 表结构设计原则 选择字段的一般原则是保小不保大,能用占用字节 少的字段就不用大字段。比如,主键,强烈建议用 date/tim date/tim e e 等 等 类型的字段建立索引 类型的字段建立索引 需要的时候建立联合索引,但是要注意查询 需要的时候建立联合索引,但是要注意查询 SQL SQL 语句的编写 语句的编写 谨慎建立 谨慎建立 unique unique 类型的索引(唯一索引) 类型的索引(唯一索引) 大文本字段不建立为索引,如果要对大文本字段进行检索,0 码力 | 38 页 | 2.04 MB | 1 年前3
Что нужно знать об архитектуре ClickHouse, чтобы его эффективно использоватьподходит ClickHouse › Интерактивные запросы по данным, обновляемым в реальном времени › Диалект SQL + расширения › Стараемся заранее ничего не агрегировать › Нужны очищенные структурированные данные зрения CAP–теоремы Всё вместе › Column–oriented › Сверхбыстрые интерактивные запросы › Диалект SQL + расширения › Плохо подходит для OLTP, Key–Value, хранения блобов › Линейная масштабируемость ›0 码力 | 28 页 | 506.94 KB | 1 年前3
Await-Tree Async Rust 可观测性的灵丹妙药 - 赵梓淇设计原理与实现 2 回顾 Async Rust 的设计与痛点 1 Await-Tree 的 应用与真实案例 3 Await Tree 在 RisingWave 中的应用 • 云原生 SQL 流式数据库 • risingwave.com • GitHub 4.5k Stars • “Materialized View” • 计算:分布式流计算任务,实时增量维护 • 存储: S3 上的0 码力 | 37 页 | 8.60 MB | 1 年前3
共 19 条
- 1
- 2













