基于 Rust Arrow Flight 的物联网和时序数据传输及转换工具 霍琳贺Conf 2023 CONTENTS 自 我 介 绍 T D e n g i n e t a o s X R u s t 使 用 TDengine Rust • OOXML - Excel 解析库 • xlsx2csv - Excel 转 CSV 工具 • Unqlite - 单文件非关系型数据库 • Wisecondor - 生物信息 CNV 分析 • mdsn - A Multi-address 需要建库、建表, 为提升写入和查询效率,要求一个数据采集点一张表 为实现多表聚合,引入超级表概念 子表通过超级表创建,带有标签,通过标签实现多表 高效聚合 高效写入 支持标准 SQL 写入,支持批量写入 支持 Schemaless 写入 支持从 Kafaka, MQTT, OPC, PI System 以及文 件直接导入 数据源导入时,可定义规则引擎 TDengine: FLOAT) TAGS ( `groupid` INT, `location` VARCHAR(24)) TDengine - 业务模式 开源版 企业版 云服务版 核心功能开源 • SQL 支持 • 无模式写入 • 缓存 • 流计算 • 数据订阅 • 集群、高可用 高可靠、线性扩展 + 专业技术服务 • 边云数据复制 • 跨云 / 异地数据复制 • 增量备份 • 多级存储0 码力 | 29 页 | 2.26 MB | 1 年前3
C++高性能并行编程与优化 - 课件 - 15 C++ 系列课:字符与字符串‘ -’ ),会被当成数字的一部分,例如 stoi(“-42”) 会得到 -42 。 • 有时候我们的字符串里是十六进制的数字,如何解析呢?例如 “ 7cfe” 。 • 这就要用到 stoi 的第三个参数 base 了,他默认为 10 ,代表十进制。 • 如果需要解析十六进制的数字就把 base 设为 16 ,八进制就让 base 为 8 。 • 因为指定第三参数前需要先指定第二参数,如果不用第二参数,写个 源码大赏 string_view 源码大赏 string_view 源码大赏 标准库 string 源码解析 第 8 章 string 的本质是 basic_string string 的本质是 basic_string • 所以在调试的时候经常会看到 string 被 c++filt 解析为 basic_string, allocator > basic_string 就行了。 • 同理, string_view 其实也是 basic_string_view > 的类型别名。 string 源码解析 • 先看 GCC 标准库内部变量的命名规范,观察可以发现: • _M_xyz 表示成员变量 / 函数。 • _S_xyz 表示静态成员变量 / 函数。 • __xyz 表示函数参数。 • _Tp_xyz 0 码力 | 162 页 | 40.20 MB | 1 年前3
应用 waPC (rust) 做软件测试工具_res); } Example includes handshake, websocket codec, and message modification 模拟数据规则 例子包括握手,数据解析, 更改数据 new Websocket(“ws://localhost:3335") 模拟前 - before 模拟后 - after • Wasm builds a req buffer0 码力 | 30 页 | 2.50 MB | 1 年前3
C++高性能并行编程与优化 - 课件 - 04 从汇编角度看编译器优化或是清零,并优化成对标准库这俩的调用 。 从 0 到 1024 填充: SIMD 加速 paddd :四个 int 的加法 movdqa :加载四个 int 从 0 到 1024 填充: SIMD 加速(续) 看不懂?小彭老师解析一下。右边是方便大家理解的伪代码: 一次写入 4 个 int ,一次计算 4 个 int 的加法,从而更加高 效但这样有个缺点,那就是数组的大小必须为 4 的整数倍 否则就会写入越界的地址! 如果不是0 码力 | 108 页 | 9.47 MB | 1 年前3
Zadig 面向开发者的云原生 DevOps 平台、 许 可 和 支 持 的 管 理 产品各版本功能差异 基础版注重工程师体验,专家版保障稳定可靠高效发布;企业版安全发布、数据运营及企业扩展定制 3 Zadig 平台工程模式及 应用场景、架构解析 开发者自服务 • 通过自服务的方式来加快发布速 度,无需与运维持续沟通 降低个人心智负担 • 通过平台工程,将底层的复杂性 抽象化,降低个人心智负担,提 高开发效率 可重用降低运维成本0 码力 | 59 页 | 81.43 MB | 1 年前3
C++高性能并行编程与优化 - 课件 - 11 现代 CMake 进阶指南• 当然,直接用编辑器打开 build/CMakeCache.txt 修改后保存也是可以的。 • CMakeCache.txt 用文本存储数据,就是可供用 户手动编辑,或是被第三方软件打开并解析的。 缓存变量到底该如何更新?暴力解决:删 build 大法 用万能的“删 build 大法”当然是可以的。这样重新执行的时候缓存变量不存在, 从而 set 会重新设置缓存的值为 world 。建议初学者每次修改0 码力 | 166 页 | 6.54 MB | 1 年前3
C++高性能并行编程与优化 - 课件 - 08 CUDA 开启的 GPU 编程cublas 等常用库(大概) • GPU 红黑高斯 + 多重网格实战 • 继续锐评黄某勋 • 感兴趣的扣 1 • OpenMP 新特性( parallel for 之外的) • SIMD 指令全解析( mm 开头那堆) • 内存与缓存优化进阶(第七课的延伸) • 二分查找法优化案例(针对缓存行的) • eigen 、 glm 、 vectorclass 等常用库(可能) • CPU 红黑高斯0 码力 | 142 页 | 13.52 MB | 1 年前3
谈谈MYSQL那点事16G ,最好本值超 1024M innodb_flush_log_at_trx _commit 1 0 0 代表日志只大约每秒写入日志文件并且日志文件 刷新到磁盘 ; 1 为执行完没执行一条 SQL 马上 commit; 2 代表日志写入日志文件在每次提交 后 , 但是日志文件只有大约每秒才会刷新到磁盘上 . 对速度影响比较大,同时也关系数据完整性 innodb_log_file_size 设计合理的数据表结构:适当的数据冗余 设计合理的数据表结构:适当的数据冗余 对数据表建立合适有效的数据库索引 对数据表建立合适有效的数据库索引 数据查询:编写简洁高效的 数据查询:编写简洁高效的 SQL SQL 语句 语句 应用优化 应用优化 应用优化方式 应用优化方式 应用优化 应用优化 表结构设计原则 表结构设计原则 选择字段的一般原则是保小不保大,能用占用字节 少的字段就不用大字段。比如,主键,强烈建议用 date/tim date/tim e e 等 等 类型的字段建立索引 类型的字段建立索引 需要的时候建立联合索引,但是要注意查询 需要的时候建立联合索引,但是要注意查询 SQL SQL 语句的编写 语句的编写 谨慎建立 谨慎建立 unique unique 类型的索引(唯一索引) 类型的索引(唯一索引) 大文本字段不建立为索引,如果要对大文本字段进行检索,0 码力 | 38 页 | 2.04 MB | 1 年前3
新一代分布式高性能图数据库的构建 - 沈游人Rust 开发的分布式存储引 擎及图计算引擎,精细的内存 管理设计,内置索引系统,支 持毫秒级的并发查询响应速度 易用 AQL(Atlas Graph Query Language) ,类 SQL 的图查询 语言,内置上百种分析函数, 面向分析师友好,拥抱标准, 基于 openCypher 向 ISO GQL 迈进 实时大图 支持万亿节点存储及流式计算 引擎的结合,最新数据实时入 库构图,为在线业务决策分析 Standard • Incorporate by reference specifications from SQL/Framework and SQL/Foundation • Capabilities needed by both SQL/PGQ (Property Graph Queries in SQL) and the GQL standard • GQL Specific Capabilities International Standard) Ballot starts •2023-11 – DIS ballot ends •2024-04 – International Standard 类 SQL 语言,简单易用,面向分析师友好 查询引擎:计算请求执行流程 Cypher AST Unresolved Logical Plan Logical Plan Optimized Logical0 码力 | 38 页 | 24.68 MB | 1 年前3
ClickHouse: настоящее и будущеесистема Я расскажу 01 Почему ClickHouse — плохая система 02 И что с этим делать 03 3 Impala Spark SQL Presto/Trino Drill Actian Vortex Kylin Kudu MonetDB Actian Vector Actian Matrix Redshift Greenplum OmniSci (mapD) Brytlyt HyPER Pinot kdb+ Shakti MemSQL (SingleStore) Vertica SAP HANA Sybase IQ MS SQL with CS index Oracle Exadata IBM Netezza, IBM BLU TiDB Hawq Vectorwise Snowflake Citus Druid аутентификация • Все доступные средства тестирования в CI ClickHouse — удобная система 7 Язык SQL, адаптированный для удобства аналитики: • Алиасы в любом месте запроса • Массивы, кортежи, лямбда0 码力 | 32 页 | 2.62 MB | 1 年前3
共 16 条
- 1
- 2













