基于 Rust Arrow Flight 的物联网和时序数据传输及转换工具 霍琳贺数据源导入时,可定义规则引擎 TDengine: 与上下游应用的关系 TDengine = Time-Series Database + Caching + Data Subscription + Stream Processing Shell: Command Line Interface High Performance, Cloud Native Simplified Solution for Time-Series • RecordBatch • IPC Stream Tonic + Arrow Flight • 以流为中心的 RPC 框架 Tokio - Future and .abort() • Future • JoinHandle::abort() Tokio - Cancel • Case 2: tokio::select with stream::iter • Case 1: cancel 调用时,要关注上下文的线程安全性。 • 多个运行时之间使用 Channel 通信,降低锁使用范围。 Tokio - Graceful Stop • futures::future::Abortable 可用于短路一个 stream • tokio_util::sync::CancellationToken 可用于向一个或多个任务发出取 消信号, Task 内使用 tokio::select! 宏执行相关取消操作。 •0 码力 | 29 页 | 2.26 MB | 1 年前3
新一代分布式高性能图数据库的构建 - 沈游人可靠,故障自愈,低成本运维 HTAP Hybrid Transactional/Analytical Processing ,高性能图计算引 擎,预置 20 余种图计算算法 ,可扩展的分析引擎支持更复 杂的数据挖掘和机器学习场景 MPP Massively Parallel Processing 架构,大规模集群 分布式存储及并行计 算, Shared Nothing 模式支 持存储计算分离 Notebook 超参数自动优化 • 支持超参数自动调优,解放算 法科学家生产力,避免繁杂的 手动调参 海致图神经网络平台特点 Rust 语言特性助力构建高性能图数据库 01 利用 Rust Stream 进行数据流式 处理 02 03 协程和严格的内存安全性,编译 时捕获数据竞争和并发问题 异步物理算子实现,异步 IO 数 据获取 01 可静态分发的 Trait 在不带来性 能损失的同时也提高代码组织性0 码力 | 38 页 | 24.68 MB | 1 年前3
ClickHouse: настоящее и будущееBY, ASOF JOIN, ANY/SEMI JOIN, argMin/argMax Функции для предметной области из коробки: • Click-stream: функции обработки URL и IP-адресов • Performance monitoring: квантили • Geospatial: geoDistance данных • Функции обработки текста на естественном языке • Потоковые запросы и complex event processing • Key-value витрины данных, инкрементальная агрегация в оперативке • Выполнение запросов с использованием0 码力 | 32 页 | 2.62 MB | 1 年前3
C++高性能并行编程与优化 - 课件 - 07 深入浅出访存优化取了,从而浪费了 2 倍带宽。 绕过缓存,直接写入: _mm_stream_si32 • 因此需要把 16 次 float 用 SIMD 指令合并成一次 写入,且写入的地址要对齐到 64 字节,才能避免 浪费读取的带宽。这样的条件实在有点苛刻,毕 竟小彭老师的电脑还不支持 AVX512 。 • 可以用 _mm_stream_si32 指令代替直接赋值的 写入,他能够绕开缓存,将一个 4 bitcast 一下参数。 stream 的特点:不会读到缓存里 • 因为 _mm_stream_si32 会绕开缓存,直 接把数据写到内存,之后读取的话,反而 需要等待 stream 写回执行完成,然后重 新读取到缓存,反而更低效。 • 因此,仅当这些情况: 1. 该数组只有写入,之前完全没有读取过 。 2. 之后没有再读取该数组的地方。 • 才应该用 stream 指令。 4 倍矢量化的版本: 倍矢量化的版本: _mm_stream_ps • _mm_stream_si32 可以一次性写入 4 字 节到挂起队列。而 _mm_stream_ps 可以 一次性写入 16 字节到挂起队列,更加高 效了。 • 他的第二参数是一个 __m128 类型,可以 配合其他手写的 SIMD 指令使用。 • 不过, _mm_stream_ps 写入的地址必须 对齐到 16 字节,否则会产生段错误等异0 码力 | 147 页 | 18.88 MB | 1 年前3
应用 waPC (rust) 做软件测试工具$Port/call/$Operation?targets=\/v2\/m atches\/.*\/info" \ --header "Content-Type:application/octet- stream" \ --data-binary "@target/wasm32- unknown-unknown/release/examples/ $3.wasm" Mock rule based on0 码力 | 30 页 | 2.50 MB | 1 年前3
THE FIRST EXPLORATION OF PROJECT SPARROWReplace C++ with Rust in AI frameworks II. Practicing Sparrow Ideas Today, most of the main stream AI frameworks such like Tensorflow, PyTorch and MXNet embrace Python+C++ for their software0 码力 | 68 页 | 13.14 MB | 1 年前3
C++高性能并行编程与优化 - 课件 - 06 TBB 开启的并行编程之旅tbb::parallel_for 进一步并行。 流水线的利弊 • 流水线式的并行,因为每个线程执行的指令之间往往 没有关系,主要适用于各个核心可以独立工作的 CPU , GPU 上则有 stream 作为替代。 • 流水线额外的好处是可以指定一部分 filter 为串行的 (如果他们没办法并行调用的话)而其他 filter 可以 和他同时并行运行。这可以应对一些不方便并行,或 者执0 码力 | 116 页 | 15.85 MB | 1 年前3
C++23: An Overview of Almost All New and Updated FeaturesFeatures Garbage Collection Support95 std::spanstream Defined in Allows to use stream operations on external buffers E.g. input: char data[] = "11 22"; std::ispanstream s { std::span {data} 0 码力 | 105 页 | 759.96 KB | 6 月前3
Performance Lets dive into Performance issuesval++; }; for (var i=0;i<100000;i++) { doSomething(fun); } } Data Processing • Anything that does any amount of work; if possible move to your worker thread. • Gathering0 码力 | 15 页 | 1.71 MB | 1 年前3
共 9 条
- 1













