使用gRPC go实现 基于Topic的高效消息订阅发布模型 姓名 张凯 中国电子云 目 录 gRPC go 介绍 01 gRPC四种通信模式及落地场景 02 根据proto生成go桩代码 03 订阅者动态注册 04 发布者消息推送 05 现场案例演示 06 gRPC go介绍 gRPC是什么？ 01. 副标题 开篇思考几个问题 01. 副标题 gRPC介绍 Web开发 基于通信模式如何落地？ 01. 副标题 流式传输 基于通信模式如何落地？ 01. 副标题 以及，本次分享的 “ ” 基于Topic消息发布订阅 基于Topic的消息发布模型简介 01. 副标题 基于Topic的消息发布模型简介 01. 副标题 BRIAN KERNGHAN service PubSubService { rpc Publish(PublishRequest) 服务器和客户端的接口代码。  --go_out=.: 类似地，这个选项指定了非 gRPC 相关的 Protocol Buffers 消息结构体等 Go 语言代码的输出目录， 同样为当前目录。protoc-gen-go 插件会处理 .proto 文 件中的消息定义并生成对应的 Go 结构体。 订阅者动态注册 01. 副标题 type subscriber chan interface{}

7/1/2017 基于amqp实现的golang消息队列MaxQ http://192.168.10.11:3999/maxq.slide#1 1/22 基于amqp实现的golang消息队列 MaxQ 2017-07-01 张培培 饿了么－基础框架组 7/1/2017 基于amqp实现的golang消息队列MaxQ http://192.168.10.11:3999/maxq.slide#1 2. IPC消息队列 3. AMQP协议 4. MaxQ架构模型 5. MaxQ相关特性 6. 使用场景和案例 7/1/2017 基于amqp实现的golang消息队列MaxQ http://192.168.10.11:3999/maxq.slide#1 3/22 1. 队列 跟消息队列相比，有哪些共性？ 7/1/2017 基于amqp实现的golang消息队列MaxQ 生产者消费者 通信方式 存储方式 堆积能力 消息可靠性 生产消费关系 Pull/Push 7/1/2017 基于amqp实现的golang消息队列MaxQ http://192.168.10.11:3999/maxq.slide#1 5/22 2. IPC消息队列 跟消息队列相比，有哪些共性？ 7/1/2017 基于amqp实现的golang消息队列MaxQ http://192.168

第三届中国 Rust 开发者大会 PromQL Got a BOOST: 用 Rust 重写 Prometheus 的查询引擎 Ruihang Xia @greptime.com Ruihang GitHub: waynexia Losing hair at Greptime Wanna sleep 10 hrs/day Learn JS every year Healing

第三届中国Rust开发者大会 Rust在物理引擎研发中的应用 崔汉青 Motphys CEO Motphys 驱动虚拟世界的全部运动 体验 应用 基础应用： 内容生成工具、 交易市场等 基础硬件： 5G/6G、 半导体、 VR/AR等 基础软件： 渲染引擎、 动作物理引擎等 静态表现力 动态表现力 渲染技术 动作物理技术 动作技术 Motion 物理技术 Physics 保证每个目标平台的极致性能 跨端确定性 – 保证所有目标平台计算结 果完全一致 具备分布式能力 – 通过横向扩展突破单 机物理算力的上限 Motphys 物理引擎的设计目标 Rust 的性能和 C/C++ 比肩，支持 SIMD 优 化，满足苛求性能的引擎研发需求； Rust 的零开销抽象甩掉了复杂设计的性能包袱 # 高性能 Rust 在不损耗性能的情况下，其优秀的语 法设计保证了语言的强大表达力：用更少 在语法层面极大程度保证了内存安全 和并发安全 语言内建的 async/await，还有优秀的 crates rayon（计算密集型并发支持）和 tokio（IO 密集型并发支持） 为什么选择 Rust Motphys 物理引擎架构 Broad Phase Narrow Phase Candidate Collision Pairs Manifold Build Collision Pairs Collision

2016 年初至今，CAT 接入的应用增加了400%，机器数增加了 900%，每天处理的消息总量高达 3200 亿，存储消息量近 400TB，高峰期集群 QPS 达 650万/秒。 面对流量的成倍增长，CAT 在通信、计算、存储方面都遇到了前所未有的挑战。整个系统架构也经历了 一系列的升级和改造，包括消息采样聚合、消息存储、业务多维度指标监控、统一告警等等，项目最终稳 定落地。为公司未来几年内业务流量的稳定增长，打下了坚定的基石。 0 开源发布，支持多语言客户端及多项性能提升 - 美团技术团队 性能提升 性能提升 消息采样聚合 消息采样聚合在客户端应对大流量时起到了至关重要的作用，当采样命中或者内存队列已满时都会经 过采样聚合上报。采样聚合是对消息树拆分归类，利用本地内存做分类统计，将聚合之后的数据进行 上报，减少客户端的消息量以及降低网络开销。 通信协议优化 CAT 客户端与服务端通信协议由自定义文本协议升级 议，向下兼容旧版客户端。 测试环境：CentOS 6.5，4C8G 虚拟机 测试结果：新版相比旧版，序列化耗时降低约 3 倍 消息文件存储 新版消息文件存储进行了重新设计，解决旧版本的文件存储索引、数据文件节点过多以及随机 IO 恶化的 问题。 新版消息文件存储为了同时兼顾读写性能，引入了二级索引存储方案，对同一个应用的 IP 节点进行合 并，并且保证一定的顺序存储。下图是索引结构的

TensorFlow 在美团外卖推荐场景的 GPU 训练优化实践 855 CompletableFuture 原理与实践 - 外卖商家端 API 的异步化 879 工程效能 CI/CD 之流水线引擎的建设实践 912 美团外卖搜索基于 Elasticsearch 的优化实践 933 美团图灵机器学习平台性能起飞的秘密（一） 953 提升资源利用率与保障服务质量，鱼与熊掌不可兼得？ 部署时优化 3.1 图优化 量化部署时，可以直接利用 TensorRT 的 PTQ 接口进行生成量化引擎，但是这种 方法往往精度损失较大。因此，一般要先进行 QAT，使量化模型精度满足业务需求， 然后导出带有“Quant”、“DeQuant”节点的 ONNX，最后再利用 TensorRT 构 建量化引擎。我们发现这两种方案最终生成的图结构并不相同，导致部署模型的实际 运行效率存在很大的差异，通常 还有较大差距。我们对此现 象进行了细致的分析，发现原因是 QAT 引入的“Quant”，“DeQuant”节点打破了 原有 TensorRT 的融合策略，导致了很多算子无法融合，从而影响了最终量化引擎 的性能。在这一节中，我们以 YOLOv6s_repopt 为例，展示一种定位具体瓶颈的图 优化方法。在量化实践中，图优化是一个很实用的手段，我们可以依法炮制，提升模 型的 QPS。 算法 <

可视化的中间件工具，大幅 缩短建链、开发、部署应用的时间。此外，FISCO BCOS通过信通院可信区 块链评测功能、性能两项评测，单链TPS可达两万。 关键特性 整体架构 架构模型 一体两翼多引擎 群组架构 支持链内动态扩展多群组 分布式存储 支持海量数据存储 并行计算 支持块内交易并行执行 节点类型 共识节点、观察节点 计算模型 排序-执行-验证 系统性能 峰值TPS 2万+ PBFT、Raft、rPBFT 存储引擎 存储设计 支持KV和SQL 引擎类型 支持leveldb、rocksdb、mysql CRUD接口 提供CRUD接口访问链上数据 网络协议 节点间通信 P2P协议 客户端与节点通 信 JsonRPC，Channel协议 消息订阅服务 AMOP协议 智能合约 合约引擎 支持Solidity和预编译合约 引擎特点 图灵完备，沙盒运行 整体架构 版本控制 数据备份与恢复 提供数据导出与恢复服务组件 监控统计 输出统计日志，提供监控工具 监管审计 基于WeBASE，提供监管审计入口 架构 FISCO BCOS 在2.0中，创新性提出“一体两翼多引擎”架构，实现系统吞吐能 力的横向扩展，大幅提升性能，在安全性、可运维性、易用性、可扩展性 上，均具备行业领先优势。 一体指代群组架构，支持快速组建联盟和建链，让企业建链像建聊天群一样 便利。根据业

可视化的中间件工具，大幅 缩短建链、开发、部署应用的时间。此外，FISCO BCOS通过信通院可信区 块链评测功能、性能两项评测，单链TPS可达两万。 关键特性 整体架构 架构模型 一体两翼多引擎 群组架构 支持链内动态扩展多群组 分布式存储 支持海量数据存储 并行计算 支持块内交易并行执行 节点类型 共识节点、观察节点 计算模型 排序-执行-验证 系统性能 峰值TPS 2万+ PBFT、Raft、rPBFT 存储引擎 存储设计 支持KV和SQL 引擎类型 支持leveldb、rocksdb、mysql CRUD接口 提供CRUD接口访问链上数据 网络协议 节点间通信 P2P协议 客户端与节点通 信 JsonRPC，Channel协议 消息订阅服务 AMOP协议 智能合约 合约引擎 支持Solidity和预编译合约 引擎特点 图灵完备，沙盒运行 整体架构 版本控制 数据备份与恢复 提供数据导出与恢复服务组件 监控统计 输出统计日志，提供监控工具 监管审计 基于WeBASE，提供监管审计入口 架构 FISCO BCOS 在2.0中，创新性提出“一体两翼多引擎”架构，实现系统吞吐能 力的横向扩展，大幅提升性能，在安全性、可运维性、易用性、可扩展性 上，均具备行业领先优势。 一体指代群组架构，支持快速组建联盟和建链，让企业建链像建聊天群一样 便利。根据业

可视化的中间件工具，大幅 缩短建链、开发、部署应用的时间。此外，FISCO BCOS通过信通院可信区 块链评测功能、性能两项评测，单链TPS可达两万。 关键特性 整体架构 架构模型 一体两翼多引擎 群组架构 支持链内动态扩展多群组 分布式存储 支持海量数据存储 并行计算 支持块内交易并行执行 节点类型 共识节点、观察节点 计算模型 排序-执行-验证 系统性能 峰值TPS 2万+ PBFT、Raft、rPBFT 存储引擎 存储设计 支持KV和SQL 引擎类型 支持leveldb、rocksdb、mysql CRUD接口 提供CRUD接口访问链上数据 网络协议 节点间通信 P2P协议 客户端与节点通 信 JsonRPC，Channel协议 消息订阅服务 AMOP协议 智能合约 合约引擎 支持Solidity和预编译合约 引擎特点 图灵完备，沙盒运行 整体架构 版本控制 数据备份与恢复 提供数据导出与恢复服务组件 监控统计 输出统计日志，提供监控工具 监管审计 基于WeBASE，提供监管审计入口 架构 FISCO BCOS 在2.0中，创新性提出“一体两翼多引擎”架构，实现系统吞吐能 力的横向扩展，大幅提升性能，在安全性、可运维性、易用性、可扩展性 上，均具备行业领先优势。 一体指代群组架构，支持快速组建联盟和建链，让企业建链像建聊天群一样 便利。根据业