使用gRPC go实现 基于Topic的高效消息订阅发布模型 姓名 张凯 中国电子云 目 录 gRPC go 介绍 01 gRPC四种通信模式及落地场景 02 根据proto生成go桩代码 03 订阅者动态注册 04 发布者消息推送 05 现场案例演示 06 gRPC go介绍 gRPC是什么？ 01. 副标题 开篇思考几个问题 01. 副标题 gRPC介绍 基于通信模式如何落地？ 01. 副标题 流式传输 基于通信模式如何落地？ 01. 副标题 以及，本次分享的 “ ” 基于Topic消息发布订阅 基于Topic的消息发布模型简介 01. 副标题 基于Topic的消息发布模型简介 01. 副标题 BRIAN KERNGHAN service PubSubService { rpc Publish(PublishRequest) 服务器和客户端的接口代码。  --go_out=.: 类似地，这个选项指定了非 gRPC 相关的 Protocol Buffers 消息结构体等 Go 语言代码的输出目录， 同样为当前目录。protoc-gen-go 插件会处理 .proto 文 件中的消息定义并生成对应的 Go 结构体。 订阅者动态注册 01. 副标题 type subscriber chan interface{} type topicFunc

7/1/2017 基于amqp实现的golang消息队列MaxQ http://192.168.10.11:3999/maxq.slide#1 1/22 基于amqp实现的golang消息队列 MaxQ 2017-07-01 张培培 饿了么－基础框架组 7/1/2017 基于amqp实现的golang消息队列MaxQ http://192.168.10.11:3999/maxq.slide#1 2. IPC消息队列 3. AMQP协议 4. MaxQ架构模型 5. MaxQ相关特性 6. 使用场景和案例 7/1/2017 基于amqp实现的golang消息队列MaxQ http://192.168.10.11:3999/maxq.slide#1 3/22 1. 队列 跟消息队列相比，有哪些共性？ 7/1/2017 基于amqp实现的golang消息队列MaxQ 生产者消费者 通信方式 存储方式 堆积能力 消息可靠性 生产消费关系 Pull/Push 7/1/2017 基于amqp实现的golang消息队列MaxQ http://192.168.10.11:3999/maxq.slide#1 5/22 2. IPC消息队列 跟消息队列相比，有哪些共性？ 7/1/2017 基于amqp实现的golang消息队列MaxQ http://192.168

项完整的集成创新技术正式诞生 • 比特币诞生，是世界上首个区 块链应用系统。发展至今有力 地证明了区块链技术的创新性、 颠覆性和顽强的生存能力 中本聪 比特币Bitcoin 2013 • 以太坊发布以太坊白皮书， 引入智能合约，推出首个 图灵完备的区块链平台， 进入区块链2.0时代 以太坊Ethereum 新基建 • Linux 基 金 会 成 立 了 Hyperledger开源项目，IBM、 版权所有 ©2016-2021 11 趣链科技 版权所有 ©2016-2021 11 趣链科技 版权所有 ©2016-2021 11 公有�架构（⾮�可�架构） 应⽤层 数据层 块链式结构 账户模型 时间戳 ⽹络层 共识层 激励层 发⾏机制 分配机制 PoW PoS DPoS 可编程货币 可编程⾦融 可编程社会 合约层 智能合约脚本 算法机制 合约执⾏引擎 哈希算法 数字签名 P2P⽹络 分布式⼀致性算法 典型共识算法 新型共识算法 合约层 智能合约脚本 合约执⾏引擎 分布式应⽤DApp ⽹络层 P2P⽹络 区块链⽹络模型 区块链⽹络协议 扩 展 层 扩展操作 跨链协议 链上链下计算 预⾔机 扩展组件 消息队列MQ 证书管理 测试框架 治理层 权限体系 治理模型 区块链审计 BaaS运维治理 应⽤层 司法存证 供应链⾦融 智慧政务 物联⽹ 能源电⼒ 跨境贸易 ⼯业物联⽹

基于混淆电路路的通 ⽤用解决⽅方案 2016年年⾕谷歌提出联 邦学习，解决安卓 ⼿手机终端⽤用户的联 合模型训练 2009年年Gentry⾸首 次提出了了全同态 算法 2013年年Intel推出SGX指 令集扩展，提供软硬件 ⼀一体的可信执⾏行行环境 2016年年发布的《隐私计 算研究范畴及发展趋势》 ⾸首次提出了了隐私计算概念 2021年年国内正式提 出了了隐私计算+区 趣链科技版权所有©2016 – 2021 7 隐私计算技术分类 • 安全多⽅方计算 纯密码学技术实现数据的可 ⽤用不不可⻅见 • 可信执⾏行行环境 基于TEE硬件保障计算环境安全 可信，提供计算模型及数据双维 度安全 • 联邦学习 结合机器器学习和密码学算 法，数据联邦化训练，充 分释放数据价值 02 隐私计算平台 架构 趣链科技版权所有©2016 – 2021 9 平台体系 隐私计算节点 本地数据库 发起⽅方节点 隐私计算节点 本地数据库 参与⽅方节点A 隐私计算节点 本地数据库 参与⽅方节点B 1.创建任务 2.完善⼦子模型 并分发 3. 权限校验 5. 执⾏行行隐私计 算算法 4.模型审核 6.返回隐私计算结果 7.记录上链 趣链科技版权所有©2016 – 2021 11 匿匿踪查询 集合运算 矩阵运算 基础运算 统计分析 ⽐比较排序

14.3 协程的同步：关闭通道-测试阻塞的通道 14.4 使用 select 切换协程 14.5 通道、超时和计时器（Ticker） 14.6 协程和恢复（recover） 14.7 新旧模型对比：任务和worker 14.8 惰性生成器的实现 14.9 实现 Futures 模式 第 15 章 网络，模板和网页应用 15.1 tcp服务器 15.2 一个简单的网页服务器 15 语言的主要特性与发展的环境和影响因素 第1章：Go 语言的起源，发展与普及 - 14 - 本文档使用 书栈(BookStack.CN) 构建 1.1 起源与发展 Go 语言起源 2007 年，并于 2009 年正式对外发布。它从 2009 年 9 月 21 日开始作为谷歌公司 20% 兼职项 目，即相关员工利用 20% 的空余时间来参与 Go 语言的研发工作。该项目的三位领导者均是著名的 IT 工程师： Robert 平台上的版本。Hector Chu 于同年 11 月 22 日公布了 Windows 版本。 作为一个开源项目，Go 语言借助开源社区的有生力量达到快速地发展，并吸引更多的开发者来使用并改善它。自该开 源项目发布以来，超过 200 名非谷歌员工的贡献者对 Go 语言核心部分提交了超过 1000 个修改建议。在过去的 18 个月里，又有 150 开发者贡献了新的核心代码。这俨然形成了世界上最大的开源团队，并使该项目跻身

语言的起源，发展与普及 第2章：安装与运行环境 第3章：编辑器、集成开发环境与其它工具 第1章：Go 语言的起源，发展与普及 1.1 起源与发展 Go 语言起源 2007 年，并于 2009 年正式对外发布。它从 2009 年 9 月 21 日开始作为谷歌公司 20% 兼 职项目，即相关员工利用 20% 的空余时间来参与 Go 语言的研发工作。该项目的三位领导者均是著名的 IT 工程师：Robert 平台上的版本。Hector Chu 于同年 11 月 22 日公布了 Windows 版本。 作为一个开源项目，Go 语言借助开源社区的有生力量达到快速地发展，并吸引更多的开发者来使用并改 善它。自该开源项目发布以来，超过 200 名非谷歌员工的贡献者对 Go 语言核心部分提交了超过 1000 个 修改建议。在过去的 18 个月里，又有 150 开发者贡献了新的核心代码。这俨然形成了世界上最大的开源 团队，并使该项目跻身 Go 语言在这项排名中的最高记录是在 2010 年 2 月创下的第13 名，流行程度 1778%。 时间轴： 2007 年 9 月 21 日：雏形设计 2009 年 11 月 10日：首次公开发布 2010 年 1 月 8 日：当选 2009 年年度语言 2010 年 5 月：谷歌投入使用 2011 年 5 月 5 日：Google App Engine 支持 Go 语言 从 2010

欢迎来到Go的世界，让我们开始探索吧！ Go是一种新的语言，一种并发的、带垃圾回收的、快速编译的语言。它具有以下特点： 它可以在一台计算机上用几秒钟的时间编译一个大型的Go程序。 Go为软件构造提供了一种模型，它使依赖分析更加容易，且避免了大部分C风格include文件与库的开头。 Go是静态类型的语言，它的类型系统没有层级。因此用户不需要在定义类型之间的关系上花费时间，这样感 觉起来比典型的面向对象语言更轻量级。 //客户端字符编码集 //空行,用于分割请求头和消息体 //消息体,请求资源参数,例如POST传递的参数 我们通过fiddler抓包可以看到如下请求信息 图3.4 fiddler抓取的GET信息 88 图3.5 fiddler抓取的POST信息 我们可以看到GET请求消息体为空，POST请求带有消息体 我们可以看到GET请求消息体为空，POST请求带有消息体。 HTTP协议定义了很 Content-Length: 90 //主体内容长度 //空行 用来分割消息头和主体 消息体 Response包中的第一行叫做状态行，由HTTP协议版本号， 状态码， 状态消息 三部分组成。 状态码用来告诉HTTP客户端,HTTP服务器是否产生了预期的Response。HTTP/1

/ 策略的设计开发可并行 - 运营可闭环策略设计，开发无需介入 方案详述——完整架构 先对整个架构有一个大概的认识 - 消息队列消费：解耦 MQ - Token 清洗：事件翻译和 token 计算 - 推荐系统：策略召回和推荐 - 数据分析：离线策略挖掘和模型训练 - 管理平台：开发、运营、运维辅助 实现方案——Token 清洗 Token 清洗服务完整流程 - 挑战：150+类 计算逻辑复杂度 - 方案：Token 计算插件化 - 技术选型： - 对比：Lua vs Go 二进制——开发灵活 vs 性能 - 思考：Go 脚本？ - 最终方案： - Go 脚本开发 - 二进制发布 我全都要 方案 耗时（冒泡排序） 耗时（斐波那契） Lua 脚本 94766 ns/op 4957 ns/op Go 脚本 23250 ns/op 27208 ns/op Go 二进制 token 的测试条件 可测试性建设 代码重构或新 token 插件不能影响原有逻辑 自动化测试 - 基于已有的 CI / CD 流水线，加入 CT（持续测试）功能 - 自动化检查、告警、发布 批量对局重放 + token 差异比对输出 总结 & QA 第六部分 代码重构或新 token 插件不能影响原有逻辑 总结 Thank you all!

slide#3 7/36 消息交互 upone 通过 /api/v1/scheduler (/api/v1/scheduler) 和 mesos master 完成交互 2017/8/3 基于 mesos 的容器调度框架 http://go-talks.appspot.com/github.com/huangnauh/slides/upone.slide#3 8/36 订阅 通过 SUBSCRIBE SUBSCRIBE 消息, 开启一个长链接来订阅事件 (Event), 常用事件类型： 2017/8/3 基于 mesos 的容器调度框架 http://go-talks.appspot.com/github.com/huangnauh/slides/upone.slide#3 9/36 OFFERS 事件处理 ACCEPT 消息： 接受此 o�er， 包括启动任务，预留资源等调度操作 DECLINE DECLINE 消息： 明确拒绝此 o�er Filter : 可以设定资源的拒绝时间， 默认是 5s REVIVE 消息 ： 取消之前设定 �lter 2017/8/3 基于 mesos 的容器调度框架 http://go-talks.appspot.com/github.com/huangnauh/slides/upone.slide#3 10/36 UPDATE 事件处理 Image generated

周洋 � � 部⻔门： 360⼿手机助⼿手 Weibo: @johntech-o Date: 2015.04.25 go语⾔言并发编程实践 以360消息推送系统为例 如何应对的？ go语⾔言在基础服务开发领域的优势？ 我遭遇了哪些挑战？ ⺫⽬目录 具有go特⾊色的运维 在⾼高并发，通信交互复杂，重业务逻辑的分布式系统中， Go语⾔言优势体现在：开发体验好 运维管理的go语⾔言编写的常驻service服务实例接近3000个。 业务场景多样： ⽀支持聊天场景业务，稳定⽀支持多款聊天业务app 单通道多app复⽤用 上⾏行通道，回调⽀支持 对智能硬件产品，提供定制化消息推送与转发服务 性能满⾜足需要： 线上单机最⾼高160w⻓长连接 （24核 E5-2630 @ 2.30GHz 64G内存 ） qps在2~5w（取决于协议版本，业务逻辑，接⼊入端⺴⽹网络状况） ） 测试环境，可以通过300w⻓长连接压测（⺴⽹网络,连接稳定,⽆无带宽限制,实际可以更⾼高 ,决定于⼲⼴广播时候业务内存开销的cpu消耗带来的⼼心跳或者业务延时能否接受） 以360消息推送系统为例 ⾼高并发、通信交互复杂 Dispatcher Service Room Service Proxy Service Register Service Saver