使用gRPC go实现 基于Topic的高效消息订阅发布模型 姓名 张凯 中国电子云 目 录 gRPC go 介绍 01 gRPC四种通信模式及落地场景 02 根据proto生成go桩代码 03 订阅者动态注册 04 发布者消息推送 05 现场案例演示 06 gRPC go介绍 gRPC是什么？ 01. 副标题 开篇思考几个问题 01. 副标题 gRPC介绍 Web开发 基于通信模式如何落地？ 01. 副标题 流式传输 基于通信模式如何落地？ 01. 副标题 以及，本次分享的 “ ” 基于Topic消息发布订阅 基于Topic的消息发布模型简介 01. 副标题 基于Topic的消息发布模型简介 01. 副标题 BRIAN KERNGHAN service PubSubService { rpc Publish(PublishRequest) 服务器和客户端的接口代码。  --go_out=.: 类似地，这个选项指定了非 gRPC 相关的 Protocol Buffers 消息结构体等 Go 语言代码的输出目录， 同样为当前目录。protoc-gen-go 插件会处理 .proto 文 件中的消息定义并生成对应的 Go 结构体。 订阅者动态注册 01. 副标题 type subscriber chan interface{}

7/1/2017 基于amqp实现的golang消息队列MaxQ http://192.168.10.11:3999/maxq.slide#1 1/22 基于amqp实现的golang消息队列 MaxQ 2017-07-01 张培培 饿了么－基础框架组 7/1/2017 基于amqp实现的golang消息队列MaxQ http://192.168.10.11:3999/maxq.slide#1 2. IPC消息队列 3. AMQP协议 4. MaxQ架构模型 5. MaxQ相关特性 6. 使用场景和案例 7/1/2017 基于amqp实现的golang消息队列MaxQ http://192.168.10.11:3999/maxq.slide#1 3/22 1. 队列 跟消息队列相比，有哪些共性？ 7/1/2017 基于amqp实现的golang消息队列MaxQ 生产者消费者 通信方式 存储方式 堆积能力 消息可靠性 生产消费关系 Pull/Push 7/1/2017 基于amqp实现的golang消息队列MaxQ http://192.168.10.11:3999/maxq.slide#1 5/22 2. IPC消息队列 跟消息队列相比，有哪些共性？ 7/1/2017 基于amqp实现的golang消息队列MaxQ http://192.168

微信号： scottlewis 分布式事务框架 Seata-Golang 刘晓敏 H3C ⽬ 录 Demo 演示 01 Seata 原理 02 Mysql driver 原理 03 Mysql driver 接⼊ 04 TODO & QA 05 分布式事务就是指事务的参与者、⽀持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系 统的不同节点之上。简单的说，就是 统的不同节点之上。简单的说，就是⼀次⼤的操作由不同的⼩操作组成，这些⼩的操作分布在不同的服务器 上，且属于不同的应⽤，分布式事务需要保证这些⼩操作要么全部成功，要么全部失败。本质上来说，分布 式事务就是为了保证不同数据库的数据⼀致性。 什么是分布式事务问题？ Demo 演示 整体机制： • ⼀阶段：业务数据和回滚⽇志记录在同⼀个本地事务中提交，释放本地锁和连接资源。 • ⼆阶段： • 提交异步化，⾮常快速地完成。 • tc 交互，报 告分⽀事务的执⾏状态。如果执⾏ Commit，connCtx 有值则把 sqlUndoItemsBuffer 中的 undoLog 和业务 数据⼀起提交到数据库，然后报告 tc 事务分⽀提交的状态（成功还是失败），否则执⾏正常的提交。如果 执⾏ Rollback，connCtx 有值则回滚然后向 tc 报告分⽀执⾏失败，tc 会根据这个状态回滚整个全局事务， connCtx 没有值则只需正常回滚。

语言的内容，那么服务器会调用动态语言 的解释引擎负责处理“动态内容”，并将处理得到的数据返回给客户端 客户机与服务器断开。由客户端解释HTML文档，在客户端屏幕上渲染图形结果 一个简单的HTTP事务就是这样实现的，看起来很复杂，原理其实是挺简单的。需要注意的是客户机与服务器之间的通 信是非持久连接的，也就是当服务器发送了应答后就与客户机断开连接，等待下一次请求。 URL和DNS解析 URL和DNS解析 协议,它建立在TCP协议之上，一般采用TCP 的80端口。它是一个请求、响应协议--客户端发出一个请求，服务器响应这个请求。在HTTP中，客户端总是通过建立 一个连接与发送一个HTTP请求来发起一个事务。服务器不能主动去与客户端联系，也不能给客户端发出一个回调连 接。客户端与服务器端都可以提前中断一个连接。例如，当浏览器下载一个文件时，你可以通过点击“停止”键来中 断文件的下载，关闭与服务器的HTTP连接。 //客户端字符编码集 //空行,用于分割请求头和消息体 //消息体,请求资源参数,例如POST传递的参数 我们通过fiddler抓包可以看到如下请求信息 图3.4 fiddler抓取的GET信息 88 图3.5 fiddler抓取的POST信息 我们可以看到GET请求消息体为空，POST请求带有消息体 我们可以看到GET请求消息体为空，POST请求带有消息体。 HTTP协议定义了很

在最理想的情况下，Go 能够和 C++ 一样快，比 Scala 快 2 至 3 倍，比 Java 快 5 至 10 倍。 Go 在内存管理方面也可以和 C++ 相媲美，几乎只需要 Scala 所使用的一半，比 Java 少 4 倍左 右。 3.9 与其它语言进行交互 3.9.1 与 C 进行交互 工具 cgo 提供了对 FFI（外部函数接口）的支持，能够使用 Go 代码安全地调用 C 语言库，你可以访问 string) (i int, err error) 返回的形式： return var1, var2 这种多返回值一般用于判断某个函数是否执行成功（true/false）或与其它返回值一同返回错误消息（详见 之后的并行赋值）。 使用 type 关键字可以定义你自己的类型，你可能想要定义一个结构体(第 10 章)，但是也可以定义一个已 经存在的类型的别名，如： type IZ int 这 from function here! ok, disconnected from db 使用 defer 语句实现代码追踪 一个基础但十分实用的实现代码执行追踪的方案就是在进入和离开某个函数打印相关的消息，即可以提炼 为下面两个函数： func trace(s string) { fmt.Println("entering:", s) } func untrace(s string) { fmt

在最理想的情况下，Go 能够和 C++ 一样快，比 Scala 快 2 至 3 倍，比 Java 快 5 至 10 倍。 Go 在内存管理方面也可以和 C++ 相媲美，几乎只需要 Scala 所使用的一半，比 Java 少 4 倍左 右。 3.8 Go 性能说明 - 48 - 本文档使用 书栈(BookStack.CN) 构建 3.9 与其它语言进行交互 工具 cgo 提供了对 FFI（外部函数接口）的支持，能够使用 string) (i int, err error) 返回的形式： 1. return var1, var2 这种多返回值一般用于判断某个函数是否执行成功（true/false）或与其它返回值一同返回错误消息（详见之后的 并行赋值）。 4.2.4 类型 4.2 Go 程序的基本结构和要素 - 62 - 本文档使用 书栈(BookStack.CN) 构建 使用 type 关键字可以定义你自己的类型，你可能想要定义一个结构体(第 function here! 6. ok, disconnected from db 使用 defer 语句实现代码追踪 一个基础但十分实用的实现代码执行追踪的方案就是在进入和离开某个函数打印相关的消息，即可以提炼为下面两个 函数： 1. func trace(s string) { fmt.Println("entering:", s) } 2. func untrace(s string)

合、有序集合、位图 (bitmap）、HyperLogLog、地理理坐标（GEO） • 内存存储和基于多路路复⽤用的事件响应系统，确保了了命令请求的执⾏行行速度和效率 • 丰富的附加功能：事务、Lua 脚本、键过期机制、键淘汰机制、多种持久化⽅方式（AOF、RDB、 RDB+AOF 混合） 特点 • 具有多种不不同的数据结构可⽤用，其中包括：字符串串、散列列、列列表、集合、有序集合、位图 、位图 (bitmap）、HyperLogLog、地理理坐标（GEO） • 内存存储和基于多路路复⽤用的事件响应系统，确保了了命令请求的执⾏行行速度和效率 • 丰富的附加功能：事务、Lua 脚本、键过期机制、键淘汰机制、多种持久化⽅方式（AOF、RDB、 RDB+AOF 混合） • 强⼤大的多机功能⽀支持：主从复制（单主多从）、Sentinel（⾼高可⽤用）、集群（基于 Raft 算法，多 合、有序集合、位图 (bitmap）、HyperLogLog、地理理坐标（GEO） • 内存存储和基于多路路复⽤用的事件响应系统，确保了了命令请求的执⾏行行速度和效率 • 丰富的附加功能：事务、Lua 脚本、键过期机制、键淘汰机制、多种持久化⽅方式（AOF、RDB、 RDB+AOF 混合） • 强⼤大的多机功能⽀支持：主从复制（单主多从）、Sentinel（⾼高可⽤用）、集群（基于

用到日常生活中了。下面，我将举几个具体例子来证实这一点。 例一：查阅字典。在字典里，每个汉字都对应一个拼音，而字典是按照拼音的英文字母顺序排列的。假设我 们需要查找一个拼音首字母为 ? 的字，通常会这样操作： 1. 翻开字典约一半的页数，查看该页首字母是什么，假设首字母为 ? 。 2. 由于在英文字母表中 ? 位于 ? 之后，所以排除字典前半部分，查找范围缩小到后半部分。 3. 不断重复步骤 1‑2 ，直至找到拼音首字母为 数据结构存储在内存中，同时编写代码调用 CPU 和 GPU 执行算法。这样一来，我们就能把生活中的问题转 移到计算机上，以更高效的方式解决各种复杂问题。 � 阅读至此，如果你对数据结构、算法、数组和二分查找等概念仍感到一知半解，那么太好了！ 因为这正是本书存在的意义。接下来，这本书将一步步引导你深入数据结构与算法的知识殿 堂。 1.2. 算法是什么 1.2.1. 算法定义 「算法 Algorithm」是在有限时 expRecur(n-1) + 1 } 对数阶 ?(log ?) 与指数阶相反，对数阶反映了“每轮缩减到一半的情况”。对数阶仅次于常数阶，时间增长缓慢，是理想的时 间复杂度。 对数阶常出现于「二分查找」和「分治算法」中，体现了“一分为多”和“化繁为简”的算法思想。 设输入数据大小为 ? ，由于每轮缩减到一半，因此循环次数是 log2 ? ，即 2? 的反函数。 // === File: time_complexity

一点。 例一：查字典。在字典里，每个汉字都对应一个拼音，而字典是按照拼音字母顺序排列的。假设我们需要查 找一个拼音首字母为 ? 的字，通常会按照图 1‑1 所示的方式实现。 1. 翻开字典约一半的页数，查看该页的首字母是什么，假设首字母为 ? 。 2. 由于在拼音字母表中 ? 位于 ? 之后，所以排除字典前半部分，查找范围缩小到后半部分。 3. 不断重复步骤 1. 和 步骤 2. ，直至找到拼音首字母为 将数据结构存储在内存中，同时编写代码调用 CPU 和 GPU 执行算法。这样一来，我们就能把生活中的问题 转移到计算机上，以更高效的方式解决各种复杂问题。 Tip 如果你对数据结构、算法、数组和二分查找等概念仍感到一知半解，请继续往下阅读，本书将引导你 迈入数据结构与算法的知识殿堂。 1.2 算法是什么 1.2.1 算法定义 算法（algorithm）是在有限时间内解决特定问题的一组指令或操作步骤，它具有以下特性。 可接受的，通常需要使用动态规划或贪心算法等来解决。 5. 对数阶 ?(log ?) 与指数阶相反，对数阶反映了“每轮缩减到一半”的情况。设输入数据大小为 ? ，由于每轮缩减到一半，因 此循环次数是 log2 ? ，即 2? 的反函数。 图 2‑12 和以下代码模拟了“每轮缩减到一半”的过程，时间复杂度为 ?(log2 ?) ，简记为 ?(log ?) ： // === File: time_complexity

一点。 例一：查字典。在字典里，每个汉字都对应一个拼音，而字典是按照拼音字母顺序排列的。假设我们需要查 找一个拼音首字母为 ? 的字，通常会按照图 1‑1 所示的方式实现。 1. 翻开字典约一半的页数，查看该页的首字母是什么，假设首字母为 ? 。 2. 由于在拼音字母表中 ? 位于 ? 之后，所以排除字典前半部分，查找范围缩小到后半部分。 3. 不断重复步骤 1. 和 步骤 2. ，直至找到拼音首字母为 将数据结构存储在内存中，同时编写代码调用 CPU 和 GPU 执行算法。这样一来，我们就能把生活中的问题 转移到计算机上，以更高效的方式解决各种复杂问题。 � 如果你对数据结构、算法、数组和二分查找等概念仍感到一知半解，请继续往下阅读，本书将 引导你迈入数据结构与算法的知识殿堂。 1.2 算法是什么 1.2.1 算法定义 「算法 algorithm」是在有限时间内解决特定问题的一组指令或操作步骤，它具有以下特性。 可接受的，通常需要使用动态规划或贪心算法等来解决。 5. 对数阶 ?(log ?) 与指数阶相反，对数阶反映了“每轮缩减到一半”的情况。设输入数据大小为 ? ，由于每轮缩减到一半，因 此循环次数是 log2 ? ，即 2? 的反函数。 图 2‑12 和以下代码模拟了“每轮缩减到一半”的过程，时间复杂度为 ?(log2 ?) ，简记为 ?(log ?) ： // === File: time_complexity