使用gRPC go实现 基于Topic的高效消息订阅发布模型 姓名 张凯 中国电子云 目 录 gRPC go 介绍 01 gRPC四种通信模式及落地场景 02 根据proto生成go桩代码 03 订阅者动态注册 04 发布者消息推送 05 现场案例演示 06 gRPC go介绍 gRPC是什么？ 01. 副标题 开篇思考几个问题 01. 副标题 gRPC介绍 基于通信模式如何落地？ 01. 副标题 流式传输 基于通信模式如何落地？ 01. 副标题 以及，本次分享的 “ ” 基于Topic消息发布订阅 基于Topic的消息发布模型简介 01. 副标题 基于Topic的消息发布模型简介 01. 副标题 BRIAN KERNGHAN service PubSubService { rpc Publish(PublishRequest) Protocol Buffers 消息结构体等 Go 语言代码的输出目录， 同样为当前目录。protoc-gen-go 插件会处理 .proto 文 件中的消息定义并生成对应的 Go 结构体。 订阅者动态注册 01. 副标题 type subscriber chan interface{} type topicFunc func(v interface{}) bool type Publisher

使用方法集与接口 11.7 第一个例子：使用 Sorter 接口排序 11.8 第二个例子：读和写 11.9 空接口 11.10 反射包 11.11 Printf 和反射 11.12 接口与动态类型 11.13 总结：Go 中的面向对象 11.14 结构体、集合和高阶函数 第12章：读写数据 12.1 读取用户的输入 12.2 文件读写 12.3 文件拷贝 12.4 从命令行读取参数 开发出的软件能够很好地在现代的多核计算机上工作 开发出的软件能够很好地在网络环境下工作 使人们能够享受软件开发的过程 Go 语言就在这样的环境下诞生了，它让人感觉像是 Python 或 Ruby 这样的动态语言，但却又拥有像 C 或者 Java 这类语言的高性能和安全性。 Go 语言出现的目的是希望在编程领域创造最实用的方式来进行软件开发。它并不是要用奇怪的语法和晦涩难懂的概念 来从根本上推翻已有的编程语言，而是建立并改善了 语言的主要特性与发展的环境和影响因素 第1章：Go 语言的起源，发展与普及 - 14 - 本文档使用 书栈(BookStack.CN) 构建 1.1 起源与发展 Go 语言起源 2007 年，并于 2009 年正式对外发布。它从 2009 年 9 月 21 日开始作为谷歌公司 20% 兼职项 目，即相关员工利用 20% 的空余时间来参与 Go 语言的研发工作。该项目的三位领导者均是著名的 IT 工程师： Robert

开发出的软件能够很好地在现代的多核计算机上工作 开发出的软件能够很好地在网络环境下工作 使人们能够享受软件开发的过程 Go 语言就在这样的环境下诞生了，它让人感觉像是 Python 或 Ruby 这样的动态语言，但却又拥有像 C 或者 Java 这类语言的高性能和安全性。 Go 语言出现的目的是希望在编程领域创造最实用的方式来进行软件开发。它并不是要用奇怪的语法和晦 涩难懂的概念来从根本上推翻已有的编程语言，而是建立并改善了 语言的起源，发展与普及 第2章：安装与运行环境 第3章：编辑器、集成开发环境与其它工具 第1章：Go 语言的起源，发展与普及 1.1 起源与发展 Go 语言起源 2007 年，并于 2009 年正式对外发布。它从 2009 年 9 月 21 日开始作为谷歌公司 20% 兼 职项目，即相关员工利用 20% 的空余时间来参与 Go 语言的研发工作。该项目的三位领导者均是著名的 IT 工程师：Robert 平台上的版本。Hector Chu 于同年 11 月 22 日公布了 Windows 版本。 作为一个开源项目，Go 语言借助开源社区的有生力量达到快速地发展，并吸引更多的开发者来使用并改 善它。自该开源项目发布以来，超过 200 名非谷歌员工的贡献者对 Go 语言核心部分提交了超过 1000 个 修改建议。在过去的 18 个月里，又有 150 开发者贡献了新的核心代码。这俨然形成了世界上最大的开源 团队，并使该项目跻身

Front End • https://github.com/bfenetworks/bfe • 2020年6月，成为CNCF Sandbox Project • 2021年5月，《深入理解BFE》对外发布 • https://github.com/baidu/bfe-book • 2021年Q3将由电子工业出版社正式出版 BFE开源项目公众号 目 录 BFE涉及的相关技术原理 01 BFE的设计思想 • 代表：BFE， Traefik API网关 七层负载均衡 BFE主要设计思想 • 转发模型优化 • 支持多租户 • 引入条件表达式，减少正则表达式使用 • 降低动态配置加载的难度 • 区分“常规配置”和“动态配置” • 增强服务状态监控能力 • 向外展现大量内部的执行状态 • 将大存储功能转移到外部 • 加快启动速度 正则表达式 方案的问题 • 配置难以维护：正则表达式存在严重的可读 Monitor框架 • https://github.com/baidu/go-lib • 支持状态、差值、延迟统计等 配置管理 • BFE配置的分类 • 常规配置：.conf • 动态配置：.data • 配置动态加载 • 外部触发，细粒度加载 写配置 func (t *ProductRuleTable) Update(conf productRuleConf) { t.lock.Lock()

项完整的集成创新技术正式诞生 • 比特币诞生，是世界上首个区 块链应用系统。发展至今有力 地证明了区块链技术的创新性、 颠覆性和顽强的生存能力 中本聪 比特币Bitcoin 2013 • 以太坊发布以太坊白皮书， 引入智能合约，推出首个 图灵完备的区块链平台， 进入区块链2.0时代 以太坊Ethereum 新基建 • Linux 基 金 会 成 立 了 Hyperledger开源项目，IBM、 Consensus Layer ⾮共识节点层 Provable Layer 轻客户端层 Edge Layer 轻节点层 Gateway Layer 核⼼技术 多类型节点分层部署模式 1 3 动态⾃发现⽹络转发模型 2 ⼤规模组⽹⾼效共识算法 1.提⾼数据处理效率 2.提升终端异构性能⼒ 3.提供实时计算与验证服务 4.解决数据真实性“第⼀公⾥” 问题 ⾯向海量节点⼤规模应⽤场景， 分区机制 业务分区而治 • 通过Namespace进行业务划分 • 业务数据对其他分区不可见 分区性能优异 运维灵活便捷 • 单次部署节点、灵活配置分区，降低运维成本 • 支持分区及分区成员的动态管理，快速适应业 务场景变化 • 不同分区交易并行执行，分区性能不随分区 数据增加而下降 分区机制 节点1 节点2 节点3 节点4 节点5 节点6 分区B 分区A 数据块 区块链平台关键技术-分区机制

l 它是⼀一个操作系统 l 它有⾃自⼰己资源管理体系 l 它有⾃自⼰己的应⽤用体系 Leither OS 动态管理众多在线⺴⽹网民的⺴⽹网络资源、存储资源、运算资源 现有互联⺴⽹网的⼤大部分服务形态，都可以在Leither上快速构造出来。 可以构造视频⺴⽹网站、微博、微信、IM。。。。。 所有这些应⽤用，⽤用户体验基本不变的情况下 信⽤用结算 路由 消息通讯 ⽤用户数据 公共数据 授 权 担 保 验 证 浏 览 器 第三⽅方应⽤用 结果显⽰示 数据解析 ⽤用户操作 数据打包 应⽤用发布 应⽤用安装 应⽤用管理 数 据 库 系 统 接 ⼝口 邮 件 模 块 前 端 架 构 WEB Server RPC 邮件⼿手机接⼝口 ⽤用户信息 ⾃自 ⼰己 好 友 数据解析 ⽤用户操作 数据打包 底 层 ⺴⽹网 络 层 浏 览 器 查 找 维 护 Swarms 数 据 层 应 ⽤用 层 消息通讯 索引 数据 应⽤用发布 应⽤用安装 应⽤用管理 Swarms 查 找 维 护 MVC 架构 MVC 架构 同 步 同 步 Leither的技术架构 ü 它是⼀一个⽣生态 ü 它有⾃自⼰己的⽣生态成员

7/1/2017 基于amqp实现的golang消息队列MaxQ http://192.168.10.11:3999/maxq.slide#1 15/22 扩展性 HA、Exchange和Queue动态扩展属性参数 Exchange、Binding、Queue支持自定义扩展, 如：x-message-ttl、x-expires、x-max- length、x-dead-letter-exchange 7/1/2017 基于amqp实现的golang消息队列MaxQ http://192.168.10.11:3999/maxq.slide#1 19/22 发布订阅 DC数据变更发布和订阅 1.DRC将DC的数据变更记录发布至MaxQ 2.各业务系统订阅相关的数据变更，并进一步做业务处理 7/1/2017 基于amqp实现的golang消息队列MaxQ http://192.168

觉起来比典型的面向对象语言更轻量级。 Go完全是垃圾回收型的语言，并为并发执行与通信提供了基本的支持。 按照其设计，Go打算为多核机器上系统软件的构造提供一种方法。 Go是一种编译型语言，它结合了解释型语言的游刃有余，动态类型语言的开发效率，以及静态类型的安全性。它也打 算成为现代的，支持网络与多核计算的语言。要满足这些目标，需要解决一些语言上的问题：一个富有表达能力但轻 量级的类型系统，并发与垃圾回收机制，严格的依 fmt功能。 使用go fmt命令，更多时候是用gofmt，而且需要参数-w，否则格式化结果不会写入文件。gofmt -w src，可以格式 化整个项目。 go get go get 这个命令是用来动态获取远程代码包的，目前支持的有BitBucket、GitHub、Google Code和Launchpad。这个命令在 内部实际上分成了两步操作：第一步是下载源码包，第二步是执行go install。下载源码包的go工具会自动根据不 多维数组的映射关系 slice slice 在很多应用场景中，数组并不能满足我们的需求。在初始定义数组时，我们并不知道需要多大的数组，因此我们就需 要“动态数组”。在Go里面这种数据结构叫slice slice并不是真正意义上的动态数组，而是一个引用类型。slice总是指向一个底层array，slice的声明也可以像 array一样，只是不需要长度。 // 和声明array一样，只是少了长度

. . . . . . . . . . . . . . . . . . 273 14. 动态规划 275 14.1. 初探动态规划 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275 14.2. 动态规划问题特性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281 14.3. 动态规划解题思路 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286 14.4. 0‑1 背包问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ‧ 数据结构：基本数据类型，数据结构的分类方法。数组、链表、栈、队列、散列表、树、堆、图等数据 结构的定义、优缺点、常用操作、常见类型、典型应用、实现方法等。 ‧ 算法：搜索、排序、分治、回溯、动态规划、贪心等算法的定义、优缺点、效率、应用场景、解题步骤、 示例题目等。 0. 前言 hello‑algo.com 2 Figure 0‑1. Hello 算法内容结构 0.1.3. 致谢

China  2015  Resource  Scheduling  &  Container  Technology  for  Financial  Service  动态资源管理和容器技术  在金融行业的架构探索和明天  余军  Gopher  China  2015  Gopher  China  2015  关于我  开源给用户  Apache  License  v  2.0   容器级资源运行技术  基于Linux  内核隔离及业界先进的Container容器技术  自主研发的资源分配和动态调度调度算法  自主研发SWF核心算法  (基于场景的加权均衡算法)  两级作业调度框架  自主研发Gardener  –  Seed  作业调度系统  服务弹性伸缩  分布式高可用控制系统   基于Raft/Chubby算法和GOSSIP协议的分布式高可用控 制系统与服务发现  智能模板和堆叠式组件管理系统   深度优化和预置的多层堆叠式开源软件发布和管理系统， 可以在保障版本统一的条件下，智能推送和维护应用模板  运维过程数据的大数据分析系统  自主研发Horus  运维数据处理平台   100%  Written