大规模高性能区块链架构 设计模式与测试框架 Gopher Meetup 深圳站 2021 年 8 ⽉ 21 号 趣�科技 李世敬 目录 区块链概述 01 大规模高性能区块链架构设计介绍 02 基于Go插件的区块链性能测试工具 03 写在最后 04 区块链概述 4 趣链科技 版权所有 ©2016-2021 4 趣链科技 版权所有 ©2016-2021 4 趣链科技 版权所有 ©2016-2021 共识全节点层 Consensus Layer ⾮共识节点层 Provable Layer 轻客户端层 Edge Layer 轻节点层 Gateway Layer 核⼼技术 多类型节点分层部署模式 1 3 动态⾃发现⽹络转发模型 2 ⼤规模组⽹⾼效共识算法 1.提⾼数据处理效率 2.提升终端异构性能⼒ 3.提供实时计算与验证服务 4.解决数据真实性“第⼀公⾥” 问题 ⾯向海量节点⼤规模应⽤场景，

LOGO p2p缓存系统 基于Golang的Aop设计模式 龚浩华 QQ 29185807 月牙寂 背景 v Web缓存（类似CDN技术） § 网页、图片 § 普通下载 § 普通视频 v P2P缓存 § 下载（bt等） § 视频（qvod、百度影音等） 背景 v P2P缓存好处 § 一次获取，多次利用 § 减少局域网出网流量 1、针对 缺乏全局状态知识 全局状态是可以获取到的 2、针对 缺乏全局时间 全局时间是一致的 3、非确定 仍然存在不确定性 现实世界的设计模式直接可以拿来借鉴 P2P缓存框架 P2P缓存框架 1、入口监听模块 常驻 功能监听识别连接 2、任务管理模块 常驻 1、全局收集任务，根据任务连接数排名，在 前n的任务给分发下载时间片。 2、任务定时更新自己的时间片 效果 效果 Golang总结 1、全新的设计模式 代码少、逻辑直观简单 2、代码维护简单 松散耦合 3、快速开发 4、性能高 Golang一些经验 1、程序雪崩与GC问题

些系统信息。在“系统类 型”一行中，若显示“x64-based PC”，即为64位系统；若显示“X86-based PC”，则为32位系统。 Mac系统用户建议直接使用64位的，因为Go所支持的Mac OS X版本已经不支持纯32位处理器了。 8 Linux系统用户可通过在Terminal中执行命令uname -a来查看系统信息： 64位系统显示 <一段描述> x86_64 x86_64 x86_64 x86_64 GNU/Linux //有些机器显示如下，例如ubuntu10.04 x86_64 GNU/Linux 32位系统显示 <一段描述> i686 i686 i386 GNU/Linux Mac 安装 Mac 安装 访问下载地址，32位系统下载go1.0.3.darwin-386.pkg，64位系统下载go1.0.3.darwin-amd64.pkg，双击下载文件， $GO_INSTALL_DIR。 设置PATH，export PATH=$PATH:$GO_INSTALL_DIR/go/bin 然后执行go 9 图1.2 Linux系统下安装成功之后执行go显示的信息 如果出现go的Usage信息，那么说明go已经安装成功了；如果出现该命令不存在，那么可以检查一下自己的PATH环境 变中是否包含了go的安装目录。 Windows 安装 Windows

和多核应用的基本技巧的讲解（第 14 章）。最后，我们会讨论如何将 Go 语言应用到分布式和 Web 应用 中的相关网络技巧（第 15 章）。 我们会在本书的第四部分向你展示许多 Go 语言的开发模式和一些编码规范，以及一些非常有用的代码片 段（第 18 章）。在前面章节完成对所有的 Go 语言技巧的学习之后，你将会学习如何构造一个完整 Go 语言项目（第 19 章），然后我们会介绍一些关于 下载书中的代码（译者注：所有代码文件已经包括在 GitHub 仓库中）， 并获得有关本书的勘误情况和内容更新。 为了让你在成为 Go 语言大师的道路上更加顺利，我们会专注于一些特别的章节以提供 Go 语言开发模式 的最佳实践，同时也会帮助初学者逃离一些语言的陷阱。第 18 章可以作为你在开发时的一个参考手册， 因为当中包含了众多的有价值的代码片段以及相关的解释说明。 最后要说明的是，你可以通过完整的索 （interface）的概念来实现多态性。Go 语言有一个清晰易懂的轻量级类型系统，在类型之间也没有层级 之说。因此可以说这是一门混合型的语言。 在传统的面向对象语言中，使用面向对象编程技术显得非常的臃肿，它们总是通过复杂的模式来构建庞大 的类型层级，这违背了编程语言应该提升生产力的宗旨。 函数是 Go 语言中的基本构件，它们的使用方法非常灵活。在第六章，我们会看到 Go 语言在函数式编程 方面的基本概念。 Go

13.1 错误处理 13.2 运行时异常和 panic 13.3 从 panic 中恢复（Recover） 13.4 自定义包中的错误处理和 panicking 13.5 一种用闭包处理错误的模式 13.6 启动外部命令和程序 13.7 Go 中的单元测试和基准测试 13.8 测试的具体例子 13.9 用（测试数据）表驱动测试 13.10 性能调试：分析并优化 Go 程序 第 14 14.5 通道、超时和计时器（Ticker） 14.6 协程和恢复（recover） 14.7 新旧模型对比：任务和worker 14.8 惰性生成器的实现 14.9 实现 Futures 模式 第 15 章 网络，模板和网页应用 15.1 tcp服务器 15.2 一个简单的网页服务器 15.3 访问并读取页面 15.4 写一个简单的网页应用 第 16章 常见的陷阱与错误 16 不需要将一个指向切片的指针传递给函数 16.6 使用指针指向接口类型 16.7 使用值类型时误用指针 16.8 误用协程和通道 16.9 闭包和协程的使用 16.10 糟糕的错误处理 第 17章 模式 17.1 关于逗号ok模式 第 18章 出于性能考虑的实用代码片段 18.1 字符串 18.2 数组和切片 18.3 映射 18.4 结构体 18.5 接口 18.6 函数 18.7 文件 18

opcode） • 寻址模式 （address mode） • Implied • Accumulator • Immediate • Absolute • Zeropage, X, Y • Indirected, X, Y • 指令长度（instruction length） • 指令周期（cycle） • NOP：啥都不做指令 • 操作码：0xEA • 寻址模式：Implied ( 默认） 用Go实现全部合法指令并测试通过也就1000行左右 说了这么多CPU 那电脑咋工作的？ Go模拟Apple II • Apple II 规格 • CPU （MOS 6502） • 内存（64KiB） • 显示（LoRes 40x24） • 显示（280×192像素） • 输入（内置键盘） • 存储（磁带/5.25英寸） • 早期内存非常昂贵 • 4KiB = 5,543 USD (2020) • 64KiB = 11 11,266 USD (2020) • 这么看现在的厨子是不是超良心 Go模拟Apple II • 模拟Apple II 规格 • CPU （MOS 6502） • 内存（64KiB） • 显示（LoRes 40x24） • 输入（内置键盘） • 存储（磁带/5.25英寸） • 早期内存非常昂贵 • 4KiB = 5,543 USD (2020) • 64KiB = 11,266 USD (2020)

如何优化？ 极致的性能 除了网络IO，与Redis有什么区别？ 复杂的查询怎么办？ 02. 传统的Cache很难实现多维度的查询，无法具备像SQL一样的灵活的查询模式  支持多种维度的查询  提供类似SQL的查询模式  支持灵活的信息过滤条件 内存不够用怎么办？ 03. 冷热可交换、策略可定制、内存可扩展，多种冷数据淘汰组件，自由组合 存储扩展，冷热数据交换 可自定义冷热数据交换策略 RabbitMQ、Redis、文件或其它平台的 应用程序 数据管理 如何像SQL一样灵活？ 多维度查询 03. 业务数据的查询条件复杂，数据在内存中该如何组织 Q1：已开始的公益直播，且公开显示 直播1 Q2：2021-06-27 10:00:00之后 Q1 无数据 数据模型管理 04. 基于golang的struct tag实现正排、倒排结构的自动化管理 全数据扫描？ 索引 1.2GB MaxwellConsumer 03. 通过golang接口的方式，实现业务与框架代码分离 DataManager 04. 工程化的通用数据管理器，提供正排、倒排等丰富的查询模式 数据存储 倒排更新过程  冷热数据交换后，DataManager中 部分数据可能交换到远端存储  本地没有数据实体，数据发生更新， 只知道变更后的新数据  根据新的数据可以构建出新的倒排关

一个操作可能从一个硬件设备读取、或者向一个硬 件设备写入一些数据，从而完成一个特定的任务。 对于现代计算机来说，最 基本的操作是底层计算机指令，比如CPU和GPU指令。 常见的硬件设备包括 内存、磁盘、网卡、显卡，显示器、键盘和鼠标等。 直接操控底层计算机指令进行编程是非常繁琐和容易出错的。 高级编程语言 通过对底层指令进行一些封装和对数据进行一些抽象，从而使得编程变得直观 和易于理解。 在流行高级编程语言 状态和阻塞状态。一个协程可以在这两个状态之间切换。 比如上例中的主协 程在调用wg.Wait方法的时候，将从运行状态切换到阻塞状态；当两个新协程 完成各自的任务后，主协程将从阻塞状态切换回运行状态。 下面的图片显示了一个协程的生命周期。 注意，一个处于睡眠中的（通过调用time.Sleep）或者在等待系统调用返回的 协程被认为是处于运行状态，而不是阻塞状态。 当一个新协程被创建的时候，它将自动进入运行状态，一个协程只能从运行状 协程。Go运行时（runtime）必须让逻辑CPU频繁地在不同的处于运行状态的 协程之间切换，从而每个处于运行状态的协程都有机会得到执行。 这和操作 系统执行系统线程的原理是一样的。 下面这张图显示了一个协程的更详细的生命周期。在此图中，运行状态被细分 成了多个子状态。 一个处于排队子状态的协程等待着进入执行子状态。一个 处于执行子状态的协程在被执行一会儿（非常短的时间片）之后将进入排队子 状态。

一个操作可能从一个硬件设备读取、或者向一个硬件 设备写入一些数据，从而完成一个特定的任务。 对于现代计算机来说，最基本 的操作是底层计算机指令，比如CPU和GPU指令。 常见的硬件设备包括内存、 磁盘、网卡、显卡，显示器、键盘和鼠标等。 直接操控底层计算机指令进行编程是非常繁琐和容易出错的。 高级编程语言通 过对底层指令进行一些封装和对数据进行一些抽象，从而使得编程变得直观和 易于理解。 在流行高级编程语言中 状态和阻塞状态。一个协程可以在这两个状态之间切换。 比如上例中的主协程 在调用wg.Wait方法的时候，将从运行状态切换到阻塞状态；当两个新协程完成 各自的任务后，主协程将从阻塞状态切换回运行状态。 下面的图片显示了一个协程的生命周期。 注意，一个处于睡眠中的（通过调用time.Sleep）或者在等待系统调用返回的 协程被认为是处于运行状态，而不是阻塞状态。 当一个新协程被创建的时候，它将自动进入运行状态，一个协程只能从运行状 协 程。Go运行时（runtime）必须让逻辑CPU频繁地在不同的处于运行状态的协程 之间切换，从而每个处于运行状态的协程都有机会得到执行。 这和操作系统执 行系统线程的原理是一样的。 下面这张图显示了一个协程的更详细的生命周期。在此图中，运行状态被细分 成了多个子状态。 一个处于排队子状态的协程等待着进入执行子状态。一个处 于执行子状态的协程在被执行一会儿（非常短的时间片）之后将进入排队子状 态。

一个操作可能从一个硬件设备读取、或者向一个硬件设备写入 一些数据，从而完成一个特定的任务。 对于现代计算机来说，最基本的操作是底层 计算机指令，比如CPU和GPU指令。 常见的硬件设备包括内存、磁盘、网卡、显卡， 显示器、键盘和鼠标等。 直接操控底层计算机指令进行编程是非常繁琐和容易出错的。 高级编程语言通过对 底层指令进行一些封装和对数据进行一些抽象，从而使得编程变得直观和易于理 解。 在流行高级编程语言中 和阻塞状态。一个协程可以在这两个状态之间切换。 比如上例中的主协程在调用 wg.Wait方法的时候，将从运行状态切换到阻塞状态；当两个新协程完成各自的任 务后，主协程将从阻塞状态切换回运行状态。 下面的图片显示了一个协程的生命周期。 第13章：协程、延迟函数调用、以及恐慌和恢复 99 注意，一个处于睡眠中的（通过调用time.Sleep）或者在等待系统调用返回的协 程被认为是处于运行状态，而不是阻塞状态。 Go运行时 （runtime）必须让逻辑CPU频繁地在不同的处于运行状态的协程之间切换，从而每 个处于运行状态的协程都有机会得到执行。 这和操作系统执行系统线程的原理是一 样的。 下面这张图显示了一个协程的更详细的生命周期。在此图中，运行状态被细分成了 多个子状态。 一个处于排队子状态的协程等待着进入执行子状态。一个处于执行子 状态的协程在被执行一会儿（非常短的时间片）之后将进入排队子状态。