业务性能优化概览 By Xargin 《Go 语⾔⾼级编程》合著者 Go contributor ⽬ 录 优化的前置知识 01 ⽣产环境的优化 02 Continuous profiling 03 优化的前置知识 第⼀部分 Latency numbers every programmer should know https://colin-scott.github.io/p io/personal_website/research/interactive_latency.html 优化的前置知识 • 要能读得懂基本的调⽤栈 • 了解 Go 语⾔内部原理(runtime，常⽤标准库) • 了解常⻅的⽹络协议(http、pb) https://github.com/bagder/http2-explained https://github.com/bagder/http3-explained 定时任务类需要看 alloc 4. goroutine 数量过多 -> 从 profile ⽹⻚进去看看 goroutine 都在⼲什 么 -> 查死锁、阻塞等问题 -> 个别不在意延迟的选择第三⽅库优 化 压测⼿段 公司内部压测平台 全链路压测 阻塞导致⾼延迟 在后端系统开发中，锁瓶颈是较常⻅的问题，⽐如⽂件锁 阻塞导致⾼延迟 还有⼀些公司的 metrics 系统设计，本机上会有 udp

对 Go 程序进行可靠的性能测试 Changkun Ou https://changkun.de/s/gobench/ Go 夜读系列 ｜talkgo.org｜Talk Go｜第 83 期 March 26, 2020 # Go 1.13 / 1.14 2020 © Changkun Ou · Go 夜读 · 对 Go 程序进行可靠的性能测试 主要内容 ● 可靠的测试环境 ● benchstat 对代码块进行性能调优 ○ 例2: Benchmark 的正确性分析 ○ 例3: 其他的影响因素 ● 假设检验的原理 ● 局限与应对措施 ● 总结 2020 © Changkun Ou · Go 夜读 · 对 Go 程序进行可靠的性能测试 教科书式的性能测试方法论 3 在《Software Testing: Principles and Practices》一书中归纳的性能测试方法论： 搜集需求 2. 编写测试用例 3. 自动化性能测试用例 4. 执行性能测试用例 5. 分析性能测试结果 6. 性能调优 7. 性能基准测试（Performance Benchmarking） 8. 向客户推荐合适的配置 可靠的测试环境 2020 © Changkun Ou · Go 夜读 · 对 Go 程序进行可靠的性能测试 什么是可靠的性能基准测试环境 5 影响测试环境的软硬件因素

专业DSP解决⽅方案供应商 Golang与⾼高性能DSP竞价系统 By @QLeelulu 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved • RTB: Real-time Bidding，实时竞价，允许⼲⼴广告买家根据 活动⺫⽬目标、⺫⽬目标⼈人群以及费⽤用⻔门槛等因素对每⼀一个⼲⼴广告 及每次⼲⼴广告展⽰示的费⽤用进⾏行竞价。 http包的HelloWorld性能测试 为什么选择Golang Via: http://www.cnblogs.com/QLeelulu/archive/2012/08/12/2635261.html 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved • ⾼高性能、天⽣生并发⽀支持 • 性能敏感的模块可以直接使⽤用C编写（当时是这么认为的） 性能敏感的模块可以直接使⽤用C编写（当时是这么认为的） • 编译为本地机器码，部署⽅方便 • 快速上⼿手，学习成本低 • 标准库基本够⽤用 • 带GC（当时不了解GC的性能问题） • ⾃自带单元测试、性能测试、性能分析⼯工具 • 开发效率不低 为什么选择Golang 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved

IPC性能极致优化方案-RPAL落地实践 谢正尧 字节跳动 研发工程师 目 录 方案诞生的背景 01 全进程地址空间共享与保护 02 用户态进程切换 03 高效的Go Event Poller 04 RPC框架Kitex集成 05 性能收益与业务展望 06 方案诞生的背景 第一部分 方案诞生的背景 几种常见的同机通信场景： 1. 微服务合并部署（亲和性部署、sidecar 常见的本地通信方案：回环 IP、UDS、共享内存IPC 方案诞生的背景 以性能较优的 IPC 方案 share memory ipc 为例分析性能瓶颈： 注：方案 github 地址：https://github.com/cloudwego/shmipc-go 方案诞生的背景 方案诞生的背景 IPC 的性能瓶颈有哪些: 1. 系统特权级切换； 2. 异步线程唤醒/休眠（事件通知）； 异步线程唤醒/休眠（事件通知）； 3. 数据拷贝（序列化/反序列化）； 方案诞生的背景 能不能把库函数调用的高性能优势做到 IPC 里面，降低进程间的事件通知和数据拷贝开销？ 以go-go微服务 RPC 通信场景为例，该问题可以抽象为，如何高效地在两个 go runtime 间进行函数调用？ 方案诞生的背景 基于以上问题，我们最终引入了 RPAL（Run Process As Library） 方案，基于跨进程虚拟地址

大规模高性能区块链架构 设计模式与测试框架 Gopher Meetup 深圳站 2021 年 8 ⽉ 21 号 趣�科技 李世敬 目录 区块链概述 01 大规模高性能区块链架构设计介绍 02 基于Go插件的区块链性能测试工具 03 写在最后 04 区块链概述 4 趣链科技 版权所有 ©2016-2021 4 趣链科技 版权所有 ©2016-2021 4 趣链科技 版权所有 ©2016-2021 ⼊要求。且⾮许可链⽹络节点⼤都由业务相关的机构组成，造成架构上共识、合约、安全、权限等⽅⾯的不同 �可�架构 大规模高性能区块链架构设计介绍 15 趣链科技 版权所有 ©2016-2021 ⼤�模⾼性能区��架构⾯�的�� 大规模高性能 区块链架构设计 网络连通问题 数据孤岛问题 异构部署问题 性能扩展问题 之困局 ？ n 机构间数据难打通，不愿打通 n 公网内网、网关网闸情况复杂 n 业务组织形式不同，异构链/系统难适配 Edge Layer 轻节点层 Gateway Layer 核⼼技术 多类型节点分层部署模式 1 3 动态⾃发现⽹络转发模型 2 ⼤规模组⽹⾼效共识算法 1.提⾼数据处理效率 2.提升终端异构性能⼒ 3.提供实时计算与验证服务 4.解决数据真实性“第⼀公⾥” 问题 ⾯向海量节点⼤规模应⽤场景， ⽀持1000+节点的⽣产级联盟链⽹络， 可以实现数⼗万个多类型区块链⽹络节点分层部署 技术简介

go语⾔言在基础服务开发领域的优势？ 我遭遇了哪些挑战？ ⺫⽬目录 具有go特⾊色的运维 在⾼高并发，通信交互复杂，重业务逻辑的分布式系统中， Go语⾔言优势体现在：开发体验好 、⼀一定量级下服务稳定 、性能满⾜足 需要 ⼀一定量级下服务稳定： 50+内部产品，万款开发平台app 实时⻓长连接数亿量级，⽇日独数⼗十亿量级 1分钟内亿量级⼲⼴广播,⽇日下发峰值百亿量级 运维管理的go语⾔言编写的常驻service服务实例接近3000个。 业务场景多样： ⽀支持聊天场景业务，稳定⽀支持多款聊天业务app 单通道多app复⽤用 上⾏行通道，回调⽀支持 对智能硬件产品，提供定制化消息推送与转发服务 性能满⾜足需要： 线上单机最⾼高160w⻓长连接 （24核 E5-2630 @ 2.30GHz 64G内存 ） qps在2~5w（取决于协议版本，业务逻辑，接⼊入端⺴⽹网络状况） Linux Web Windows Flash Iframe for ever 写 ������/ � �� �������� ������� 长连接客户端 认证或注册的io调 用 加载离线消息 ����� 客户端关注的 阻塞io逻辑，放 心阻塞执行不 用担心阻塞线 程，调度器会 帮忙调度其他 可执行协程 ������� ��� 读 ���� �� ������

Store Gateway S3 Store Gateway Store Gateway Redis 2022 年底面临的问题 ● 超 100+ 倍数据点增长导致查询缓慢 ● 架构复杂，参数调优困难 ● 频繁 OOM ● 集群规模受制于 Prometheus ● 集群成本上升 2023 压测结果 VS ● CPU 使用低 1.7 倍 ● RAM 使用减少 5 倍 ● 存储空间减少了 存储空间减少了 3 倍 25K+ 1Mil 60Mil+ 业务指标数量 每秒写入数据点 Active Time Series 2023 年底指标数据 VictoriaMetrics 收益 ● 高性能，看板加载时间从 120s 降低到 10s ● 兼容 Prometheus，可以无缝迁移 ● 成本更低，只需要 thanos 的 50% 资源 ● 扩展性强，所有组件支持水平扩容 2023 年底架构 so good？ 第四部分 极致的设计与优化 ● 根据容器可用的 CPU 数量计算协程数量 ● 区分 IO 协程和计算协程，同时提供了协程优先级策略 ● 使用 ZSTD 压缩传输内容，降低磁盘性能要求 ● 根据可用物理内存限制对象的总量，避免 OOM ● 区分 fast path 和 slow path Gorilla 压缩算法 压缩算法优化 ● 改进 XOR，通过应用 10^X 乘数将

Time的值。 UnixNano是类型time.Time的一个方法。 我们可以把方法看作是特殊的函 数 。 方 法 将 在 Go 中 的 方 法 （ 第 22 章 ） 一 文 中 详 述 。 方 法 调 用 aTime.UnixNano()将返回从UTC时间的1970年一月一日到aTime所表示的时 间之间的纳秒数。 返回结果的类型为int64，这也是rand.Seed函数的参数 类型（注意：rand 始逻辑处理器 数量。 延迟函数调用（deferred function call） 在Go中，一个函数调用可以跟在一个defer关键字后面，成为一个延迟函数调 用。 此defer关键字和此延迟函数调用一起形成一个延迟调用语句。 和协程调 用类似，被延迟的函数调用的所有返回值（如果存在）必须全部被舍弃。 当一个延迟调用语句被执行时，其中的延迟函数调用不会立即被执行，而是被 推入由当前协程维护的一个延迟调用队列（一个后进先出队列）。 a: 0 b: 3 b: 3 b: 3 第一个匿名函数中的循环打印出2、1和0这个序列，但是第二个匿名函数中的循 环打印出三个3。 因为第一个循环中的i是在fmt.Println函数调用被推入延迟调 用队列的时候估的值，而第二个循环中的i是在第二个匿名函数调用的退出阶段 估的值（此时循环变量i的值已经变为3）。 我们可以对第二个循环略加修改（使用两种方法），使得它和第一个循环打印 出相同的结果。

在Go中，当一个函数调用返回后（比如执行了一个return语句或者函数中的 最后一条语句执行完毕）， 此调用可能并未立即退出。一个函数调用从返回 开始到最终退出的阶段称为此函数调用的退出阶段（exiting phase）。 函数调 用的退出阶段的意义将在讲解延迟函数（第13章）的时候体现出来。 函数调用的退出阶段将在后面的一篇文章（第31章）中详细解释。 匿名函数 Go支持匿名函数。定义一个匿名函数和声明一个函数类似，但是一个匿名函 这个例子多引入了一个math/rand标准库包。 此包是math标准库包中的一个子 包。 此包提供了一些函数来产生伪随机数序列。 一些解释： 在此例中，math/rand标准库包的引入名是rand。 rand.Uint32()函数调 用将返回一个uint32类型的随机数。 Printf函数是fmt标准库包中提供的另外一个常用终端打印函数。 一个 Printf函数调用必须带有至少一个实参，并且第一个实参的类型必须为 string。 辑处理 器数量。 延迟函数调用（deferred function call） 在Go中，一个函数调用可以跟在一个defer关键字后面，成为一个延迟函数调 用。 此defer关键字和此延迟函数调用一起形成一个延迟调用语句。 和协程调 用类似，被延迟的函数调用的所有返回值（如果存在）必须全部被舍弃。 当一个延迟调用语句被执行时，其中的延迟函数调用不会立即被执行，而是被 推入由当前协程维护

开发出的软件能够很好地在网络环境下工作 使人们能够享受软件开发的过程 Go 语言就在这样的环境下诞生了，它让人感觉像是 Python 或 Ruby 这样的动态语言，但却又拥有像 C 或者 Java 这类语言的高性能和安全性。 Go 语言出现的目的是希望在编程领域创造最实用的方式来进行软件开发。它并不是要用奇怪的语法和晦 涩难懂的概念来从根本上推翻已有的编程语言，而是建立并改善了 C、Java、C# 中的许多语法风格。它提 为什么要创造一门编程语言 C/C++ 的发展速度无法跟上计算机发展的脚步，十多年来也没有出现一门与时代相符的主流系统编程 语言，因此人们需要一门新的系统编程语言来弥补这个空缺，尤其是在计算机信息时代。 对比计算机性能的提升，软件开发领域不被认为发展地足够快或者比硬件发展更加成功（有许多项目 均以失败告终），同时应用程序的体积始终在不断地扩大，这就迫切地需要一门具备更高层次概念的 低级语言来突破现状。 在 Go Web 服务器，存储集群或类似用途的巨型中央服务器的系统编程语言。 对于高性能分布式系统领域而言，Go 语言无疑比大多数其它语言有着更高的开发效率。它提供了海量并 行的支持，这对于游戏服务端的开发而言是再好不过了。 Go 语言一个非常好的目标就是实现所谓的复杂事件处理（CEP），这项技术要求海量并行支持，高度的抽 象化和高性能。当我们进入到物联网时代，CEP 必然会成为人们关注的焦点。 但是 Go