系 统 复睿：李四保 ⽤用Golang ⾃自我介绍 l 开发过银⾏行设备 l 同花顺移动证券 l 前后参与创⽴立过多家公司 l ⽤用Golang写了⼀一个云操作系统 电⼒力、⽯石化、银⾏行、证券、⼲⼴广电、电商 研发、产品、运营、公司运营 l 多种职业 l 喜欢各种宗教 l 喜欢在虚⽆无中创造⼀一个世界 l 多个⾏行业 ⾃自我介绍 说⼀一万句，不如做⼀一件事：⽤用Golang写⼀一个操作系统 来份硬菜：⽤用Golang写⼀一个操作系统 l 操作系统 相对完整的控制系统资源，有应⽤用体系 Unix,CP/M,dos、windows, l ⽣生态操作系统 在原有操作系统内核基础上，构建新的应⽤用体系及应⽤用⽣生态 ios、android l 云操作系统 chrome chrome os和阿⾥里云os。在上⼀一层操作系统基础之上和⾃自家的云系统进⾏行整合 l 去中⼼心化的云操作系统 Leither 架构基本和chrome os类似，只是将后端的云系统去中⼼心化，使之脱离巨头的控制 操作系统历史 l 互联⺴⽹网正在整合各个⾏行业，对各个传统⾏行业进⾏行重构 l 互联⺴⽹网的格局正在固化 ⾏行业巨头垄断互联⺴⽹网资源，全⾯面压制创新空间

©2016-2021 8 趣链科技 版权所有 ©2016-2021 8 交易 区块 块链式数据结构 （狭义区块链） 分布式账本 （广义区块链） 交易指的是导致底层 数据状态发生变化的 一次操作请求，如一 笔转账交易 将一段时间内发生的 所有交易和状态打包 成为一个区块 区块以时间顺序前后相 连，组成一种块链式数 据结构，即“区块链” 一词的由来 多参与方各自部署，互 联互通，每个区块链节 数据隐私保护 共识层 分布式⼀致性算法 典型共识算法 新型共识算法 合约层 智能合约脚本 合约执⾏引擎 分布式应⽤DApp ⽹络层 P2P⽹络 区块链⽹络模型 区块链⽹络协议 扩 展 层 扩展操作 跨链协议 链上链下计算 预⾔机 扩展组件 消息队列MQ 证书管理 测试框架 治理层 权限体系 治理模型 区块链审计 BaaS运维治理 应⽤层 司法存证 供应链⾦融 智慧政务 物联⽹ 数据隐私保护 共识层 分布式⼀致性算法 典型共识算法 新型共识算法 合约层 智能合约脚本 合约执⾏引擎 分布式应⽤DApp ⽹络层 P2P⽹络 区块链⽹络模型 区块链⽹络协议 扩 展 层 扩展操作 跨链协议 链上链下计算 预⾔机 扩展组件 消息队列MQ 证书管理 测试框架 治理层 权限体系 治理模型 区块链审计 BaaS运维治理 应⽤层 司法存证 供应链⾦融 智慧政务 物联⽹

udp 通信 阻塞导致⾼延迟 锁瓶颈的⼀般优化⼿段： • 缩⼩临界区：只锁必须锁的对象，临界区内尽量不放慢操作，如 syscall • 降低锁粒度：全局锁 -> 对象锁，全局锁 -> 连接锁，连接锁 -> 请求锁，⽂ 件锁 -> 多个⽂件各种锁 • 同步改异步：如同步⽇志 -> 异步⽇志，若队列满则丢弃，不阻塞业务逻辑 CPU 使⽤太⾼了-编解码使⽤ CPU 过⾼ 通过更换 json 库，就可以提⾼系统的吞吐量 Global lock -> connection level lock • Connection level lock -> request level lock • 同步改异步 • ⽇志场景：同步⽇志 -> 异步⽇志 • Metrics 上报场景：select -> select+default • 个别场景使⽤双 buffer 完全消灭阻塞 Continuous Profiling

github 地址：https://github.com/cloudwego/shmipc-go 方案诞生的背景 方案诞生的背景 IPC 的性能瓶颈有哪些: 1. 系统特权级切换； 2. 异步线程唤醒/休眠（事件通知）； 3. 数据拷贝（序列化/反序列化）； 方案诞生的背景 能不能把库函数调用的高性能优势做到 IPC 里面，降低进程间的事件通知和数据拷贝开销？ 以go-go微服务 RPAL（Run Process As Library） 方案，基于跨进程虚拟地址 共享，复用 epoll 网络模型，实现了纯用户态的事件轮询和无拷贝的指针读写接口。 从性能瓶颈的两点分析： 1. 异步线程唤醒： 关键在于如何最低限度降低线程唤醒的开销，非必要不通知事件。 2. 数据序列化/反序列化 需要做到跨进程的虚拟地址空间共享，通过传递指针来传递一切数据。 全进程地址空间共享与保护 pt_regs 拷贝并覆盖掉之前处于 epoll_wait 上下文的 receiver 线程的内 核栈中 用户态进程切换 延迟进程切换（lazy switch） 用户态切换时还需要保留一个操作： > sender线程将自身线程上下文拷贝一 个副本，并允许kernel访问该副本。 3. sender 线程在 lazy_switch 过程中， 恢复 receiver 线程的内核栈后，将保

Dive into NSQ 舜飞 - 陈冶 消息队列服务 • ⾯向跨进程/跨服务器通讯的组件 • 异步通信，将可并⾏化处理的同步操作解耦 使⽤案例 ⼴告点击数统计 Web Service MySQL User Click User Click User Click Stateless Stat Service Stateless 使⽤案例 ⼴告点击数统计 Web chan Select } 数据⼴播 Topic Channel Channel Producer Consumer Consumer Consumer Channel Topic 异步把消息⼴播给 Channel 数据⼴播 Topic ⾃⾝拥有 buffer 的能⼒ Memory Channel Disk Queue Topic chan *Msg Channel

统的不同节点之上。简单的说，就是⼀次⼤的操作由不同的⼩操作组成，这些⼩的操作分布在不同的服务器 上，且属于不同的应⽤，分布式事务需要保证这些⼩操作要么全部成功，要么全部失败。本质上来说，分布 式事务就是为了保证不同数据库的数据⼀致性。 什么是分布式事务问题？ Demo 演示 整体机制： • ⼀阶段：业务数据和回滚⽇志记录在同⼀个本地事务中提交，释放本地锁和连接资源。 • ⼆阶段： • 提交异步化，⾮常快速地完成。

（书中会使用大家所熟知的缩写 “OO” 来表示面向对象）。 本书将会从最基础的概念讲起，同时也会讨论一些类似在应用 goroutine 和 channel 时有多少种不同的模式， 如何在 Go 语言中使用谷歌 API，如何操作内存，如何在 Go 语言中进行程序测试和如何使用模板来开发 Web 应 用这些高级概念和技巧。 在本书的第一部分，我们将会讨论 Go 语言的起源（第 1 章），以及如何安装 Go 语言（第 2 章）和开发环境 Robert Griesemer，参与开发 Java HotSpot 虚拟机；Rob Pike，Go 语言项目总负责人，贝尔实验室 Unix 团队成员，参与的项目包括 Plan 9，Inferno 操作系统和 Limbo 编程语言；Ken Thompson，贝尔实验室 Unix 团队成员，C 语言、Unix 和 Plan 9 的创始人之一，与 Rob Pike 共同开发了 UTF-8 字符集规范。自 2008 年 1 月起，Ken Thompson 就开始研发一款以 C 语言为目标结果的编译器来拓展 Go 语言的设计思想。 这是一个由计算机领域 “发明之父” 所组成的黄金团队，他们对系统编程语言，操作系统和并行都有着非常深刻的见 解 图 1.1 Go 语言设计者：Griesemer、Thompson 和 Pike 在 2008 年年中，Go 语言的设计工作接近尾声，一些员工开始以全职工作状态投入到这个项目的编译器和运行实现

pthread_key_destructor) • crosscall2 是手写 Plan9 的汇编函数 • 兼容性处理：十来个 CPU，好几个 OS • 搞懂混合编译：Go，ASM ，C dropm 的判断条件 1. 有些操作系统，比如 Windows，不支持 pthread 来注册 destructor 2. pthread_key_create 执行成功才跳过 ① C 申明变量 & 赋值 ② Go 申明 import 用完之后需要 Unpin  Go 1.22 之后使用才安全  性能中等 ③ 分开传参  性能最好 GODEBUG=cgocheck=0 Tips ① 导出的 Go 函数轻量级，不要有网络等异步操作，会阻塞 C 线程 ② C 传参给 Go，很友好 ③ Go 传参给 C，不友好 ④ 如果有 C 调 Go，推荐 Go 1.21 ⑤ runtime.Pinner（Go 1.22） ⑥ #cgo

GOMAXPROCS(runtime.NumCPU()) • 使用“go”命令创建goroutine go sockstore.Start() • goroutine使用channel交换消息 – 异步场景，直接往指定channel发送数据 – 同步场景，往channel发送的数据中，包含一 个获取返回值的channel 议程 • 推送服务器介绍 • 推送服务架构 • 部分代码 • 上线效果 用全局字典，查找clientID对应的socket 议程 • 推送服务器介绍 • 推送服务架构 • 部分代码 • 上线效果 比较 .net push server Go push server 操作系统 Windows server CentOS Linux 服务器数量（同配置） 16 8 单台服务器支持连接数 20万 80万 Cpu平均占用 10%到30%，波动频繁 稳定在5% 运维需求

ReservedAll Right Reserved • 竞价请求解析（JSON 或 Google Protobuf） • 根据⼲⼴广告位属性过滤活动 • 根据客户端信息过滤活动（浏览器、操作系统类型等） • 根据地区过滤活动 • 查询Cookie Mapping得到访客在DSP系统的唯⼀一ID • 根据⽤用户看过⼲⼴广告的频次过滤活动 • 根据访客的⼈人群属性过滤活动 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved • 取消Redis的主从同步 • 写主Redis时，同时写⼀一份到NSQ，异步写⼊入其他机房 • 使⽤用SoftLayer的⾹香港云主机作为中转（why?) Redis跨机房同步 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll