Context原理及其适用场景 随手记 李帅(飞雪无情) n 常见并发模式 n Context实现原理 n TLS VS Context n 典型适用场景 大纲 Channel Fan-in func fanIn(sum1, sum2 <-chan int) <-chan int { sum := make(chan int) go func() { for {sum <- <-sum1}

easyArray := [2][4]int{{1, 2, 3, 4}, {5, 6, 7, 8}} 数组的分配如下所示： 图2.2 多维数组的映射关系 slice slice 在很多应用场景中，数组并不能满足我们的需求。在初始定义数组时，我们并不知道需要多大的数组，因此我们就需 要“动态数组”。在Go里面这种数据结构叫slice slice并不是真正意义上的动态数组，而是一个引用类 前面两章我们介绍了函数和struct，那你是否想过函数当作struct的字段一样来处理呢？今天我们就讲解一下函数的 另一种形态，带有接收者的函数，我们称为method method method 现在假设有这么一个场景，你定义了一个struct叫做长方形，你现在想要计算他的面积，那么按照我们一般的思路应 该会用下面的方式来实现 package main import "fmt" type Rectangle 现在，只要我们的应用在线上记录一个Critical的信息，你的邮箱就会收到一个Email，这样一旦线上的系统出现问 题，你就能立马通过邮件获知，就能及时的进行处理。 使用应用日志 使用应用日志 对于应用日志，每个人的应用场景可能会各不相同，有些人利用应用日志来做数据分析，有些人利用应用日志来做性 能分析，有些人来做用户行为分析，还有些就是纯粹的记录，以方便应用出现问题的时候辅助查找问题。 举一个例子，我们需要跟踪用

如何用GO支撑海外电商的快速发展 吕梦楼 小米科技（武汉）有限公司 海外电商基础服务负责人 目 录 业务背景 01 架构演变 02 场景落地 03 总结 04 Q&A 05 业务背景 第一部分 业务背景 01. 海外电商业务 1 ShareSave 11 Mi.com B2C 23 Community 10 POCO B2C 26 Mi.com B2B 通过微服务网关，便于电商服务的接入、监控和管理 场景落地 第三部分 场景落地 01. 微服务网关 场景落地 01. 微服务网关 技术栈选型：GO + ETCD 场景落地 01. 微服务网关 场景落地 01. 微服务网关 Traefxi配置文件 场景落地 01. 微服务网关 场景落地 01. 微服务网关 场景落地 01. 微服务网关 场景落地 02. 秒杀 新品发售 大型促销活动 流量瞬时爆发 场景落地 02. 秒杀 技术栈选型：GO + Ker Redis 场景落地 02. 秒杀 三次限流 原子计数限流：每秒只通过部分请求进行限流 队列限流：业务系统请求入队列的限流 每秒放号限流：放号系统每秒的放号限流 场景落地 02. 秒杀 原子计数限流，数据入Channel 请求入队列限流 每秒放号限流 场景落地 02. 秒杀 uid

go-zero
稳定性能⼒概览
经过这么多年⼤流量服务端架构设计的沉淀，go-zero
在保护服务的稳定性上下⾜了功夫，不管是
CPU
密集型还是
IO
密集型服务，go-zero
都能很好的保护服务在如下场景不被拖垮或卡死：
• 远超服务容量的突发⼤流量 • CPU
打满
• 上下游故障或者超时 • MySQL、MongoDB、Redis
等中间件故障或者超负载（典型的是
CPU
飙⾼）
如图，我们从三个⽅⾯来保护系统的稳定性： • 服务端⾃适应过载保护 • 服务端⾃适应熔断 • 客⼾端⾃适应熔断 当然，我们还有⾃动适配后端服务能⼒的负载均衡算法，对稳定性进⼀步保驾护航。本⽂主要讲解⾃ 适应过载保护的原理、场景和表现。 2. ⾃适应过载保护压测
⽤过
Windows
的同学对这个界⾯应该都不陌⽣，这就是典型
CPU
打满服务不可⽤的表现。此时，我 们⼀般都是⼼⾥默默骂⼀句，然后点左边那个按钮，对吧？ 6）。但是我们是⼀个
HTTP
server，肯定 还有接受请求、解析请求、返回结果等开销，实际上是达不到
550qps
的。
这个模拟
CPU
的代码本⾝不重要，就不做介绍了。
2.2
压测场景
2.2.1
场景⼀（不开启过载保护）

Timeout:
1000

Middlewares:



Breaker:
false



Shedding:
false
• 服务跑在两核的容器内

的一 点可能不足以让任何任务运行，这样，便产生了类似于操作系统 中的内存碎片问题。  ④ YARN适合Long  running  job和数据分析类资源的调度，对于数 据库类等短运行时场景资源调度效果较差  ⑤ YARN采用了增量资源分配机制（当应用程序申请的资源暂时无 法保证时，为应用程序预留一个节点上的资源直到累计释放的空 闲资源满足应用程序需求），这种机制会造成浪费，但不会出现 有太多资源的物理属性。  ⑤ 调度机制非常适合公有云场景，对于私有云领域欠缺灵活性。  Gopher  China  2015  求解之路的探索  n 我们的研究和探索  SWF  –  Scene  Based  Weighted  Fairness  n 适合金融行业架构和业务场景的资源调度机制  n 围绕各种对资源有不同分配使用要求的应用开展调度工作 ① 基于不同应用的场景数据做资源的实时计算。  ② 场景数据的短期切片和中长期切片可以适应资源池投产 的不同阶段。  ③ 实现了(人工)可干预的分配机制(阈值)。  ④ 通过权重比对利用率优先，容量优先和可用性优先进行 调控。  ⑤ 具体实现采用较为独立的模块方式，方便将来开源后被 第三方使用，定制和集成。  ⑥ 面向金融行业应用场景，进行持续的演进和调整。

哈希算法 数字签名 P2P⽹络 传播机制 验证机制 默克尔树 轮胎、悬架等 基础硬件配置 电路油路 等传导系统 引擎、动⼒系统 汽油等润滑系统 车载⾃动化功能 公路、越野等具体场景 公有链基础架构⾃下⽽上分为六层：数据层、⽹络层、共识层、激励层、合约层与应⽤层。如果将区块链⽐作⼀ 辆汽车，那么各层分别对应汽车的各个组成部分（下图所⽰），各层之间协同合作，形成多中⼼化可信系统 3 动态⾃发现⽹络转发模型 2 ⼤规模组⽹⾼效共识算法 1.提⾼数据处理效率 2.提升终端异构性能⼒ 3.提供实时计算与验证服务 4.解决数据真实性“第⼀公⾥” 问题 ⾯向海量节点⼤规模应⽤场景， ⽀持1000+节点的⽣产级联盟链⽹络， 可以实现数⼗万个多类型区块链⽹络节点分层部署 技术简介 技 术 特 性 区块链平台关键技术-大规模组网模型 18 趣链科技 版权所有 ©2016-2021 通过Namespace进行业务划分 • 业务数据对其他分区不可见 分区性能优异 运维灵活便捷 • 单次部署节点、灵活配置分区，降低运维成本 • 支持分区及分区成员的动态管理，快速适应业 务场景变化 • 不同分区交易并行执行，分区性能不随分区 数据增加而下降 分区机制 节点1 节点2 节点3 节点4 节点5 节点6 分区B 分区A 数据块 区块链平台关键技术-分区机制 19

也很难 找到时机释放 内存占⽤过⾼-goroutine 数量太多导致内存占⽤⾼ 在⼀些不太重视延迟的场景(例如推送系统，抖⼀下死不了)，可以使⽤ 下列库进⾏优化 • evio • gev • gnet • easygo • gaio • netpoll ⼀定要⽤⾃⼰的真实业务场景做压测 不要相信 readme ⾥的压测数据 总结⼀下 • CPU 使⽤太⾼ • 应⽤逻辑导致 • request level lock • 同步改异步 • ⽇志场景：同步⽇志 -> 异步⽇志 • Metrics 上报场景：select -> select+default • 个别场景使⽤双 buffer 完全消灭阻塞 Continuous Profiling 第三部分 难以发现的偶发问题 压测是⼀个蹲点⼉⾏为 真实场景没我们想的那么美好： • 我们会遇到吃饭时间的 CPU 使⽤尖刺 在某公司⼯作期间，个⼈设计了⼀个叫 holmes 的⼯ 具，可以⾃动 dump profile ⾃动 dumper 能够发现的偶发线上问题⼀览 Holmes 之前定位出的线上问题，偶发死锁。 ⻓连接场景，为了连接保活， 每 15s 发送⼀次⼼跳 当⼼跳失败 6 次时，会关闭重建连 恰好有些实例出现 6 次⼼跳 与发送数据并发 出现了死锁 ⾃动 dumper 能够发现的偶发线上问题⼀览 Holmes

MOSN集成了WASM运行时 WebAssembly 应用场景 48 Refer https://github.com/mosn/layotto/issues/166 sidecar App App2 SDK App2 App App2 .wasm App2 App2 binary Reloadable SDK WebAssembly 应用场景 49 Sandbox as a Service binary App Groovy Groovy Groovy App Groovy Groovy Groovy OOM! Sandbox as a service WebAssembly 应用场景 50 sidecar extension Refer https://github.com/mosn/layotto/issues/166 sidecar App .wasm .wasm Pub/Sub RPC ... State Lock FaaS WebAssembly 应用场景 52 理想的serverless研发模式 BaaS WebAssembly 应用场景 53 现实…… 想拿Webassembly跑FaaS？ 目前的科技树还不成熟 WebAssembly 应用场景 54 Layotto的探索 https://mosn.io/layotto/#/zh

字节跳动在 Go 网络库上的实践 何晨 字节跳动 基础架构 – 研发 应用层 Netpoll – 面向 RPC 场景的网络库 Go net Netpoll 网络层 RPC 框架 HTTP 框架 KiteX Hertz Netpoll – 性能表现 Environment CPU: 4 cores Memory: 8GB Go: 1.15.4 Netpoll 02 高级特性 03 展望未来 04 Go net 在 RPC 场景下的问题 1. Conn 难以探活, 维护连接池成本高 Go net 在 RPC 场景下的问题 2. BIO 式编程, 连接量大时, 调度开销大 1. Conn 难以探活, 维护连接池成本高 Go net 在 RPC 场景下的问题 2. BIO 式编程, 连接量大时, 调度开销大 1. Conn 难以探活, 维护连接池成本高 Go net 在 RPC 场景下的问题 2. BIO 式编程, 连接量大时, 调度开销大 1. Conn 难以探活, 维护连接池成本高 业界调研 netpoll gnet easygo (sofa-mosn) evio go net Epoll(ET/LT) LT LT ET/LT LT ET NIO  

基于负载均衡器 基于名字服务 方案对比 方案 对流量的控制力 资源消耗 对客户端的要求 适用场景 基于负载均 衡器 强。可以达到单个连 接 / 请求的粒度。 高。负载均衡器引 入了额外的资源消 耗。 低。客户端基本不 需要实现策略。 总体流量规模不大 （从负载均衡器资 源消耗的角度）； 应用场景对流量控 制要求高。 基于名字服 务 + 客户 端策略 弱。客户端直接访问 服务，没有可靠的卡 控点，无法实现精细 的流量控制测量。 低。不需要额外的 资源投入。 高。客户端需要支 持比较复杂的策略， 且涉及升级的问题。 总体流量规模较大； 应用场景对流量控 制要求低；无法使 用负载均衡器的场 景。 负载均衡器 • 负载均衡的趋势 • 硬件 => 软件 • 四层和七层负载均衡器分离 • 四层负载均衡 • LVS，DPVS，… • 七层负载均衡 req_host_in(“www.c.com”) Demo-D 内网流量调度 • 使用场景 • 多数据中心 / 多容器云集群 • 内部服务故障 • 内部服务压力不均 健康检查 • 主动健康检查 • 负载均衡系统持续向RS发送探测请求 • 问题：在响应速度和发送压力间存在权衡 • 在分布式场景下问题更加明显 • 被动健康检查 • 利用正常业务请求来发现失败 • 失败后启动主动健康检查