字节跳动在 Go 网络库上的实践 何晨 字节跳动 基础架构 – 研发 应用层 Netpoll – 面向 RPC 场景的网络库 Go net Netpoll 网络层 RPC 框架 HTTP 框架 KiteX Hertz Netpoll – 性能表现 Environment CPU: 4 cores Memory: 8GB Go: 1.15.4 Netpoll

Gopher  China  2015  Resource  Scheduling  &  Container  Technology  for  Financial  Service  动态资源管理和容器技术  在金融行业的架构探索和明天  余军  Gopher  China  2015  Gopher  China  2015   Storage  Busines  A  Busines  B  Busines  C  Infra  Service   Platform  Service   Business  Service  ?  Gopher  China  2015  归根结底是构造一个高效的资源管控模型  Gopher  China China  2015  求解之路的探索  n 他们是否解决了我们的问题?  n No   ① Condor系统是面向高吞吐率计算计算而设计的，它的主要目的就是利用网络中工作站的空闲时间来为用户服务。  ② Condor采用集中式调度模式，且不能保障用户服务质量。  ③ 最小完成时间算法MCT(Minimum  Completion  Time)是

Co-founder of Layotto Service Mesh 落地之后: 为 sidecar 注入灵魂 2 • Multi Runtime: 从 sidecar 到机甲 • Runtime API: 解决跨云部署和厂商绑定难题 • WebAssembly in sidecar: 让业务逻辑跑在sidecar里 • Service Mesh 回顾 • 展望2022：待解决的问题 • 总结 3 Service Mesh 回顾 Service Mesh 回顾 4 由开发了 Linkerd 的Buoyant 公司提出 服务网格是一个基础设施层，用于处理服务间通信。云原生应用有着复杂的服务拓扑，服 务网格负责在这些拓扑中实现请求的可靠传递。在实践中，服务网格通常实现为一组轻量 级网络代理，他们与应用程序部署在一起，而对应用程序透明。 Service Mesh 的初衷 answer/147967674 Service Mesh 的初衷 6 • 升级成本高 • 业务解耦 • 平滑升级 • 异构语言治理 • 异构语言治理能力弱 • SDK 版本不统一 应用 SDK 服务路由 负载均衡 通信序列化协议 sidecar 应用 SDK 通信序列化协议 业务逻辑 服务路由 熔断限流 进程通信 熔断限流 负载均衡 Service Mesh 落地实践

Iteratively Migrating an HTTP Service to Go and gRPC Using grpc-gateway and httputil.ReverseProxy Igor Dubinskiy GitHub: idubinskiy Twitter: idubins ● Everything but the browser a. Modify clients clients to call new service per route as each required RPC is implemented b. Modify clients to call new service for all routes once all required RPCs are implemented c. New service proxies unimplemented unimplemented routes to existing service Options to migrate a service from HTTP to gRPC Proxy using grpc-gateway and httputil.ReverseProxy https://github.com/idubinskiy/http-to-grpc-gateway Demo Thank you

支持。 按照其设计，Go打算为多核机器上系统软件的构造提供一种方法。 Go是一种编译型语言，它结合了解释型语言的游刃有余，动态类型语言的开发效率，以及静态类型的安全性。它也打 算成为现代的，支持网络与多核计算的语言。要满足这些目标，需要解决一些语言上的问题：一个富有表达能力但轻 量级的类型系统，并发与垃圾回收机制，严格的依赖规范等等。这些无法通过库或工具解决好，因此Go也就应运而生 了。 URL和DNS解析 85 我们浏览网页都是通过URL访问的，那么URL到底是怎么样的呢？ URL(Uniform Resource Locator)是“统一资源定位符”的英文缩写，用于描述一个网络上的资源, 基本格式如下 schema://host[:port#]/path/.../[?query-string][#anchor] scheme 指定低层使用的协议(例如：http query-string 发送给http服务器的数据 anchor 锚 DNS(Domain Name System)是“域名系统”的英文缩写，是一种组织成域层次结构的计算机和网络服务命名系统，它 用于TCP/IP网络，它从事将主机名或域名转换为实际IP地址的工作。DNS就是这样的一位“翻译官”，它的基本工作 原理可用下图来表示。 图3.2 DNS工作原理 更详细的DNS解析的过程

50+内部产品，万款开发平台app 实时⻓长连接数亿量级，⽇日独数⼗十亿量级 1分钟内亿量级⼲⼴广播,⽇日下发峰值百亿量级 400台物理机，9个独⽴立集群，国内外近10个IDC 运维管理的go语⾔言编写的常驻service服务实例接近3000个。 业务场景多样： ⽀支持聊天场景业务，稳定⽀支持多款聊天业务app 单通道多app复⽤用 上⾏行通道，回调⽀支持 对智能硬件产品，提供定制化消息推送与转发服务 辑，接⼊入端⺴⽹网络状况） 测试环境，可以通过300w⻓长连接压测（⺴⽹网络,连接稳定,⽆无带宽限制,实际可以更⾼高 ,决定于⼲⼴广播时候业务内存开销的cpu消耗带来的⼼心跳或者业务延时能否接受） 以360消息推送系统为例 ⾼高并发、通信交互复杂 Dispatcher Service Room Service Proxy Service Register Register Service Saver Service Router Service Session Service Center Service Keeper/Agent Zookeeper/deployd /Logger Service Coordinator Service ��� Id Service （deprecat ed） 接入客户端 Android IOS

Engine）；微服务 - 上线前压测： - 预估 CPU：20,000+ 核，其中推荐系统接近 18,000 - 现象：网络流量极大 - 原因：流量中包含对局完整历史（Token 历史、推荐历史、……） 服务（某灰度下） 峰值 CPU 使用率 峰值 内存 峰值 CPU 核 峰值网络 I/O show_common 35～50% 10～12% 400+ 1.68 + 36.4 = 38.1 Gbps 微服务单体化 - 腾讯文档团队《回归单体成为潮流？腾讯文档如何实现灵活架构切换》 - 更进一步优化：网络 RPC 改为函数调用，同时保留微服务架构 微服务——上线前压测 贵 微服务——火焰图 - 以实验层火焰图为例，业务逻辑仅占 CPU 10% RPC 变成内存调用才是单体的完全体 - 思路： - 网络流量 => 内存数据 - RPC => 函数调用 - 实现： - 微服务框架：tRPC、北极星 https://polarismesh.cn - 内部版：tRPC 服务与北极星平台默认强绑定 单体服务——基于 tRPC 的灵活切换 // ---------------- // rerank.proto service FeedsRerank { rpc GetFeedList (GetFeedRequest) returns (GetFeedReply); } // ----------------

产环境与软件开发之间的主要矛盾，并尝试设计一门全新的编程语言来解决这些问题。 以下就是他们讨论得出的对编程语言的设计要求： 能够以更快的速度开发软件 开发出的软件能够很好地在现代的多核计算机上工作 开发出的软件能够很好地在网络环境下工作 使人们能够享受软件开发的过程 Go 语言就在这样的环境下诞生了，它让人感觉像是 Python 或 Ruby 这样的动态语言，但却又拥有像 C 或者 Java 这类语言的高性能和安全性。 Go 语言中最值得称赞的设计 goroutine 和 channel 进行并发 和多核应用的基本技巧的讲解（第 14 章）。最后，我们会讨论如何将 Go 语言应用到分布式和 Web 应用 中的相关网络技巧（第 15 章）。 我们会在本书的第四部分向你展示许多 Go 语言的开发模式和一些编码规范，以及一些非常有用的代码片 段（第 18 章）。在前面章节完成对所有的 Go 语言技巧的学习之后，你将会学习如何构造一个完整 衡，从而使编程变得更加有乐趣，而不是在艰难抉择中痛苦前行。 因此，Go 语言是一门类型安全和内存安全的编程语言。虽然 Go 语言中仍有指针的存在，但并不允许进 行指针运算。 Go 语言的另一个目标是对于网络通信、并发和并行编程的极佳支持，从而更好地利用大量的分布式和多 核的计算机，这一点对于谷歌内部的使用来说就非常重要了。设计者通过 goroutine 这种轻量级线程的概 念来实现这个目标，然后通过

通道、超时和计时器（Ticker） 14.6 协程和恢复（recover） 14.7 新旧模型对比：任务和worker 14.8 惰性生成器的实现 14.9 实现 Futures 模式 第 15 章 网络，模板和网页应用 15.1 tcp服务器 15.2 一个简单的网页服务器 15.3 访问并读取页面 15.4 写一个简单的网页应用 第 16章 常见的陷阱与错误 16.1 误用短声明导致变量覆盖 字符串 18.2 数组和切片 18.3 映射 18.4 结构体 18.5 接口 18.6 函数 18.7 文件 18.8 协程（goroutine）与通道（channel） 18.9 网络和网页应用 18.10 其他 18.11 出于性能考虑的最佳实践和建议 - 6 - 本文档使用 书栈(BookStack.CN) 构建 致谢 当前文档 《Go入门指南》 由 进击的皇虫 使用 试设计一门全新的编程语言 来解决这些问题。 以下就是他们讨论得出的对编程语言的设计要求： 能够以更快的速度开发软件 开发出的软件能够很好地在现代的多核计算机上工作 开发出的软件能够很好地在网络环境下工作 使人们能够享受软件开发的过程 Go 语言就在这样的环境下诞生了，它让人感觉像是 Python 或 Ruby 这样的动态语言，但却又拥有像 C 或者 Java 这类语言的高性能和安全性。

毛剑 Why Go？ ž 优雅简洁，少就是多； ž 性能好、系统级语言； ž 静态语言、强类型约束； ž 交叉编译&部署； ž 网络模型&并发同步模型； ž 标准库、内置工具强大支持； ž 开源&社区活跃； 我们做了啥？ ž 业务 — 猎豹移动全球passport体系； — 游戏开放平台； — 游戏支付体系； ž 平台 基于redis sentinel的smart client； — rpc框架； — gosnowflake发号器集群； — goconf统一配置管理； 接入层优化 ž DNS在移动网络下不适用； — 避免劫持、失效，dns提供商故障； ž 协议压缩：pb+gzip； — 节约流量； ž 协议设计：职责单一不适用； — 合并请求； ž TCP Handshake影响RTT; 国内DNS->VIP->lvs->tengine->Go; ž 海外DNS->ELB DNS->ELB->Go; ž Service之间通过Thrift或者net/rpc通讯； ž 依赖redis sdk访问redis； ž 直连mysql； ž 用户的所有业务逻辑基于Go处理； Service ž 服务应该是无状态的； ž api服务出现瓶颈的时候，直接scale out； ž