七牛如何做  HTTP服务测试？  许式伟  2015-4-18  HTTP服务测试  • 单元测试  – 某个独立子服务的测试  • 集成测试  – 整个集群对外业务API的测试  • Stage环境  • Product环境  怎么测？  • 七牛早期做法  – 实现服务逻辑（Service  Implementation） 直接基于协议测试呢？  – 比如，基于  http.Client  类直接写测试案例  • 问题  – 代码相对冗长  – 业务逻辑表达不直观  • 写一些辅助函数能够略为改观，不过会有逐步写测试专用SDK的倾向  七牛当前做法  • 引入  httptest  DSL  文法  • 更接近基于  http.Client  写测试案例的思路  比如  `qiniu  f2weae23e6c9f  jg35fae526kbce`  返回一个  auth  object，用字符串无法表达  http  Request  的表达  req  <http-method>   header     …  header  

Iteratively Migrating an HTTP Service to Go and gRPC Using grpc-gateway and httputil.ReverseProxy Igor Dubinskiy GitHub: idubinskiy Twitter: idubins ● Everything but the browser a. Modify clients existing service Options to migrate a service from HTTP to gRPC Proxy using grpc-gateway and httputil.ReverseProxy https://github.com/idubinskiy/http-to-grpc-gateway Demo Thank you!

go，执行生成的文件，就会在底目 录下生成相应的html文件 交流 交流 欢迎大家加入QQ群：259316004 《Go Web编程》专用交流群 大家有问题还可以上德问上一起交流学习：http://www.dewen.org/topic/165 致谢 致谢 首先要感谢Golang-China的QQ群102319854，里面的每一个人都很热心，同时要特别感谢几个人 四月份平民 面向对象 2.6. interface 2.7. 并发 2.8. 小结 3.Web基础 3.1 web工作方式 3.2 Go搭建一个简单的web服务 3.3 Go如何使得web工作 3.4 Go的http包详解 3.5 小结 4.表单 4.1 处理表单的输入 4.2 验证表单的输入 4.3 预防跨站脚本 4.4 防止多次递交表单 4.5 处理文件上传 4.6 小结 5.访问数据库 5.1 例如builtin包，那么执行go doc builtin 如果是http包，那么执行go doc net/http 查看某一个包里面的函数，那么执行godoc fmt Printf 也可以查看相应的代码，执行godoc -src fmt Printf 通过命令在命令行执行 godoc -http=:端口号 比如godoc -http=:8080。然后在浏览器中打开 127.0.0.1:8080，你将会看到一个golang

那我们想想，如果我们的服务
CPU
被打满了，是不是后⾯所有的请求也都被卡住了？等服务处理完请 求的时候，⽤⼾那⾥可能已经超时离开了，结果服务器很忙，但都是做的⽆⽤功。如果这⾥不能理 解，停下来好好思考⼀番，如果还不懂的话，可以来
go-zero
群⾥讨论讨论。。。
2.1
模拟
CPU
密集型服务
有⼈可能会问
CPU
密集型服务怎么定义？你的服务
CPU
会打满吗？处理请求会包含复杂的计算逻辑 吗？你经常需 可以理解为服务的
IO
⽐较快，或者⽐较少，瓶颈是 在
CPU
消耗上。
你可以直接⽤
goctl quickstart -t mono
命令⽣成⼀个
HTTP
服务，然后在
logic
代码⾥加 上模拟
CPU
负载的请求处理代码。
模拟
CPU
计算的代码：https://gist.github.com/kevwan/ccfaf45aa190ac44003d93c094a12c3f
330




3600743
ns/op
从
benchmark
结果可以看出单个请求的逻辑处理需要
3.6ms
CPU资源（不包括服务端中间件处理 消耗）。对于两核的容器来说，qps
上限约为
550（2000/3.6）。但是我们是⼀个
HTTP
server，肯定 还有接受请求、解析请求、返回结果等开销，实际上是达不到
550qps
的。
这个模拟
CPU
的代码本⾝不重要，就不做介绍了。

GUI 框架项目正在如火如荼地进行中，或许我们会在不久的将来看到一些可用的 Go 语言 GUI 框架。不过 现阶段的 Go 语言已经提供了大量有关 Web 方面的功能，我们可以通过它强大的 http 和 template 包来 达到 Web 应用的 GUI 实现。 我们会经常涉及到一些关于 Go 语言的编码规范，了解和使用这些已经被广泛认同的规范应该是你学习阶 段最重要的实践。我会在书 在完成编译之后（通常在 1 分钟以内，如果你在 B 型树莓派上编译，一般需要 1 个小时），你会在终 端看到如下信息被打印： 图 2.3 完成编译后在终端打印的信息 注意事项 在测试 net/http 包时有一个测试会尝试连接 google.com ，你可能会看到如下所示的一个无厘头 的错误报告： Go入门指南 - 16 - 本文档使用 看云 构建 ‘make[2]: Leaving 如果你正在使用一个带有防火墙的机器，我建议你可以在编译过程中暂时关闭防火墙，以避免不必要 的错误。 解决这个问题的另一个办法是通过设置环境变量 $DISABLE_NET_TESTS 来告诉构建工具忽略 net/http 包的相关测试： export DISABLE_NET_TESTS=1 如果你完全不想运行包的测试，你可以直接运行 ./make.bash 来进行单纯的构建过程。 5. 测试安装 使用

为知识的传承献上您的一份力量！ 如果当前文档生成时间太久，请到 书栈(BookStack.CN) 获取最新的文档，以跟上知识更新换代的步伐。 文档地址：http://www.bookstack.cn/books/the-way-to-go_ZH_CN 书栈官网：http://www.bookstack.cn 书栈开源：https://github.com/TruthHun 分享，让知识传承更久远！ 感谢 GUI 框架项目正在如 火如荼地进行中，或许我们会在不久的将来看到一些可用的 Go 语言 GUI 框架。不过现阶段的 Go 语言已经提供了 大量有关 Web 方面的功能，我们可以通过它强大的 http 和 template 包来达到 Web 应用的 GUI 实现。 我们会经常涉及到一些关于 Go 语言的编码规范，了解和使用这些已经被广泛认同的规范应该是你学习阶段最重要的 实践。我会在书中尽 在完成编译之后（通常在 1 分钟以内，如果你在 B 型树莓派上编译，一般需要 1 个小时），你会在终端看 到如下信息被打印： 图 2.3 完成编译后在终端打印的信息 注意事项 在测试 net/http 包时有一个测试会尝试连接 google.com ，你可能会看到如下所示的一个无厘头的错误报 告： 1. ‘make[2]: Leaving directory `/localusr/go/src/pkg/net’

Reserved • ⾼高并发量请求处理（峰值QPS 20万） • 每天上百亿竞价请求 • 每个竞价请求要在100毫秒内响应（包含⺴⽹网络延迟） • 复杂的出价算法与逻辑 DSP竞价系统的挑战 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved • 竞价请求解析（JSON 或 Google Protobuf） 第⼀一次签⼊入 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved • http包的HelloWorld性能测试 为什么选择Golang Via: http://www.cnblogs.com/QLeelulu/archive/2012/08/12/2635261.html 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved • 直接⽤用golang的http包 • 只使⽤用gorilla/mux做简单的请求路由 • 封装简单的HTTPBaseHandler HTTP竞价接⼝口 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved

 延展性 链路追踪设计目标 链路追踪 Dapper 每个请求都生成一个全局唯一的 traceid，端到端透传到上下游所有节点，每一层生成一个 spanid， 通过traceid 将不同系统孤立的调用日志和异常信息串联一起，通过 spanid 和 parentid 表达节点 的父子关系 链路追踪 在分布式系统中请求的路径经常很凌乱且无法预测，为了构建我们想要的任何路 径的视图，无论多么复杂，每个组件都需要五段数据： 径的视图，无论多么复杂，每个组件都需要五段数据： • TraceID：请求唯一标识符，由根span产生，贯穿请求的各个阶段。 • SpanID：span包含单一链路中一个工作单元收到的信息。 • ParentID：区别请求链路中的嵌套包含关系，根Span没有ParentID。 • 时间戳：每个Span必须展示开始时间。 • 执行时长：每个Span都必须记录工作开始到结束时花费的时长。 Go工程插桩(Instrument) 需要对业务开发者几乎零成本的接入链路追踪，几乎完全依赖于少量通用组件库的改造。 当一个请求在处理跟踪控制路径的过程中，需要把跟踪的上下文存储在ThreadLocal中，在Go中 就是存储在Context中，一般约定每个方法第一个参数为Context（上下文）。 覆盖组件不限于：数据库、缓存、消息队列、RPC、HTTP等。 插桩(拦截器) 创建并命名上下文(HTTP请 求或gRPC)中已存在的任意 Span的子Span，开始计时

工具大于约定和文档 ● 尽可能约束做一件事只有一种方式 ● 对业务开发友好，封装复杂度 go-zero是如何设计的 客户端 API端 Service端 缓存层 iOS PC web 安卓 HTTP协议 日志记录 加解密 鉴权&防重放 异常捕获 并发控制 数据统计 监控报警 链路跟踪 自动降载 自动熔断 超时控制 gRPC协议 日志记录 缓存控制 调用鉴权 异常捕获 并发控制 数据统计 service2 etcd service1 注册上报 watch发现 rpc call rpc服务层 - zRPC Power of Two Choices ● 默认算法 ● 当前请求数 ● 处理时长 ● 指数加权移动平均 参考自Nginx & Envoy & Finagle & Linkerd： ● https://www.nginx.com/blog/nginx-power- robin-load-balancing-for-latency/ ● 流控 ● 请求鉴权 ● 请求参数校验 ● 业务聚合 ● 支持自定义中间件 api gateway层 ● Google SRE算法 ● 放弃了Netflix Hystrix算法 ● 基于滑动窗口（10秒/40窗口） ● 支持自定义触发条件 ● 支持自定义fallback ● http/rpc框架内建 ● 自动触发，自动恢复 自适应熔断

• 百度统一前端 –七层流量接入平台 BFE(Baidu Front End) • 主要服务 • 接入转发 • 防攻击、流量调度、数据分析 • 业务现状 • 覆盖大部分重要产品 • 日请求量千亿级别 接入与转发 防攻击 流量调度 数据分析 BFE 为什么重写BFE • 现存问题 –修改成本高 • 事件驱动的编程模型：编码和调试难度大 • C语言本身的难度和开发效率 – 通过算法设计和架构设计来弥补 几个问题 • GC优化 • http协议栈 • 分布式架构 GC带来的问题 –GC是个好东西，但也有问题 –难以避免的延迟(几十到几百ms) • 经验公式：10万对象1ms 扫描时间 –1个tcp连接，约10个对象=> 1万连接，1ms gc延迟 • GO-BFE的实时需求 –请求的处理延迟 平均1ms以内，最大10ms • 实测 –100万连接，400ms 技术细节 • 服务态 –调用Accept，获取新的请求 • 等待态 –不调用Accept，已经连接的client，可以继续收发 –等待这些已有的连接关闭 • 垃圾收集态 –主动调用GC GC优化 – 补充分析 • HTTP场景 –短连接 –长连接 • 平均连接上的请求是3个 • 90%(20s以内)、98%(50s之内) –大文件请求 • 对gc造成的延迟(几十ms)不敏感 多说一句Go