Golang在工程实践中的错误处理 彭友顺 石墨文档 产研负责人 目 录 为什么我们处理错误会这么慢 01 如何完善错误信息 02 优雅处理错误信息 03 分布式错误处理 04 错误信息手册的必要性 05 为什么我们处理错误 会这么慢 第一部分 错误信息不够完善 why 原因 出现 错误 定位 慢 恢复 慢 效率低 为什么我们处理错误会这么慢 错误处理不够优雅 分布式错误难以串联 对接起来会非常麻烦 优雅处理错误信息 第三部分 为什么定位慢？-- 错误处理 不要透传错误 错误码唯一性 记录一次错误 假设用户反馈了无法打开一个文件 我们的程序员非常认真 记录了文件不存在的错误日志 • 同样的错误信息，非常多的杂音 • 每个Error，都去查看一次对应代码，排查效率低 • 占用存储空间 • 最外层入口处只记录一次错误日志 为什么定位慢？-- 错误处理 带来新的问题，无法定位整个代码执行链路 日志分析不出是哪个service 调用了MySQL 为什么定位慢？-- 错误处理 带来新的问题，无法定位整个代码执行链路 不要透传错误 错误码唯一性 记录一次错误 • 不能透传错误，fmt.Errorf • 如果不考虑性能 • 日志开启Stack • 错误追加Stack 为什么定位慢？-- 错误处理 不要透传错误 错误码唯一性 记录一次错误 文件不存在 数据表里不存在

战中陪伴助手介绍——和平精英最佳第五人 • 游戏战斗中指导 / 建议 • 闲聊、鼓励、攻略 • 取得战绩，赞赏一波 毫不留情！ 三杀收下！ 早期探索 第二部分 需求思考 • 我们的输入是什么？ • 游戏对局事件 • Snapshot • Diffs • 玩家位置 • 安全区 • 航线 • …… • 掉血10点 • 开枪3发 • 敌人方位 • …… • 我们要怎么做？ • 我们的输出是什么？ 扩展 - 没有考虑扩展 功能 - 难以实现战略推荐 - 早期：先考虑有无 - 引入推荐系统 系统思考——如何评判方案的好坏？ 需要定义几个维度来评判一个方案的好坏 - 响应性能： 获取事件到输出策略的延迟 - 服务器成本： 每服务千人成本越低越好 - 运营简易度： 设计新运营策略的难度 - 开发迭代： 如需开发介入，那么功能迭代的速度 - 可解释性： 理由是否能否说服玩家遵从建议 项目各角色成员密切配合，深度参与 - Token / 策略的设计开发可并行 - 运营可闭环策略设计，开发无需介入 方案详述——完整架构 先对整个架构有一个大概的认识 - 消息队列消费：解耦 MQ - Token 清洗：事件翻译和 token 计算 - 推荐系统：策略召回和推荐 - 数据分析：离线策略挖掘和模型训练 - 管理平台：开发、运营、运维辅助 实现方案——Token 清洗 Token 清洗服务完整流程

8/36 订阅 通过 SUBSCRIBE 消息, 开启一个长链接来订阅事件 (Event), 常用事件类型： 2017/8/3 基于 mesos 的容器调度框架 http://go-talks.appspot.com/github.com/huangnauh/slides/upone.slide#3 9/36 OFFERS 事件处理 ACCEPT 消息： 接受此 o�er， 包括启动任务，预留资源等调度操作 mesos 的容器调度框架 http://go-talks.appspot.com/github.com/huangnauh/slides/upone.slide#3 10/36 UPDATE 事件处理 Image generated by Mesos web interface 状态更新与 upone 的联动, 例如: - Running 状态, upone 更新负载均衡 - Lost ne.slide#3 31/36 告警 各个应用可以在创建任务的时候指定自己的 slack channel 当任务出现异常时, 发送实时通知 2017/8/3 基于 mesos 的容器调度框架 http://go-talks.appspot.com/github.com/huangnauh/slides/upone.slide#3 32/36 告警 2017/8/3 基于 mesos

版本 工作负载 负载均衡 标签 流量 组件 日志 指标 容量 服务 依赖 路由规则 持久卷 部署策略 健康检查 … 灰度 发布 定时弹性 事件 指标弹性 分批发布 重启 回滚 日志管理 事件中心 指标监控 存储挂载 服务绑定 手动弹性 回退历史 负载均衡 报警 诊断 组件管理 服务治理 … 权限 K8s Istio Envoy Tekton Type: return dc.rolloutRolling(d, rsList) } ... } • 使用声明式K8s资源 作为期望终态 • 循环控制器 • Label是一等公民 • 事件触发闭环反馈 • 多控制器组合 基于控制论原理 EDAS-阿里云云原生PaaS平台 ApiServer Kube Controller manager Cloud controller Static • Measurable • Relevant • Attainable • Timebound • 控制器设计（做什么） • 基于“可重构”状态机，开放的世界 • 不要修改资源声明 • 事件驱动+主动轮询 • 重试 + 幂等 • 自愈 • e2e测试 • Ginkgo BDD • Kind本地K8s集群 新的复杂度-最终一致性 status: … phase: succeed

argus的现状 Ø argus的未来 系统定位 Ø 保证基础监控，提供监控通道 Ø 要求高可用、高可扩展 Ø 分离用户、平台管理员 角色 Ø 建设用户自助平台（看性能、配告警、收告警） Ø 保证告警覆盖率，按类型初始化通用告警策略 Ø 兼顾通用的和个性的监控要求 目录 Ø 团队介绍 Ø 背景 Ø 系统定位 Ø argus是什么 Ø 为什么选用Go Ø argus的前身 Ø argus的现状 数据上报 agent transfer meta updater hbs graph judge redis sender query mysql web alarm gitlab 告警判断 agent transfer meta updater hbs graph judge redis sender query mysql web alarm gitlab 数据查询 数据查询 agent transfer meta updater hbs graph judge redis sender query mysql web alarm gitlab 告警配置 agent transfer meta updater hbs graph judge redis sender query mysql web alarm gitlab 插件脚本下发

指标覆盖完整 通过多种探针，覆盖基础 设施、业务系统、用户终 端全面的数据指标 高实时性 通过流计算平台，数据 处理和告警延迟都在秒 级别 海量数据 存储处理 高性能的大数据处理架 构，轻松应对海量可观 测性数据处理 平台架构 可观测性数据采集 可观测性数据处理 数据存储选择 ES 数据索引管理 自动路由 指标到索引 01 02 03 自动索引滚动 根据容量和 TTL

Layer 轻客户端层 Edge Layer 轻节点层 Gateway Layer 核⼼技术 多类型节点分层部署模式 1 3 动态⾃发现⽹络转发模型 2 ⼤规模组⽹⾼效共识算法 1.提⾼数据处理效率 2.提升终端异构性能⼒ 3.提供实时计算与验证服务 4.解决数据真实性“第⼀公⾥” 问题 ⾯向海量节点⼤规模应⽤场景， ⽀持1000+节点的⽣产级联盟链⽹络， 可以实现数⼗万个多类型区块链⽹络节点分层部署 ©2016-2021 18 趣链科技 版权所有 ©2016-2021 18 不同分区（Namespace）间共识、执行、存储、网络完全独立；借助分区，一方面可实现业务隔离，保障 数据隐私安全；另一方面可实现交易并行处理，提升系统整体性能。 功 能 特 性 分区机制 业务分区而治 • 通过Namespace进行业务划分 • 业务数据对其他分区不可见 分区性能优异 运维灵活便捷 • 单次部署节点、灵活配置分区，降低运维成本 系统外部 系统内部 交易拦截器限流 在系统最外层及早对交易进⾏拦截，阻⽌交易渗透 到主流程花费不必要的系统开销 消息分发器限流 P2P⽹络层通过消息分发器将消息带权分发给对应 模块处理，降低各模块由于处理能⼒差异⽽相互⼲ 扰，保证核⼼模块正常运⾏ ⽹络带宽限流 限制节点最⼤出⼝带宽流量，适⽤于对⽹络带宽 有限制需求的场景 功能简介 22 趣链科技 版权所有 ©2016-2021

web工作方式 3.2 Go搭建一个简单的web服务 3.3 Go如何使得web工作 3.4 Go的http包详解 3.5 小结 4.表单 4.1 处理表单的输入 4.2 验证表单的输入 4.3 预防跨站脚本 4.4 防止多次递交表单 4.5 处理文件上传 4.6 小结 5.访问数据库 5.1 database/sql接口 5.2 使用MySQL数据库 5.3 使用SQLite数据库 5.4 session和cookie 6.2 Go如何使用session 6.3 session存储 6.4 预防session劫持 6.5 小结 7.文本文件处理 7.1 XML处理 7.2 JSON处理 7.3 正则处理 7.4 模板处理 7.5 文件操作 7.6 字符串处理 7.7 小结 8.Web服务 8.1 Socket编程 8.2 WebSocket 8.3 REST 8.4 RPC 8.5 小结 国际化和本地化 10.1 设置默认地区 10.2 本地化资源 10.3 国际化站点 4 10.4 小结 11.错误处理，调试和测试 11.1 错误处理 11.2 使用GDB调试 11.3 Go怎么写测试用例 11.4 小结 12.部署与维护 12.1 应用日志 12.2 网站错误处理 12.3 应用部署 12.4 备份和恢复 12.5 小结 13.如何设计一个Web框架 13.1 项目规划

App Unseen Task Detect ① 基于N个历史任务，完成云端知识库初 始化 ② 基于云端知识库，学习当前边侧任务 ③ 基于当前边侧任务，更新云端知识库 ④ 重复步骤2-3以处理M个未来任务 Cloud 任务模型 任务样本 1 2 3 4 N个历史任务 当前任务 M个未来任务 知识库 边云协同终身学习： 云侧知识库记忆，解决新情景下数据异构和小样本 client-gen: 为资源生成标准的操作方法 (get;list;watch;create;update;patch;delete) informer-gen: 生成informer，提供事件机制 (AddFunc,UpdateFunc,DeleteFunc)来响应 kubernetes的event lister-gen: 为get和list方法提供只读缓存层 https://github NewUpstreamController()：【5】创建UpstreamController，每个GM进程有 一个UpstreamController - uc.Run(stopCh)：启动一个for循环协程，来处理 - pkg/globalmanager/controllers/upstream.go/syncEdgeUpdate() - NewRegistry()：【6】注册所有controller。

构建标准的交付环境 交付产物标准化 - 业务配置 - 资源配置 - 依赖配置 - 流⽔线配置 配置即代码 : 实现⼤规模交付的部署过程可被验证 PaaS 平台：资源管理，容器编排，基础监控和告警 APM 监控：应⽤诊断，链路追踪，⽇志分析 微服务治理组件 可靠的业务 贴身护航 基础⽀撑 持续保障系统稳定性 只需很少的运维投⼊即可保证系统稳定性 端点⼀站式 PaaS - Erda ⽇志 HPA Operator 注册中⼼ 配置中⼼ API ⽹关 微服务拓扑 全链路追踪 错误分析 ⽇志分析 主动监控 浏览器监控 APP 监控 慢SQL JVM 诊断 ⾃定义告警 APM 微服务管理 资源管理 标签管理 系统监控 集群管理 服务⽬录 埋点 数据库 ⽇志 画像 标签 报表 推荐 … 代码管理 持续集成 编排部署 应⽤运维 测试管理 协同管理 Servlet Service Dubbo- RPC JVM Middlewares: MyBatis Redis ElasticSearch Jetty 特点: ⽆侵⼊的实现⽅案 告警 告警项: 告警⽅式 通知⽅式 报告: 系统异常状况汇总 特点: 智能 通知分组 ⽇志分析 访问明细: 应⽤⽇志明细 Docker 报告: 应⽤⽇志搜索 错误⽇志定位 分布式⽇志查询