如何监控 Go 应用？ 第二部分 基于 Prometheus Go 应用监控接入流程 确定指标 为应用埋点 部署应用 配置服务发现 监控展示 指标类型 ● Go 运行时指标 ○ Goroutine 数量 ● 应用层指标 ○ infra_http_request_total ● 业务指标 ○ 总 Tracking 查询量 ○ Tracking 创建速率 ○ 某个 ENT 客户的 系统架构演进 第三部分 2018-2020 2K+ 40K 1Mil+ 2020 年指标数据 业务指标数量 每秒写入数据点 Active Time Series 2018-2020 年架构 2020 年底面临的问题 ● 无法查询超过 30 天的数据 ● 查询慢，平均时间超过 2 分钟 ● 跨集群指标无法聚合 ● Prometheus 集群经常崩溃 ● 维护时 Prometheus Why Thanos VS VS 架构 S3 Thanos 架构 Querier Query-Frontend Store Gateway S3 2022 年中指标数据 14K+ 0.6Mil 30Mil+ 业务指标数量 每秒写入数据点 Active Time Series Thanos 架构优化 Querier Query-Frontend Store Gateway S3

Go工程可观测性实践 周曙光 得物 Go开发 目 录 可观测性概述 01 链路追踪 02 指标 03 可观测性概述 第一部分 广义的可观测性：可以根据系统的外部输出信息推断出系统内部状态的好 坏。 软件系统的可观测性：一种度量能力，能帮你更好的理解系统当前所处的 任何状态。如果无需发布新代码就可以理解任何新的或怪异的状态，那么 系统就具备可观测性。 什么是可观测性？ 可观测性开源产品 组件 • API • SDK • Exporter • Collector OTel Collector • Receiver • Processor • Exporter 微服务业务架构图 项目工程layout 遥测数据处理架构 链路追踪 第二部分  无所不在的部署  持续监控  低消耗  应用级透明  延展性 链路追踪设计目标 链路追踪 Dapper ，根Span没有ParentID。 • 时间戳：每个Span必须展示开始时间。 • 执行时长：每个Span都必须记录工作开始到结束时花费的时长。 Go工程插桩(Instrument) 需要对业务开发者几乎零成本的接入链路追踪，几乎完全依赖于少量通用组件库的改造。 当一个请求在处理跟踪控制路径的过程中，需要把跟踪的上下文存储在ThreadLocal中，在Go中 就是存储在Context中

Scheduler extension Custom controller Network plugins Storage plugins 统筹规划， 降低成本 自动化运维， 提升稳定性 非业务逻辑剥离， 提升交付效率 Golang与云原生生态（CNCF） 项目数占比: 214/1512（14.2%） Github star数占比:1265737 / 2458072（51.5%）市值占比: 策略与机制随着层次的变化而变化； 应用管理的策略与机制 应用 版本 工作负载 负载均衡 标签 流量 组件 日志 指标 容量 服务 依赖 路由规则 持久卷 部署策略 健康检查 … 灰度 发布 定时弹性 事件 指标弹性 分批发布 重启 回滚 日志管理 事件中心 指标监控 存储挂载 服务绑定 手动弹性 回退历史 负载均衡 报警 诊断 组件管理 服务治理 … 控制器 负载均衡 控制器 限流降级 控制器 监控 控制器 … 应用模型 控制器 平台应用模型 平台特定业务 用户应用模型 云原生生态 EDAS 1、应用管理策略 2、应用管理机制 3、平台构建策略 4、平台构建机制 PaaS 内核（3，4） PaaS 业务（2） 用户界面（1） EDAS的平台构建策略-OAM应用模型 https://github.com/oam-dev/spec

业务性能优化概览 By Xargin 《Go 语⾔⾼级编程》合著者 Go contributor ⽬ 录 优化的前置知识 01 ⽣产环境的优化 02 Continuous profiling 03 优化的前置知识 第⼀部分 Latency numbers every programmer should know https://colin-scott.github.io/p 延迟太⾼？ 压测时关注哪些服务指标 压测时关注哪些服务指标 因为我们是 Go 的服务，还可以额外看看： • Goroutine 数，线程数 • 如果 Goroutine 数很多，那这些 Goroutine 在⼲什么？ • GC 频率，gctrace 的内容(线上保存 gctrace 的话，注意硬盘类型)，GC 的 stw 时间 • Memstats 中的其它指标： https://github syscall • 降低锁粒度：全局锁 -> 对象锁，全局锁 -> 连接锁，连接锁 -> 请求锁，⽂ 件锁 -> 多个⽂件各种锁 • 同步改异步：如同步⽇志 -> 异步⽇志，若队列满则丢弃，不阻塞业务逻辑 CPU 使⽤太⾼了-编解码使⽤ CPU 过⾼ 通过更换 json 库，就可以提⾼系统的吞吐量 本质上就是请求的 CPU 使⽤被优化了 我们可以使⽤固定 QPS 压测来验证该结论 https://golearn

经典LNMPA架构 先抗住再优化 业务混合部署 面向需求实现 效率质量之痛 流程 敏捷 隔离 性能 安全 监控 中间件技术选型 团队背景 内部生态 业务发展 开发成本 运营成本 Golang CSP并发 多核友好 自动GC 语法简洁 开源库多 CGO集 成 快速交付 内核稳定 生态趋势 数据中间件——指标服务 Golang 高性能 高可用 高可用 扩展性 安全性 可运营性 业务发展驱动技术演进 服务网关 过载保护 流控降级 SET部署 立体监控 敏捷集成 微服务探索 跨部门 异构系统 非标接口 托管接入 业务隔离 解析适配 IDL • 标准接口 • 字段约定 Script 转码逻辑 • 非标接口 • 逻辑编码 问题 手段 嵌入脚本选型 • Expression、Learning cost Anywhere 微服务划分 Intervene 干预 Measure 评估 User 用户 • 离线标签类画像， 批量选取用户群 特征 • 离线及实时用户指 标，单用户业务个 性化属性数值 指标 • 短信、Tips、邮 件、站内信通知 触达 • 礼包发放、积分 赠送、体验资格 营销 • 服务编排、运营策略 策略 微服务实践 • CDB + CKV / ETCD 服务注册发现

区块链是由分布式数据存储、点对点传输、共识机制、加密算法等计算机技术构成的多中心 化系统 不可篡改（可信存证） ü 可对存储的文件、数据进行真实性校验 ü 可信追溯历史数据 去中心化共识（协作共享） ü 多方业务系统数据共享 ü 跨机构业务协作 核心特性 7 趣链科技 版权所有 ©2016-2021 7 趣链科技 版权所有 ©2016-2021 7 趣链科技 版权所有 ©2016-2021 7 区块链技术定义 Code 物联⽹ 能源电⼒ 跨境贸易 ⼯业物联⽹ 智慧城市 ... 不同于完全开放、任何⼈可以加⼊退出的⾮许可链，许可链架构与其差异性在于节点和⽤户在区块链⽹络中的准 ⼊要求。且⾮许可链⽹络节点⼤都由业务相关的机构组成，造成架构上共识、合约、安全、权限等⽅⾯的不同 13 趣链科技 版权所有 ©2016-2021 13 趣链科技 版权所有 ©2016-2021 13 趣链科技 版权所有 ©2016-2021 ⼊要求。且⾮许可链⽹络节点⼤都由业务相关的机构组成，造成架构上共识、合约、安全、权限等⽅⾯的不同 �可�架构 大规模高性能区块链架构设计介绍 15 趣链科技 版权所有 ©2016-2021 ⼤�模⾼性能区��架构⾯�的�� 大规模高性能 区块链架构设计 网络连通问题 数据孤岛问题 异构部署问题 性能扩展问题 之困局 ？ n 机构间数据难打通，不愿打通 n 公网内网、网关网闸情况复杂 n 业务组织形式不同，异构链/系统难适配

Evaluation Sedna Incremental-Learning Service API ③ APP运行，识别难例，上传到云上标注服务中 ① 业务APP开发者：开发时使用边云AI Lib库, 集成边云协同增量学习功能 ② 部署业务APP，启动增量学习 ④ 人工定期介入，对样本进行标注。 ⑤ 系统基于任务知识库，自动增量训练产生新模型 ⑥ 更新边缘模型 边云协同增量学习： 小样本和非同分布下，模型越用越聪明 边云协同终身学习： 云侧知识库记忆，解决新情景下数据异构和小样本 ① AI开发者：提供数据训练产生深模型和浅模型 ② 业务开发者：通过Lib库调用协同模型, 并部署 到边缘 ③ 边侧浅模型推理，判断满足置信度要求则直接返回 ④ 否则送到云上大模型推理 开发者 业务用户: 物业/安保/管理人员 业务用户: 工人/行人 Edge 1 App Shallow Model Hard example 在给定视频中的第一帧和目标位置，实现目标检测、跟踪并预测其轨迹。 技术挑战 跨摄像头数据异构：摄像头拍摄的场景复杂，包括光照变化、遮挡严重、追 踪目标数量多等，单点的目标跟踪算法无法得到较好的效果。 业务收益 • 多目标跟踪准确度（MOTA）从70.6%提升到87.0% • 推理时延从21.2ms降低到18.5ms 边缘节点 Sedna LC Cloud Edge Sedna GM

Erda 微服务观测平台优势 指标覆盖完整 通过多种探针，覆盖基础 设施、业务系统、用户终 端全面的数据指标 高实时性 通过流计算平台，数据 处理和告警延迟都在秒 级别 海量数据 存储处理 高性能的大数据处理架 构，轻松应对海量可观 测性数据处理 平台架构 可观测性数据采集 可观测性数据处理 数据存储选择 ES 数据索引管理 自动路由 指标到索引 01 02 03 自动索引滚动

ReservedAll Right Reserved • 内存占⽤用过⼤大时，可以切分为多个实例，减少单个实例 的内存占⽤用，减少BgSave和重启时Load数据的时间 • ⼀一致性要求不是⾮非常⾼高的业务，可以把⾃自动的BgSave 关闭，在凌晨或者空闲时候⼿手动调⽤用BgSave Redis运维 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll 线上运⾏行情况 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved • 每天N亿曝光 • 30个维度，40个指标 • 表的数据量和维度的离散程度相关 • 如⼲⼴广告位有5000个，全国500个城市，时间粒度到⼩小时级别，则地区汇总表⼀一个 推⼲⼴广活动⼀一天最多就有 5000*500*24 = 6千万

多维度查询 03. 业务数据的查询条件复杂，数据在内存中该如何组织 Q1：已开始的公益直播，且公开显示 直播1 Q2：2021-06-27 10:00:00之后 Q1 无数据 数据模型管理 04. 基于golang的struct tag实现正排、倒排结构的自动化管理 全数据扫描？ 索引 主键 倒排 业务快速增长 存储如何无限扩展？ 存储扩展 05. 业务数据已经超过100 go原生map存储200万数据对象 • 数据对象中包含多个string，slice字段 • string，slice的内部结构包含指针 • GC并发标记、扫描的平均耗时10s • GC的辅助标记会抢占业务协程 每次QPS掉底都与GC相关 GC较高的耗时对QPS的影响巨大 服务性能上不去，QPS剧烈抖动 代码实施 语言局限性，如何突破？ 解决GC扫描耗时的问题 08. 基于cgo，定制 数据全量加载时，缓解数据库压力 链路优化 优化 协议 编码 空值剔除 数据存储、数据传输 带宽减少40% 2GB -> 1.2GB MaxwellConsumer 03. 通过golang接口的方式，实现业务与框架代码分离 DataManager 04. 工程化的通用数据管理器，提供正排、倒排等丰富的查询模式 数据存储 倒排更新过程  冷热数据交换后，DataManager中 部分数据可能交换到远端存储