Go工程可观测性实践 周曙光 得物 Go开发 目 录 可观测性概述 01 链路追踪 02 指标 03 可观测性概述 第一部分 广义的可观测性：可以根据系统的外部输出信息推断出系统内部状态的好 坏。 软件系统的可观测性：一种度量能力，能帮你更好的理解系统当前所处的 任何状态。如果无需发布新代码就可以理解任何新的或怪异的状态，那么 系统就具备可观测性。 什么是可观测性？ 可观测性开源产品 可观测性开源产品 每种方案都有特定的、自定义的 步骤来生产和转移符合后端存储 的遥测(Telemetry)数据，这就带 来了工具或者厂商的绑定性。 为了解决“厂商锁定问题”，监控和可观测性社区过去创建了很多开源项 目，比如OpenTracing和OpenCensus，这些标准允许用户实时收集遥测 数据并传输到所选择的后端，最终在2019年，两个组织共同组建OTel项目， 并由CNCF负责。 并由CNCF负责。 OTel目前已经成为可观测性方案开源标准，标准的好处就是有了很多选择。 OpenTelemetry OTel 组件 • API • SDK • Exporter • Collector OTel Collector • Receiver • Processor • Exporter 微服务业务架构图 项目工程layout 遥测数据处理架构 链路追踪 第二部分

Erda 基于云原生的微服务可观测性 刘浩杨 端点科技 Erda 微服务和监控平台负责人 目 录 微服务系统监控的挑战 01 可观测性技术理论 02 Erda 服务观测平台技术内核分析 03 Erda 服务观测平台功能概览 04 Erda:新一代企业级云原生 PaaS 平台 当前微服务系统面临的挑战 目 录 微服务系统监控的挑战 01 可观测性技术理论 02 Erda 服务观测平台技术内核分析 服务观测平台技术内核分析 03 Erda 服务观测平台功能概览 04 可观测性三大支柱 （一）Tracing 模型 （二）Metrics 时序模型 Writes are vertical，reads are horizontal （三）数据关联 目 录 微服务系统监控的挑战 01 可观测性技术理论 02 Erda 服务观测平台技术内核分析 03 Erda 服务观测平台功能概览 04 微服务观测平台优势 指标覆盖完整 通过多种探针，覆盖基础 设施、业务系统、用户终 端全面的数据指标 高实时性 通过流计算平台，数据 处理和告警延迟都在秒 级别 海量数据 存储处理 高性能的大数据处理架 构，轻松应对海量可观 测性数据处理 平台架构 可观测性数据采集 可观测性数据处理 数据存储选择 ES 数据索引管理 自动路由 指标到索引 01 02 03 自动索引滚动 根据容量和

基于amqp实现的golang消息队列MaxQ http://192.168.10.11:3999/maxq.slide#1 4/22 生产者消费者 通信方式 存储方式 堆积能力 消息可靠性 生产消费关系 Pull/Push 7/1/2017 基于amqp实现的golang消息队列MaxQ http://192.168.10.11:3999/maxq.slide#1 5/22 2 5. MaxQ相关特性 1. 消息可靠性 2. 容错性 3. 扩展性 4. 高并发 7/1/2017 基于amqp实现的golang消息队列MaxQ http://192.168.10.11:3999/maxq.slide#1 11/22 消息可靠性 1) Publishing可靠性 -> Con�rm 2) 消息Routing可靠性 -> Publish mandatory mandatory 3) Consuming可靠性 -> Ack 4) Persisting可靠性 -> RAID1 5) 分布式下的可靠性 -> Slave Queue 7/1/2017 基于amqp实现的golang消息队列MaxQ http://192.168.10.11:3999/maxq.slide#1 12/22 容错性 zookeeper不可用 元数据已缓存在内存中，不会有任何影响，生产方和消费方仍可正常生产和消费

CSP并发 多核友好 自动GC 语法简洁 开源库多 CGO集 成 快速交付 内核稳定 生态趋势 数据中间件——指标服务 Golang 高性能 高可用 扩展性 安全性 可运营性 业务发展驱动技术演进 服务网关 过载保护 流控降级 SET部署 立体监控 敏捷集成 微服务探索 跨部门 异构系统 非标接口 托管接入 业务隔离 解析适配 IDL • Anywhere 微服务划分 Intervene 干预 Measure 评估 User 用户 • 离线标签类画像， 批量选取用户群 特征 • 离线及实时用户指 标，单用户业务个 性化属性数值 指标 • 短信、Tips、邮 件、站内信通知 触达 • 礼包发放、积分 赠送、体验资格 营销 • 服务编排、运营策略 策略 微服务实践 • CDB + CKV / ETCD 服务注册发现 • CL5 / LVS CAE自动伸缩容 负载均衡 • ID / Token / IP 鉴权 • Atomic + Inmem + Redis、令牌桶 流控 • 轻重分离、单元化部署、容错 降级 • 实时上报、缓存汇聚/本地文件、ELK 日志监控告警 • Bind Golang to Lua 运行时类库 并发模型 异步Async 批量Batch 多核并行Parallel

@Copyright Sunteng Technology Part Two 02 分布式任务系统 @Copyright Sunteng Technology 分布式系统的特点 1. 分布性 2. 对等性 3. 并发性 4. 缺乏全局时钟 5. 故障总是会发生 @Copyright Sunteng Technology 分布式 cron 分布式crond 分布式crontab Azkaban 批量工作流任务调度器(Hadoop) @Copyright Sunteng Technology Chronos Chronos 是一个运行在 Mesos 之上的具有分布式容错特性的作业调度器 @Copyright Sunteng Technology Dkron 分布式高可用的任务调度系统 @Copyright Sunteng Technology 我眼里的“西施” 3. 任务失败重试 4. 任务失败邮件提醒 5. 多机单任务(防止单机挂掉任务不按时执行) 6. 单机任务并行数限制 7. 执行单次任务 8. 多机器严格的时间间隔任务 9. 支持安全性配置，可以限制任务脚本的后缀和执行用户 10.... @Copyright Sunteng Technology cronsun 主要组件 cronnode etcd cronweb Jobs

架构的思考 03 模块化开发框架 04 开源新时代的挑战 05 ⾯向云原⽣的软件交付 第⼀部分 ⾯向云原⽣的企业软件产品 - 敏捷开发 - 微服务化和容器化 - 交付标准化 - 可观察性 特点： 敏捷的⽬标是提升研发效能 需要⼀个 DevOps 平台来⽀撑敏捷开发的落地 这⾥需要有⼀个标准的交付平台 运⾏环境 业务 数据 业务系统 C 业务 数据 业务系统 A 业务 Openshift 私有云 公共 物理机 虚拟机 微服务治理平台 DevOps 平台 边缘监控 边缘站点管理 制品 快速分发部署 边缘⽇志 边缘计算平台 边缘数据收集 边缘算⼒调度 ⽹络⾃动容错 平台产品 核⼼引擎 容器服务 基础设施 数仓设计 数据智能平台 智能预测 智能客服 智能仓储 智能推荐 流程⾃动化 智能营销 快数据平台 Linux OS, Kernel 实时调⽤延迟展示 特点: 实时反应系统状况 运营决策 视⻆: 系统资源使⽤，系统健康度 报告: 周报 ⽇报 ⼤盘 特点: 提供⾼视⻆的IT运营决策分析 Erda 的可观察性能⼒ 可观察性数据采集 - ⾃动发现并识别 services、 jobs 和 addons - 兼容 telegraf 和 prometheus 协 议 - 即将⽀持 skywalking 和 opentelemetry

Redis集群 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved • 最终在Client端实现 • ⼀一致性hash: github.com/stathat/consistent • 预先开启⾜足够多的Redis实例，预防增加节点带来的数据 迁移⿇麻烦 Redis集群 专业DSP解决⽅方案 ©

个类型，也可以改成如下这样的定义，然后返回的时候不用带上变量名，因为直接在函数里面初始化 了。但如果函数是导出的(首字母大写)，官方建议：最好命名返回值，因为不命名返回值，虽然使得代码 更加简洁了，但是会造成生成的文档可读性差。 变参 Go函数支持变参。接受变参的函数是有着不定数量的参数的。为了做到这点，首先需要定义函数使其接 受变参： arg ...int 告诉Go这个函数接受不定数量的参数。注意，这些参数的类型全部是 ）和 main 函数（只能应用于 package main ）。这两个函数在定义时不能有任何的参数和返回值。虽然一个 package 里面可以写任 意多个 init 函数，但这无论是对于可读性还是以后的可维护性来说，强烈建议用户在一个 package 中 每个文件只写一个 init 函数。 Go程序会自动调用 init() 和 main() ，所以不需要在任何地方调用这两个函数。每个 package 如果还需要更复杂的错误处理呢？此时，来参考一下 net包采用的方法： 在调用的地方，通过类型断言 err 是不是 net.Error ,来细化错误的处理，例如下面的例子，如果一个 网络发生临时性错误，那么将会sleep 1秒之后重试： 错误处理 Go在错误处理上采用了与C类似的检查返回值的方式，而不是其他多数主流语言采用的异常方式，这造 成了代码编写上的一个很大的缺点:错误处理代码

Go完全是垃圾回收型的语言，并为并发执行与通信提供了基本的支持。 按照其设计，Go打算为多核机器上系统软件的构造提供一种方法。 Go是一种编译型语言，它结合了解释型语言的游刃有余，动态类型语言的开发效率，以及静态类型的安全性。它也打 算成为现代的，支持网络与多核计算的语言。要满足这些目标，需要解决一些语言上的问题：一个富有表达能力但轻 量级的类型系统，并发与垃圾回收机制，严格的依赖规范等等。这些无法通过库或工具解决好，因此Go也就应运而生 t包，所以我们在第三行中导入了 系统级别的fmt包：import "fmt"。 包的概念和Python中的package类似，它们都有一些特别的好处：模块化（能够把你的程序分成多个模块)和可重用性 （每个模块都能被其它应用程序反复使用）。我们在这里只是先了解一下包的概念，后面我们将会编写自己的包。 在第五行中，我们通过关键字func定义了一个main函数，函数体被放在{}（大括号）中，就像我们平时写C、C++或 型，我们也可以改成如下这样的定义，然后返回的时候不用带上变量名，因为直接在函数里面初始化了。但如果你的 函数是导出的(首字母大写)，官方建议：最好命名返回值，因为不命名返回值，虽然使得代码更加简洁了，但是会造 成生成的文档可读性差。 func SumAndProduct(A, B int) (add int, Multiplied int) { add = A+B Multiplied = A*B

嵌套调⽤用其他算法 元函数 接 ⼝口 算法流程 异常处理理 … 流 程 控 制 元函数 异步执⾏行行 元函数⼊入参 ⾃自动注⼊入 数据 异步发送 MAX 算法开发者编写 参与⽅方掉线 容错 趣链科技版权所有©2016 – 2021 19 隐私计算算法框架-组成 protocol_controller 基于dh-秘钥交换 protocol_instance 基于dh-秘钥交换