Go工程可观测性实践 周曙光 得物 Go开发 目 录 可观测性概述 01 链路追踪 02 指标 03 可观测性概述 第一部分 广义的可观测性：可以根据系统的外部输出信息推断出系统内部状态的好 坏。 软件系统的可观测性：一种度量能力，能帮你更好的理解系统当前所处的 任何状态。如果无需发布新代码就可以理解任何新的或怪异的状态，那么 系统就具备可观测性。 什么是可观测性？ 可观测性开源产品 可观测性开源产品 每种方案都有特定的、自定义的 步骤来生产和转移符合后端存储 的遥测(Telemetry)数据，这就带 来了工具或者厂商的绑定性。 为了解决“厂商锁定问题”，监控和可观测性社区过去创建了很多开源项 目，比如OpenTracing和OpenCensus，这些标准允许用户实时收集遥测 数据并传输到所选择的后端，最终在2019年，两个组织共同组建OTel项目， 并由CNCF负责。 并由CNCF负责。 OTel目前已经成为可观测性方案开源标准，标准的好处就是有了很多选择。 OpenTelemetry OTel 组件 • API • SDK • Exporter • Collector OTel Collector • Receiver • Processor • Exporter 微服务业务架构图 项目工程layout 遥测数据处理架构 链路追踪 第二部分

Erda 基于云原生的微服务可观测性 刘浩杨 端点科技 Erda 微服务和监控平台负责人 目 录 微服务系统监控的挑战 01 可观测性技术理论 02 Erda 服务观测平台技术内核分析 03 Erda 服务观测平台功能概览 04 Erda:新一代企业级云原生 PaaS 平台 当前微服务系统面临的挑战 目 录 微服务系统监控的挑战 01 可观测性技术理论 02 Erda 服务观测平台技术内核分析 服务观测平台技术内核分析 03 Erda 服务观测平台功能概览 04 可观测性三大支柱 （一）Tracing 模型 （二）Metrics 时序模型 Writes are vertical，reads are horizontal （三）数据关联 目 录 微服务系统监控的挑战 01 可观测性技术理论 02 Erda 服务观测平台技术内核分析 03 Erda 服务观测平台功能概览 04 微服务观测平台优势 指标覆盖完整 通过多种探针，覆盖基础 设施、业务系统、用户终 端全面的数据指标 高实时性 通过流计算平台，数据 处理和告警延迟都在秒 级别 海量数据 存储处理 高性能的大数据处理架 构，轻松应对海量可观 测性数据处理 平台架构 可观测性数据采集 可观测性数据处理 数据存储选择 ES 数据索引管理 自动路由 指标到索引 01 02 03 自动索引滚动 根据容量和

第34章：值复制成本 第35章：边界检查消除 并发编程 第36章：并发同步概述 第37章：通道用例大全 第38章：如何优雅地关闭通道 第39章：其它并发同步技术 - 如何使用sync标准库包 第40章：原子操作 - 如何使用sync/atomic标准库包 第41章：Go中的内存顺序保证 第42章：一些常见并发编程错误 内存相关 第43章：内存块 第44章：关于Go值的内存布局 第45章：一些可能的内存泄漏场景 言同 时拥有这四个特征。 事实上，这就是我当初从Java转到Go进行Web开发的原因。 内置并发编程支持也算是Go的卖点，虽然我个人认为它不是Go的主要卖点。 良好的代码可读性是Go的另一个重要卖点。 我感觉可读性是Go在设计的时候考虑的 最重要的一个因素。 第0章：关于《Go语言101》 5 良好的跨平台支持也应该算是Go的一个卖点，尽管如今这个卖点并不是很新鲜。 一个稳定的Go核 第1章：致谢 7 特别感谢白凯同学帮助我翻译了《细节101》、《问答101》和《技巧101》三篇文 章。 我很抱歉如果上述列表遗漏了某个曾经给予我帮助的成员。 Go社区有如此多友善和 富有创造性的成员，以至于上述列表肯定遗漏了某些成员。 感谢所有曾经直接或者 间接，有意或者无意帮助过我完成这本书的Go社区成员。 另外也要感谢Bootstrap CSS框架（https://getbootstrap

第34章：值复制成本 第35章：边界检查消除 并发编程 第36章：并发同步概述 第37章：通道用例大全 第38章：如何优雅地关闭通道 第39章：其它并发同步技术 - 如何使用sync标准库包 第40章：原子操作 - 如何使用sync/atomic标准库包 第41章：Go中的内存顺序保证 第42章：一些常见并发编程错误 内存相关 第43章：内存块 第44章：关于Go值的内存布局 第45章：一些可能的内存泄漏场景 少有语言同时拥有这四个特征。 事实上，这就是我当初从Java转到Go进行Web 开发的原因。 内置并发编程支持也算是Go的卖点，虽然我个人认为它不是Go的主要卖点。 良好的代码可读性是Go的另一个重要卖点。 我感觉可读性是Go在设计的时候 考虑的最重要的一个因素。 良好的跨平台支持也应该算是Go的一个卖点，尽管如今这个卖点并不是很新 鲜。 一个稳定的Go核心设计和开发团队以及一个活跃的社区也可以被视为Go的一个 TheChalice和zonesan等。 特别感谢白凯同学帮助我翻译了《细节101》、《问答101》和《技巧101》三篇 文章。 我很抱歉如果上述列表遗漏了某个曾经给予我帮助的成员。 Go社区有如此多友 善和富有创造性的成员，以至于上述列表肯定遗漏了某些成员。 感谢所有曾经 直接或者间接，有意或者无意帮助过我完成这本书的Go社区成员。 另外也要感谢Bootstrap CSS框架 、jQuery /code prettify

第34章：值复制成本 第35章：边界检查消除 并发编程 第36章：并发同步概述 第37章：通道用例大全 第38章：如何优雅地关闭通道 第39章：其它并发同步技术 - 如何使用sync标准库包 第40章：原子操作 - 如何使用sync/atomic标准库包 第41章：Go中的内存顺序保证 第42章：一些常见并发编程错误 内存相关 第43章：内存块 第44章：关于Go值的内存布局 第45章：一些可能的内存泄漏场景 很少有语言同时拥有这四个特征。 事实上，这就是我当初从Java转到Go进行 Web开发的原因。 内置并发编程支持也算是Go的卖点，虽然我个人认为它不是Go的主要卖点。 良好的代码可读性是Go的另一个重要卖点。 我感觉可读性是Go在设计的时候 考虑的最重要的一个因素。 良好的跨平台支持也应该算是Go的一个卖点，尽管如今这个卖点并不是很新 鲜。 一个稳定的Go核心设计和开发团队以及一个活跃的社区也可以被视为Go的一 TheChalice和zonesan等。 特别感谢白凯同学帮助我翻译了《细节101》、《问答101》和《技巧101》三 篇文章。 我很抱歉如果上述列表遗漏了某个曾经给予我帮助的成员。 Go社区有如此多 友善和富有创造性的成员，以至于上述列表肯定遗漏了某些成员。 感谢所有 曾经直接或者间接，有意或者无意帮助过我完成这本书的Go社区成员。 另外也要感谢Bootstrap CSS框架 ? 、jQuery ? /code

must reflect that, even if those events are in reality executed out of order. a b b c a c 传递性： 对于任意的事件a,b,c，如果a → b, 同时，b → c，则有： a → c. （后续用→ 代表happens before） • 观察意味着b事件对a事件的结果存在依赖； • Happens 发送完成（同一个数据）; 开始发送 接收完成 其他的对于init函数，锁，协程，原子操作，sync包里的功能，还有许多保证，更详细可以看： https://golang.org/ref/mem https://go101.org/article/memory-model.html 消除数据竞争的原理 消除数据竞争，实质就是利用go提供的保证和传递性来建立事件之间的happens before关系。 a b c d go1 go2 data race a b c d go1 go2 no data race 利用通道的happens before保证;建立了2 → 3 。 再结合传递性可以得到：1 → 2 → 3 → 4. 所以消除了数据竞争 实战分析 1处的代码和2处的代码没有建立任何 happens before关系，所以存在数据竞争。 1 2 1 2 3 4 怎么检测数据竞争

+ Ker Redis 场景落地 02. 秒杀 三次限流 原子计数限流：每秒只通过部分请求进行限流 队列限流：业务系统请求入队列的限流 每秒放号限流：放号系统每秒的放号限流 场景落地 02. 秒杀 原子计数限流，数据入Channel 请求入队列限流 每秒放号限流 场景落地 02. 秒杀 uid 一致性ha sh 放号系统机器的hostn a m e h2 m queue_

P2P缓存好处 § 一次获取，多次利用 § 减少局域网出网流量 § 提升用户体验 背景 v P2P缓存服务器（基于c++开发） § 代码量大 § 协议数量多 § 耦合性高 § 潜在bug多 重构 or 重新推倒？ 背景 现实世界是怎么样的 分布式、并发 职能化、松散化 自组织、智能化 程序框架是否也可以这样？ 工智能（DAI） 1、自主的、智能的 2、具有社会性（与环境通信） 3、反应能力，理解环境并对环境刺激做出 适应的反应 4、主动性，不是简单的反应，而是有目的 的反应 5、一般agent处在分布式网络中，行为具 有局部效应和全局效应 golang 1、对象： 类 2、属性：成员变量 3、行为：成员函数 4、自主性、并发：协程 5、职能化、松散耦合：interface，函数变量 常规分布式的缺点 1、缺乏全局状态知识 分布式系统中的节点只能访问自身的状 态，无法获取到全局的状态 2、缺乏全局时间 分布式系统中的节点无法做到时间的完 全一致性，会导致一些行为的顺序不确定 3、非确定 普通程序输入则得到固定的输出。分布 式系统则存在很多差异。 golang 基于golang的分布式程序（单进程） 1、针对

Redis集群 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved • 最终在Client端实现 • ⼀一致性hash: github.com/stathat/consistent • 预先开启⾜足够多的Redis实例，预防增加节点带来的数据 迁移⿇麻烦 Redis集群 专业DSP解决⽅方案 ©

开发出的软件能够很好地在网络环境下工作 使人们能够享受软件开发的过程 Go 语言就在这样的环境下诞生了，它让人感觉像是 Python 或 Ruby 这样的动态语言，但却又拥有像 C 或者 Java 这类语言的高性能和安全性。 Go 语言出现的目的是希望在编程领域创造最实用的方式来进行软件开发。它并不是要用奇怪的语法和晦涩难懂的概念 来从根本上推翻已有的编程语言，而是建立并改善了 C、Java、C# 中的许多语法风格。它提倡通过接口来针对面向 Scala（Java 的并发语言）有更低的门槛，真可谓是 21 世纪的 C 语言！ 作为一门系统编程语言，你不应该为 Go 语言的大多数代码示例和练习都和控制台有着密不可分的关系而感到惊奇， 因为提供平台依赖性的 GUI（用户界面）框架并不是一个简单的任务。有许多由第三方发起的 GUI 框架项目正在如 火如荼地进行中，或许我们会在不久的将来看到一些可用的 Go 语言 GUI 框架。不过现阶段的 Go 语言已经提供了 的出现。” “之后我们学到了更多。我们毫无疑问地接受了垃圾回收，异常处理和虚拟机这些当年人们认为只有疯子才会想的东 西。C++ 的复杂程度（新版的 C++ 甚至更加复杂）极大的影响了软件开发的高效性，这使得它再也不再适合这个时 代。人们不再像过往那样认同在 C++ 中兼容使用 C 语言的方法，认为这些工作只是在浪费时间，牺牲人们的努力。 就在此时，Go 语言已经成功地解决了 C++ 中那些本打算解决却未能解决的关键问题。”