@Copyright Sunteng Technology 分布式任务系统 cronsun 苏创绩 @Copyright Sunteng Technology 目录 01 任务系统 02 分布式任务系统 03 cronsun 04 心得体会 @Copyright Sunteng Technology Part One 01 任务系统 @Copyright Sunteng Technology Part Two 02 分布式任务系统 @Copyright Sunteng Technology 分布式系统的特点 1. 分布性 2. 对等性 3. 并发性 4. 缺乏全局时钟 5. 故障总是会发生 @Copyright Sunteng Technology 分布式 cron 分布式crond 分布式crontab cmd1 cmd2 cmd3 Chronos Chronos 是一个运行在 Mesos 之上的具有分布式容错特性的作业调度器 @Copyright Sunteng Technology Dkron 分布式高可用的任务调度系统 @Copyright Sunteng Technology 我眼里的“西施” 1. 可替代 cron 2. 分布式、高可用 3. 支持多种任务属性 4. 易用 5. 易部署 @Copyright

Go 语⾔的抢占式调度 曹春晖 资深 Gopher ⽬ 录 Go 程序的启动 01 GMP 的本质 02 调度循环的实现 03 ⽼版本的抢占实现 04 新版本的抢占实现 05 当前的 Go 语⾔还有哪些问题 06 Go 程序的启动 第⼀部分 编译过程 Go 程序 hello.go 的编译过程： ⽂本 -> 编译 -> ⼆进制可执⾏⽂件 编译过程 编译：⽂本代码 -> 的 curg 的标志位置为 true 这之后的流程需要正在运⾏的 goroutine 来配合 协作式抢占的“协作”过程 检查当前栈空间是否⾜够，不够的话，需要申请新的栈空间 只要当 framesize > 0 时才会有栈空间检查 framesize ⼀般是由 locals 决定的 协作式抢占的“协作”过程 保存当前 goroutine 的运⾏现场，切换到 m.g0，执⾏ newstack newstack 协作式抢占的“协作”过程 gopreempt_m 将当前的 goroutine 放进了全局队列 教练，我不⼲了！ 我不配合你 卡⼀辈⼦ 缅怀曾经的痛 新版本的抢占实现 第五部分 信号式抢占 增强版 preemptone 信号式抢占 通过系统调⽤ tgkill，给特定的线程发信号 信号式抢占 这次你不配合也得配合 信号处理的初始化 信号式抢占 处理 SIGURG

微信号： scottlewis 分布式事务框架 Seata-Golang 刘晓敏 H3C ⽬ 录 Demo 演示 01 Seata 原理 02 Mysql driver 原理 03 Mysql driver 接⼊ 04 TODO & QA 05 分布式事务就是指事务的参与者、⽀持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系 统的不同节点之上。简单的说，就是⼀ 统的不同节点之上。简单的说，就是⼀次⼤的操作由不同的⼩操作组成，这些⼩的操作分布在不同的服务器 上，且属于不同的应⽤，分布式事务需要保证这些⼩操作要么全部成功，要么全部失败。本质上来说，分布 式事务就是为了保证不同数据库的数据⼀致性。 什么是分布式事务问题？ Demo 演示 整体机制： • ⼀阶段：业务数据和回滚⽇志记录在同⼀个本地事务中提交，释放本地锁和连接资源。 • ⼆阶段： • 提交异步化，⾮常快速地完成。

Golang主动式内存缓存的优化探索之路 安晏伯 学而思网校 技术专家 目 录 问题引入 01 难点攻克 02 主动式内存缓存框架 03 总结 04 问题引入 第一部分 为什么能有极致的性能？ 01. 如何优化？ 解决了哪些技术难题？ 主动式内存缓存 如何优化？ 极致的性能 除了网络IO，与Redis有什么区别？ 复杂的查询怎么办？ 02. 传统的Cache很难 降低硬件成本，降低依赖，保证稳定性 同样的性能，需要更少的硬件资源，降低成本 01 核心数据在本地，依赖少，更稳定 02 • 千万级内存对象，GC严重耗时，如何解决？ • 复杂的查询场景，内存数据如何高效组织？ • 主动式内存缓存，如何保证数据实时性？ • 数据太多，内存不够用，如何进行存储扩展？ 通过本次分享，可以带来哪些收获？ 难点攻克 第二部分 使用内存缓存 数据一致性如何保证？ 一致性 01. 如何像SQL一样灵活？ 多维度查询 03. 业务数据的查询条件复杂，数据在内存中该如何组织 Q1：已开始的公益直播，且公开显示 直播1 Q2：2021-06-27 10:00:00之后 Q1 无数据 数据模型管理 04. 基于golang的struct tag实现正排、倒排结构的自动化管理 全数据扫描？ 索引 主键 倒排 业务快速增长 存储如何无限扩展？ 存储扩展 05. 业务数据

以360消息推送系统为例 如何应对的？ go语⾔言在基础服务开发领域的优势？ 我遭遇了哪些挑战？ ⺫⽬目录 具有go特⾊色的运维 在⾼高并发，通信交互复杂，重业务逻辑的分布式系统中， Go语⾔言优势体现在：开发体验好 、⼀一定量级下服务稳定 、性能满⾜足 需要 ⼀一定量级下服务稳定： 50+内部产品，万款开发平台app 实时⻓长连接数亿量级，⽇日独数⼗十亿量级 对于所有io操作建⽴立的fd映射到指定loop，同 时记录上下⽂文关系进⾏行回调设置，超时控制 使⽤用timefd 通过channel与其他⽤用户通信 使⽤用eventfd事件通知的⽅方式，根据epoll获取 的fd绑定的回调函数和参数进⾏行回调操作 对外的通信采取阻io或者也可以go出去，不 阻塞主循环 对外通信信全局消息list，在映射到的 eventloop上开连接池进⾏行消耗 推荐使用 开发体会的对⽐比 性能优化：通⽤用⽅方案 如何应对的？ go语⾔言在基础服务开发领域的优势？ 我遭遇了哪些挑战？ ⺫⽬目录 具有go特⾊色的运维 go语⾔言原⽣生提供的各组⼯工具，构建分布式系统配套设施⽅方⾯面，提供了 便利 配套设施= 测试 + 调优 + 监控 + 运维 便利 = 原⽣生profiling⼯工具 + 开协程模拟测试终端+协程协作模拟业务 go语⾔言运维管理⽅方⾯面的独特魅⼒力……

Distributed conponents 起因以及一些差异 not gonna cover every details zookeeper vs etcd 起因: reborndb是一个分布式redis集群框架 支持透明切换引擎 为了同时支持zookeeper和etcd zookeeper vs etcd zookeeper: session etcd: stateless zookeeper

云原生时代分布式链路 追踪实践 2021-08 曲赛 (saiqu) 微服务架构的困境 故障定位难 极高的沟通和交接成本 错综难懂的模块依赖关系 链路梳理难 日志分散 定位过程“击鼓传花” 跨端性能瓶颈分析繁杂 性能分析难 缺乏对系统整体认知的把控 不合理的调用关系 不合理的直连存储 架构治理能力匮乏 云原生可观测性 3 4 Trace 标准规范 5 标准 责人来自Grafana，Gitlab ✓ 持续更新 OpenTelemetry 2019年，由OpenTracing和OpenCensus合并 而来。 ✓ ✓ ✓ 蓬勃发展 Trace 数据模型：Trace Context，Baggage 6 Propagation Format W3C Trace-Context W3C Baggage Zipkin B3 format Jaeger 响应 traceresponse: 00-1baad25c36c11c1e7fbd6d122bd85db6- cab70b47728a8a99-01 Trace 数据模型： Trace Detail 7 Trace 数据模型： Trace Detail 示例 8 Trace 采样策略 9 1. Head-based coherent sampling 2. Tail-based coherent

Go 搭建大型开源分布式数据库技术内幕 shenli@PingCAP 关于我 ● 申砾 (Shen Li) ● TiDB 技术负责人 ● 网易有道 / 360搜索 / PingCAP ● Infrastructure software engineer 为什么需要一个新的数据库？ 从单机数据库到 NewSQL ● 关系型数据库 ● NoSQL ● 中间件 ● NewSQL Processing) ● 24/7 availability, even in case of datacenter outages ● Open source, of course 如何构建分布式数据库？ 原则 ● 分层 ● Make it right and make it fast. ● 测试很重要 ● 简单易用 ● 和社区结合 架构 TiKV TiKV TiKV TiKV

101”或者访问github.com/golang101/golang101 获 取本书最新版） 关于《Go语言101》 我觉得很难用通常的描述方式来描述本文中的内容。 所以本文将采用采访的形 式来进行描述。 你好，老貘，你是什么时候开始写这本书的？ 大概在2016年七月份左右，不是很密集地使用了Go两年后，我觉得Go是一门简 单的语言，我感觉我已经精通了Go编程。 在那个时候，我在日常编程中已经搜 类型的实 例。 大多数编程语言支持自定义类型和若干预声明类型（即内置类型）。 一门 语言的类型系统可以说是这门语言的灵魂。 编程中常常会使用大量的值。 一些在编码阶段可确定的值可以用它们的字面形 式（literal，即字面量）来表示。 为了编程灵活和不易出错，其它的值一般使 用变量（variable）和（具名）常量（named constant）来表示。 在《Go语言101》中，具名的函数、具名的值（包括变量和具名常量）、以及 多是为了Go初学者快速理解的目的而加入的。 我们应该尽量使代码自解释，只 在确实需要解释的地方进行注释。 关于代码断行 像很多其它流行编程语言一样，Go也使用一对大括号{ and }来形成一个显式代 码块。但是在Go代码中，编码样式风格有一些限制。 比如，很多左大括号{不 能被放到下一行。 如果，上面的StatRandomNumbers被修改成如下所示，则上面 的示例程序将编译不通过。 func

大多是为了Go初学者快速理解的目的而加入的。 我们应该尽量使代码自解 释，只在确实需要解释的地方进行注释。 关于代码断行 像很多其它流行编程语言一样，Go也使用一对大括号{ and }来形成一个显式 代码块。但是在Go代码中，编码样式风格有一些限制。 比如，很多左大括号 {不能被放到下一行。 如果，上面的StatRandomNumbers被修改成如下所示， 则上面的示例程序将编译不通过。 一个complex64复数值的实部和虚部都是float32类型的值。 一个complex128 复数值的实部和虚部都是float64类型的值。 在内存中，所有的浮点数都使用IEEE-754格式 ? 存储。 一个布尔值表示一个真假。在内存中，一个布尔值只有两种可能的状态。 这 两种状态使用两个预声明（或称为内置）的常量（false和true）来表示。 关 于常量声明，下一篇文章（第7章）将做详细解释。 （请搜索关注微信公众号“Go 101”或者访问github.com/golang101/golang101 ? 获取本书最新版） 常量和变量 这篇文章将介绍常量和变量相关的知识。 类型不确定值、类型推断和值的显 式类型转换等概念也将被介绍。 上一章中提到的基本类型的字面量表示（第6章） （除了false和true）都属 于无名常量（unnamed constant），或者叫字面常量（literal constant）。