@Copyright Sunteng Technology 分布式任务系统 cronsun 苏创绩 @Copyright Sunteng Technology 目录 01 任务系统 02 分布式任务系统 03 cronsun 04 心得体会 @Copyright Sunteng Technology Part One 01 任务系统 @Copyright Sunteng crontab cmd1 cmd2 cmd3 ... @Copyright Sunteng Technology 早期的 cron V7，1979 1. 在Version 7 Unix里是一个系统服务 2. 只用 root 运行任务 3. 算法简单直接 @Copyright Sunteng Technology 早期的 cron 运行逻辑 1. 读 /usr/lib/crontab Technology Part Two 02 分布式任务系统 @Copyright Sunteng Technology 分布式系统的特点 1. 分布性 2. 对等性 3. 并发性 4. 缺乏全局时钟 5. 故障总是会发生 @Copyright Sunteng Technology 分布式 cron 分布式crond 分布式crontab cmd1 cmd2 cmd3

微服务容灾治理
1. go-zero
稳定性能⼒概览
经过这么多年⼤流量服务端架构设计的沉淀，go-zero
在保护服务的稳定性上下⾜了功夫，不管是
CPU
密集型还是
IO
密集型服务，go-zero
都能很好的保护服务在如下场景不被拖垮或卡死：
• 远超服务容量的突发⼤流量 • CPU
打满
• 上下游故障或者超时 • MySQL、MongoDB、Redis
等中间件故 如图，我们从三个⽅⾯来保护系统的稳定性： • 服务端⾃适应过载保护 • 服务端⾃适应熔断 • 客⼾端⾃适应熔断 当然，我们还有⾃动适配后端服务能⼒的负载均衡算法，对稳定性进⼀步保驾护航。本⽂主要讲解⾃ 适应过载保护的原理、场景和表现。 2. ⾃适应过载保护压测
⽤过
Windows
的同学对这个界⾯应该都不陌⽣，这就是典型
CPU
打满服务不可⽤的表现。此时，我 们⼀般都是⼼⾥默默骂⼀句，然后点左边那个按钮，对吧？ ？ 那我们想想，如果我们的服务
CPU
被打满了，是不是后⾯所有的请求也都被卡住了？等服务处理完请 求的时候，⽤⼾那⾥可能已经超时离开了，结果服务器很忙，但都是做的⽆⽤功。如果这⾥不能理 解，停下来好好思考⼀番，如果还不懂的话，可以来
go-zero
群⾥讨论讨论。。。
2.1
模拟
CPU
密集型服务
有⼈可能会问
CPU
密集型服务怎么定义？你的服务
CPU
会打满吗？处理请求会包含复杂的计算逻辑

微信号： scottlewis 分布式事务框架 Seata-Golang 刘晓敏 H3C ⽬ 录 Demo 演示 01 Seata 原理 02 Mysql driver 原理 03 Mysql driver 接⼊ 04 TODO & QA 05 分布式事务就是指事务的参与者、⽀持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系 统的不同节点之上。简单的说，就是 统的不同节点之上。简单的说，就是⼀次⼤的操作由不同的⼩操作组成，这些⼩的操作分布在不同的服务器 上，且属于不同的应⽤，分布式事务需要保证这些⼩操作要么全部成功，要么全部失败。本质上来说，分布 式事务就是为了保证不同数据库的数据⼀致性。 什么是分布式事务问题？ Demo 演示 整体机制： • ⼀阶段：业务数据和回滚⽇志记录在同⼀个本地事务中提交，释放本地锁和连接资源。 • ⼆阶段： • 提交异步化，⾮常快速地完成。

TarsGo微服务高效开发 最佳实践 利开园 腾讯高级工程师 2021-08-21 关于我 Docker TarsGo Tars+K8S DevOps 2015至今 腾讯 目录 1. RPC 2. 日志 3. 监控 4. 调用链 5. 网关 6. 错误码 7. 配置 8. 云原生 9. 标准化 背景 • Tars是腾讯开源的微服务解决方案 • 高性能的RPC框架 • 丰富的服务治理能力 丰富的服务治理能力 • 支持Golang/Cpp/Java/PHP/Nodejs • 腾讯内部（TAF）曾经应用最广的开发框架 • Tars应用实践：https://github.com/tarscloud/gopractice RPC：不应该只是RPC • 基本功能：远程函数调用 • 可观测 • 名字服务+SET流量管理 • 熔断与恢复 • 轮询/一致性Hash • 错误码管理 日志：排查问题的利器 日志：排查问题的利器 • 格式化 =〉 JSON • 单机withFields • 基于context • 跨服务withFields • 基于透传元数据 • 按大小/时间滚动 • 远程日志 vs 本地日志 的取舍 监控：主动发现问题 • RPC接口默认监控 • 自定义业务监控 • 基于Prometheus Tracing：在复杂系统中定位问题 • 依赖框架Context透传 • 基于OpenTracing+Jaeger

以360消息推送系统为例 如何应对的？ go语⾔言在基础服务开发领域的优势？ 我遭遇了哪些挑战？ ⺫⽬目录 具有go特⾊色的运维 在⾼高并发，通信交互复杂，重业务逻辑的分布式系统中， Go语⾔言优势体现在：开发体验好 、⼀一定量级下服务稳定 、性能满⾜足 需要 ⼀一定量级下服务稳定： 50+内部产品，万款开发平台app 实时⻓长连接数亿量级，⽇日独数⼗十亿量级 400台物理机，9个独⽴立集群，国内外近10个IDC 运维管理的go语⾔言编写的常驻service服务实例接近3000个。 业务场景多样： ⽀支持聊天场景业务，稳定⽀支持多款聊天业务app 单通道多app复⽤用 上⾏行通道，回调⽀支持 对智能硬件产品，提供定制化消息推送与转发服务 性能满⾜足需要： 线上单机最⾼高160w⻓长连接 （24核 E5-2630 @ 2.30GHz Linux Web Windows Flash Iframe for ever 消息系统简要架构 单实例，单端⼝口，多协议复⽤用 全双⼯工，单客户端，多app复⽤用服务单通道 适⽤用于复杂环境下的⺴⽹网络的接⼊入策略 协议完备、简单、数据安全、可扩展、省流量 接⼊入层 ���� DES+RSA/ ECC+AES/ crossdomain.xml/

Distributed conponents 起因以及一些差异 not gonna cover every details zookeeper vs etcd 起因: reborndb是一个分布式redis集群框架 支持透明切换引擎 为了同时支持zookeeper和etcd zookeeper vs etcd zookeeper: session etcd: stateless zookeeper

云原生时代分布式链路 追踪实践 2021-08 曲赛 (saiqu) 微服务架构的困境 故障定位难 极高的沟通和交接成本 错综难懂的模块依赖关系 链路梳理难 日志分散 定位过程“击鼓传花” 跨端性能瓶颈分析繁杂 性能分析难 缺乏对系统整体认知的把控 不合理的调用关系 不合理的直连存储 架构治理能力匮乏 云原生可观测性 3 4 Trace 标准规范 5 标准 平台提供分布式追踪，监控，日志， 多维染色，容量评估，架构治理等能力的云原生可观测性系统。 愿景：让开发一切尽在掌握 - 分布式追踪 - 日志 - 服务监控 - 火焰图 - 存储监控 - SDK监控 - CI/CD监控 - 发布变更 - 告警历史 - 服务拓扑图 正交，模块化 相关性 多租户 天机阁2.0 架构 13 天机阁2.0 实践 14 分布式追踪 天机阁2 天机阁2.0 实践 15 分布式追踪 Log详情 点击Log详情中traceID字段的按 钮拉起Trace详情。 天机阁2.0 实践 16 分布式追踪 监控面板 监控到错误码111，点击面板跳转 到相关时间段的分布式追踪 感谢倾听

七牛如何做  HTTP服务测试？  许式伟  2015-4-18  HTTP服务测试  • 单元测试  – 某个独立子服务的测试  • 集成测试  – 整个集群对外业务API的测试  • Stage环境  • Product环境  怎么测？  • 七牛早期做法  – 实现服务逻辑（Service  Implementation）  Case）  • 问题  – 客户端SDK修改导致测试案例编不过  – 客户端SDK通常是使用方友好，而不是测试方友好  – 让服务端与客户端SDK耦合，容易过早陷入客户端SDK如何抽象 更合理的细节，而不能专注于测试服务逻辑本身  换个角度  • 直接基于协议测试呢？  – 比如，基于  http.Client  类直接写测试案例  • 问题  环境共享测试案例？  – 测试环境参数化  – 也方便测试脚本入库（不入库  User/Password、AK/SK  这种敏感 信息）  host  指令  • 服务地址参数化   host  foo.com  127.0.0.1:8888   get  http://foo.com/objects/a325gea2kgfd  auth

如何助⼒企业进⾏微服务转型 万俊峰Kevin About me • go-zero 作者 • 好未来技术委员会资深专家 • GopherChina ⾦牌讲师 • ArchSummit 明星讲师 • 腾讯云开发者⼤会讲师 Agenda • 为什么选 Go? • 单体和微服务怎么选？ • 单体到微服务何时转？ • 单体到微服务怎么转？ 为什么选 Go? • 节省服务成本 • 开发效率 单体和微服务怎么选？ 单体的优点 • 开发简单 • 测试简单 • 部署简单 • 扩展简单 单体的缺点 • 难以理解和功能扩展 • ⼩改动也得全量更新 • ⼩问题容易触发⼤故障 • 能够⽀撑的业务规模有限 微服务的优点 • 边界清晰的业务拆分 • 易开发、易理解、易维护 • 技术栈可相对独⽴ • 持续集成、持续部署更容易 • 按需对服务进⾏治理 稳定性更容易保障 微服务的缺点 • 增加了系统复杂度 • 数据拆分复杂度 • 难调试、难测试 • 跨服务修改麻烦 • 部署复杂 到底怎么选？ • ⾸先看业务 • 其次看团队 • 从简单⼊⼿ • 预留可能性 单体也有讲究 • 数据梳理清楚很重要 • 快速开发 • 快速交付 • 善⽤⼯具，降低出错 • 不增加成本并为业务发展留下扩展空间 单体到微服务何时转？

用Go语言实现推送服务器 陈叶皓 chen.yh@ctrip.com 议程 • 推送服务器介绍 • Golang特点 • 推送服务架构 • 部分代码 • 上线效果 议程 • 推送服务器介绍 • 推送服务架构 • 部分代码 • 上线效果 什么是推送服务器 • 推送业务信息到手机端 • 始终保持连接 推送服务器要求 • 高并发 • 可靠性 • 高性能 • 支持水平扩展 • 无单点故障 无单点故障 Go语言特性 • 静态的、编译的 • 自动内存回收 • 命令式编程 • 函数可以作为值 • 面向并发 • 内置RPC支持 推送服务器要求的应对 • 高并发 – goroutine • 可靠性 – 使用Redis暂存消息 • 高性能 – 静态编译语言 • 支持水平扩展 – 使用RPC组成集群 • 无单点故障 – 使用Redis实现数据共享 Go语言的并发模型 • 事件驱动，共享线程池 个获取返回值的channel 议程 • 推送服务器介绍 • 推送服务架构 • 部分代码 • 上线效果 逻辑架构 去中心化设计 • 客户端随机连接 • Redis集中存储地址表 • 信息发送2跳到达 消息缓存设计 • 消息预存（Redis） • 尝试发送 • 发送成功后删除 客户端注册时序图 议程 • 推送服务器介绍 • 推送服务架构 • 部分代码 • 上线效果 串行场景-Socket