Sunteng Technology 分布式任务系统 cronsun 苏创绩 @Copyright Sunteng Technology 目录 01 任务系统 02 分布式任务系统 03 cronsun 04 心得体会 @Copyright Sunteng Technology Part One 01 任务系统 @Copyright Sunteng Technology crontab cmd1 cmd2 cmd3 ... @Copyright Sunteng Technology 早期的 cron V7，1979 1. 在Version 7 Unix里是一个系统服务 2. 只用 root 运行任务 3. 算法简单直接 @Copyright Sunteng Technology 早期的 cron 运行逻辑 1. 读 /usr/lib/crontab 功能比较简单 4. 多机器的情况下任务维护成本较高 @Copyright Sunteng Technology Part Two 02 分布式任务系统 @Copyright Sunteng Technology 分布式系统的特点 1. 分布性 2. 对等性 3. 并发性 4. 缺乏全局时钟 5. 故障总是会发生 @Copyright Sunteng Technology

专业DSP解决⽅方案供应商 Golang与⾼高性能DSP竞价系统 By @QLeelulu 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved • RTB: Real-time Bidding，实时竞价，允许⼲⼴广告买家根据 活动⺫⽬目标、⺫⽬目标⼈人群以及费⽤用⻔门槛等因素对每⼀一个⼲⼴广告 及每次⼲⼴广告展⽰示的费⽤用进⾏行竞价。 ） • 复杂的出价算法与逻辑 DSP竞价系统的挑战 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved • 竞价请求解析（JSON 或 Google Protobuf） • 根据⼲⼴广告位属性过滤活动 • 根据客户端信息过滤活动（浏览器、操作系统类型等） • 根据地区过滤活动 • 查询Cookie 查询Cookie Mapping得到访客在DSP系统的唯⼀一ID • 根据⽤用户看过⼲⼴广告的频次过滤活动 • 根据访客的⼈人群属性过滤活动 • 根据活动的出价选择胜出的活动 • 其他更细致的过滤条件 100毫秒内要做些什么 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved 为什么选择Golang

统 复睿：李四保 ⽤用Golang ⾃自我介绍 l 开发过银⾏行设备 l 同花顺移动证券 l 前后参与创⽴立过多家公司 l ⽤用Golang写了⼀一个云操作系统 电⼒力、⽯石化、银⾏行、证券、⼲⼴广电、电商 研发、产品、运营、公司运营 l 多种职业 l 喜欢各种宗教 l 喜欢在虚⽆无中创造⼀一个世界 l 多个⾏行业 ⾃自我介绍 互联⺴⽹网 结缘Golang：上帝的⼿手法 l ⼤大道⾄至简 l ⽆无⽤用的都会被舍弃 l 互动和映照 l 迭代中前⾏行 结缘Golang：上帝的⼿手法 监控在线系统所有请求的性能，并通过⺴⽹网⻚页进⾏行提供查询功能 简介 功能 模拟ssh登录各server, 采集所有请求的数据 根据服务器、⽇日期、请求，显⽰示所选请求的性能⾛走势图，包括平均和最⼤大响应时间。 说⼀一万句，不如做⼀一件事：⽤用Golang写⼀一个操作系统 来份硬菜：⽤用Golang写⼀一个操作系统 l 操作系统 相对完整的控制系统资源，有应⽤用体系 Unix,CP/M,dos、windows, l ⽣生态操作系统 在原有操作系统内核基础上，构建新的应⽤用体系及应⽤用⽣生态 ios、android l 云操作系统 chrome

@johntech-o Date: 2015.04.25 go语⾔言并发编程实践 以360消息推送系统为例 如何应对的？ go语⾔言在基础服务开发领域的优势？ 我遭遇了哪些挑战？ ⺫⽬目录 具有go特⾊色的运维 在⾼高并发，通信交互复杂，重业务逻辑的分布式系统中， Go语⾔言优势体现在：开发体验好 、⼀一定量级下服务稳定 、性能满⾜足 需要 测试环境，可以通过300w⻓长连接压测（⺴⽹网络,连接稳定,⽆无带宽限制,实际可以更⾼高 ,决定于⼲⼴广播时候业务内存开销的cpu消耗带来的⼼心跳或者业务延时能否接受） 以360消息推送系统为例 ⾼高并发、通信交互复杂 Dispatcher Service Room Service Proxy Service Register Service Saver Id Service （deprecat ed） 接入客户端 Android IOS Linux Web Windows Flash Iframe for ever 消息系统简要架构 单实例，单端⼝口，多协议复⽤用 全双⼯工，单客户端，多app复⽤用服务单通道 适⽤用于复杂环境下的⺴⽹网络的接⼊入策略 协议完备、简单、数据安全、可扩展、省流量

Go 应用监控系统演进 张平 AfterShip 高级 SRE 关于 AfterShip 拥抱云原生和开源系统 目 录 监控架构概览 01 如何监控 Go 应用？ 02 Metrics 系统架构演进 03 Why VictoriaMetrics so good？ 04 总结与展望 05 监控架构概览 第一部分 监控系统架构概览 -- 数据源 监控系统架构概览 -- -- 告警配置 监控系统架构概览 -- 告警通道 如何监控 Go 应用？ 第二部分 基于 Prometheus Go 应用监控接入流程 确定指标 为应用埋点 部署应用 配置服务发现 监控展示 指标类型 ● Go 运行时指标 ○ Goroutine 数量 ● 应用层指标 ○ infra_http_request_total ● 业务指标 ○ 总 Tracking 查询量 ○ Tracking Tracking 创建速率 ○ 某个 ENT 客户的 Tracking 查询失败率 Metrics 系统架构演进 第三部分 2018-2020 2K+ 40K 1Mil+ 2020 年指标数据 业务指标数量 每秒写入数据点 Active Time Series 2018-2020 年架构 2020 年底面临的问题 ● 无法查询超过 30 天的数据 ● 查询慢，平均时间超过 2 分钟

LOGO p2p缓存系统 基于Golang的Aop设计模式 龚浩华 QQ 29185807 月牙寂 背景 v Web缓存（类似CDN技术） § 网页、图片 § 普通下载 § 普通视频 v P2P缓存 § 下载（bt等） § 视频（qvod、百度影音等） 背景 v P2P缓存好处 § 一次获取，多次利用 § 减少局域网出网流量 golang 常规分布式的缺点 1、缺乏全局状态知识 分布式系统中的节点只能访问自身的状 态，无法获取到全局的状态 2、缺乏全局时间 分布式系统中的节点无法做到时间的完 全一致性，会导致一些行为的顺序不确定 3、非确定 普通程序输入则得到固定的输出。分布 式系统则存在很多差异。 golang 基于golang的分布式程序（单进程） client数量、存活 自身存在的必要检查：如超时无client连接 P2P缓存框架 4、文件模块 具体文件的存储，另外再加上内存缓存系统 5、client 对应于与客户端的一个连接，通过协议进行 通信。通过任务模块再来进行文件模块的读 写，将数据发送给客户端 6、下载模块 如何识别热点？群体智能

，这里包含了当前最全面的学习 资源。本书通过对官方的在线文档、名人博客、书籍、相关文章以及演讲的资料收集和整理，并结合我自 身在软件工程、编程语言和数据库开发的授课经验，将这些零碎的知识点组织成系统化的概念和技术分类 来进行讲解。 随着软件规模的不断扩大，诸多的学者和谷歌的开发者们在公司内部的软件开发过程中开始经历大量的挫 折，在诸多问题上都不能给出令人满意的解决方案，尤其是在使用 C++ 的并发语言）有更低的门槛，真可谓是 21 世纪的 C 语言！ 作为一门系统编程语言，你不应该为 Go 语言的大多数代码示例和练习都和控制台有着密不可分的关系而 感到惊奇，因为提供平台依赖性的 GUI（用户界面）框架并不是一个简单的任务。有许多由第三方发起的 GUI 框架项目正在如火如荼地进行中，或许我们会在不久的将来看到一些可用的 Go 语言 GUI 框架。不过 现阶段的 Go 语言已经提供了大量有关 Web Web 方面的功能，我们可以通过它强大的 http 和 template 包来 达到 Web 应用的 GUI 实现。 我们会经常涉及到一些关于 Go 语言的编码规范，了解和使用这些已经被广泛认同的规范应该是你学习阶 段最重要的实践。我会在书中尽量使用已经讲解的概念或者技巧来解释相关的代码示例，以避免你在不了 解某些高级概念的情况下而感到迷茫。 我们通过 227 个完整的代码示例和书中的解释

，这里包含了当前最全面的学习资源。本书 通过对官方的在线文档、名人博客、书籍、相关文章以及演讲的资料收集和整理，并结合我自身在软件工程、编程语 言和数据库开发的授课经验，将这些零碎的知识点组织成系统化的概念和技术分类来进行讲解。 随着软件规模的不断扩大，诸多的学者和谷歌的开发者们在公司内部的软件开发过程中开始经历大量的挫折，在诸多 问题上都不能给出令人满意的解决方案，尤其是在使用 C++ 的并发语言）有更低的门槛，真可谓是 21 世纪的 C 语言！ 作为一门系统编程语言，你不应该为 Go 语言的大多数代码示例和练习都和控制台有着密不可分的关系而感到惊奇， 因为提供平台依赖性的 GUI（用户界面）框架并不是一个简单的任务。有许多由第三方发起的 GUI 框架项目正在如 火如荼地进行中，或许我们会在不久的将来看到一些可用的 Go 语言 GUI 框架。不过现阶段的 Go 语言已经提供了 大量有关 Web Web 方面的功能，我们可以通过它强大的 http 和 template 包来达到 Web 应用的 GUI 实现。 我们会经常涉及到一些关于 Go 语言的编码规范，了解和使用这些已经被广泛认同的规范应该是你学习阶段最重要的 实践。我会在书中尽量使用已经讲解的概念或者技巧来解释相关的代码示例，以避免你在不了解某些高级概念的情况 下而感到迷茫。 我们通过 227 个完整的代码示例和书中的解释说

聚焦 极致 可信赖 原有开发体系的问题 1. 迭代周期漫长 2. 质量缺乏保障 3. 系统可维护性差 4. 开发过程透明度差 简单 激情 速度快 聚焦 极致 可信赖 青铜时代 简单 激情 速度快 聚焦 极致 可信赖 迈出第一步 1. 重构 2. 添加单元测试 3. 自动化测试系统 简单 激情 速度快 聚焦 极致 可信赖 青铜时代 通知测试 Email测试报告 简单 Deployment 简单 激情 速度快 聚焦 极致 可信赖 DevOps DevOps 是来源于 Development 和 Operations 的一个组合词， 顾名思义，是一系列过程、方法与系统的统称，旨在促进 开发、测试和运维人员之间的沟通与协作。 简单 激情 速度快 聚焦 极致 可信赖 ChatOps ChatOps 以聊天室，即沟通平台为中心，通过一系列的机器人去对接后台的各 deploy:rollback app 简单 激情 速度快 聚焦 极致 可信赖 注意事项 1. 发布后的监控报警系统 2. 部署并行，串行 3. Github国内连接 4. 回滚 5. 多国机房的问题 简单 激情 速度快 聚焦 极致 可信赖 原有问题是如何被解决的 1. 迭代周期漫长 2. 质量缺乏保障 3. 系统可维护性差 4. 开发过程透明度差 简单 激情 速度快 聚焦 极致 可信赖 要想富先修路