Technology 分布式任务系统 cronsun 苏创绩 @Copyright Sunteng Technology 目录 01 任务系统 02 分布式任务系统 03 cronsun 04 心得体会 @Copyright Sunteng Technology Part One 01 任务系统 @Copyright Sunteng Technology 任务 1. 什么时间 什么时间 2. 什么地点 3. 做什么事 @Copyright Sunteng Technology 一个简单的任务 0 8 * * * echo "Hello Gophers!" @Copyright Sunteng Technology cron crond crontab cmd1 cmd2 cmd3 ... @Copyright @Copyright Sunteng Technology 早期的 cron V7，1979 1. 在Version 7 Unix里是一个系统服务 2. 只用 root 运行任务 3. 算法简单直接 @Copyright Sunteng Technology 早期的 cron 运行逻辑 1. 读 /usr/lib/crontab 文件 2. 如果有命令要在当前时间执行，就用

消息 计算 计算 消息 导出任务 导出任务 导出任务 导出任务 导出任务 计算 消息 对象存储服务 HTTP MongoDB 时序数据库 ⽇日志检索服务 XSpark Report Studio 简单 · 可信赖 内容提要 • 系统设计分析与架构 • 多种上下游适配 • ⾼高吞吐/低延迟问题探究 • ⾼高可⽤用与⽔水平扩展 • ⾃自动化运维 • Go的应⽤用 简单 master/server架构 • master/server间采⽤用golang rpc通信 • server上报⼼心跳证明⾃自⼰己存活，并汇报所 执⾏行行任务的情况 • master向server周期性下发任务，server 管理理⾃自身任务决定哪些要执⾏行行哪些要丢弃 简单 · 可信赖 master⾼高可⽤用 • master⾃自身⽆无状态，身份信息注册在zookeeper • master server注册⾃自身，防⽌止单机重复运⾏行行 • server注册每⼀一个任务，防⽌止任务被重复执⾏行行 • server⾼高可⽤用，节点故障时任务会被调度到其他正常节点 简单 · 可信赖 server⾼高可⽤用 • server注册⾃自身，防⽌止单机重复运⾏行行 • server注册每⼀一个任务，防⽌止任务被重复执⾏行行 • server⾼高可⽤用，节点故障时任务会被调度到其他正常节点 简单 · 可信赖 ⽔水平扩展

Centralized Client devices Edge AI • 随着大模型的发展，AI 计算对算力需求大 幅且快速增长 AI应用到越来越多的边缘场景 分布式协同AI 概念 将人工智能相关的部分任务部署到边缘设备，基于边缘设备、边缘服务 器、云服务器，利用分布式乃至分布式协同方式实现人工智能的技术 数据在边缘产生 边侧逐步具备AI能力 分布式协同AI 核心驱动力 分布式协同AI核心驱动力 开源分布式协同AI框架KubeEdge-Sedna 1. GlobalCoordinator ⚫ 统一边云协同AI任务管理 ⚫ 跨边云协同管理与协同 ⚫ 中心配置管理 2. LocalController ⚫ 特性本地流程控制 ⚫ 本地通用管理: 模型, 数据集等 3. Worker ⚫ 执行训练或推理任务, 训练/推理程序, 基于现有AI框 架开 ⚫ 按需启动, docker容器或function Worker Worker 边侧推理 Lib 边侧训练 Model Worker 云侧 推理 Lib 参数 聚合 云侧 训练 Model Global Manager AI任务协调 AI任务管理 模型/数据集管理 Cloud Node Messaging over KubeEdge 终身学习 管理 边云协同AI框架 Sedna架构 Cloud EdgeNode Model

go，你的代码就被修改成 了标准格式，但是我平常很少用到这个命令，因为开发工具里面一般都带了保存时候自动格式化功能，这个功能其实 在底层就是调用了go fmt。接下来的一节我将讲述两个工具，这两个工具都自带了保存文件时自动化go fmt功能。 使用go fmt命令，更多时候是用gofmt，而且需要参数-w，否则格式化结果不会写入文件。gofmt -w src，可以格式 化整个项目。 go get go get links links 目录 上一节: GOPATH与工作空间 下一节: Go开发工具 17 1.4 Go开发工具 1.4 Go开发工具 本节我将介绍几个开发工具，它们都具有自动化提示，自动化fmt功能。因为它们都是跨平台的，所以安装步骤之类 的都是通用的。 LiteIDE LiteIDE LiteIDE是一款专门为Go语言开发的跨平台轻量级集成开发环境（IDE），由visualfc编写。 Text 这里将介绍Sublime Text 2（以下简称Sublime）+GoSublime+gocode+MarGo的组合，那么为什么选择这个组合呢？ 自动化提示代码,如下图所示 20 图1.5 sublime自动化提示界面 保存的时候自动格式化代码，让您编写的代码更加美观，符合Go的标准。 支持项目管理 21 图1.6 sublime项目管理界面 支持语法高亮

3 协程的同步：关闭通道-测试阻塞的通道 14.4 使用 select 切换协程 14.5 通道、超时和计时器（Ticker） 14.6 协程和恢复（recover） 14.7 新旧模型对比：任务和worker 14.8 惰性生成器的实现 14.9 实现 Futures 模式 第 15 章 网络，模板和网页应用 15.1 tcp服务器 15.2 一个简单的网页服务器 15.3 访问并读取页面 相关包和工具的参考，以及章节练习的答案和所有参考资源和文献的清单。 Go 语言有一个被称之为 “没有废物” 的宗旨，就是将一切没有必要的东西都去掉，不能去掉的就无底线地简化，同 时追求最大程度的自动化。他完美地诠释了敏捷编程的 KISS 秘诀：短小精悍！ Go 语言通过改善或去除在 C、C++ 或 Java 中的一些所谓“开放”特性来让开发者们的工作更加便利。这里只举例 其中的几个，比如对于 21 世纪的 C 语言！ 作为一门系统编程语言，你不应该为 Go 语言的大多数代码示例和练习都和控制台有着密不可分的关系而感到惊奇， 因为提供平台依赖性的 GUI（用户界面）框架并不是一个简单的任务。有许多由第三方发起的 GUI 框架项目正在如 火如荼地进行中，或许我们会在不久的将来看到一些可用的 Go 语言 GUI 框架。不过现阶段的 Go 语言已经提供了 大量有关 Web 方面的功能，我们可以通过它强大的

相关包和工具的参考，以及章节 练习的答案和所有参考资源和文献的清单。 Go 语言有一个被称之为 “没有废物” 的宗旨，就是将一切没有必要的东西都去掉，不能去掉的就无底线 地简化，同时追求最大程度的自动化。他完美地诠释了敏捷编程的 KISS 秘诀：短小精悍！ Go 语言通过改善或去除在 C、C++ 或 Java 中的一些所谓“开放”特性来让开发者们的工作更加便利。 这里只举例其中的几个，比如对于 21 世纪的 C 语言！ 作为一门系统编程语言，你不应该为 Go 语言的大多数代码示例和练习都和控制台有着密不可分的关系而 感到惊奇，因为提供平台依赖性的 GUI（用户界面）框架并不是一个简单的任务。有许多由第三方发起的 GUI 框架项目正在如火如荼地进行中，或许我们会在不久的将来看到一些可用的 Go 语言 GUI 框架。不过 现阶段的 Go 语言已经提供了大量有关 Web 方面的功能，我们可以通过它强大的 goroutine 这种轻量级线程的概 念来实现这个目标，然后通过 channel 来实现各个 goroutine 之间的通信。他们实现了分段栈增长和 goroutine 在线程基础上多路复用技术的自动化。 这个特性显然是 Go 语言最强有力的部分，不仅支持了日益重要的多核与多处理器计算机，也弥补了现存 编程语言在这方面所存在的不足。 Go 语言中另一个非常重要的特性就是它的构建速度（编译和链接到机器代码的速度），一般情况下构建

OpenKruise（ https://github.com/openkruise/kruise ）： • CNCF 托管的 Sandbox 项目 • 阿里云开源的基于 Kubernetes 的云原生应用自动化套件 • 阿里巴巴经济体上云全面使用的部署基座 社区用户： • 携程、OPPO、斗鱼TV、有赞、苏宁、比心、Boss直聘、申通、小红书、火 花思维、VIPKID、掌门教育、杭银消费、万翼科技、多点Dmall、佐疆科技、 backoffLimit: 3 # [optional] 拉取的重试次数，默认为 3 activeDeadlineSeconds: 1200 # [optional] 整个任务的超时时间，无默认值 # . . . node1 kruise-daemon CRI 集群维度预热定义 apiVersion: apps.kruise.io/v1alpha1 kind: ImagePullJob

Custom resources Scheduler extension Custom controller Network plugins Storage plugins 统筹规划， 降低成本 自动化运维， 提升稳定性 非业务逻辑剥离， 提升交付效率 Golang与云原生生态（CNCF） 项目数占比: 214/1512（14.2%） Github star数占比:1265737 / 2458072（51 运维成本高：Apiserver, etcd, Controller-Manager, Kubelet,等组件都具有一定复杂度，无法做到定期升 级以维持安全，高可用，高性能的状态； • … 能力复用 自动化 可观测 稳定 安全 开发者真正想要的是策略：大象无形的基础设施，坚如磐石的中间件，丰富高效的应用PaaS平台 基础设施 云原生PaaS平台提供应用管理策略 基础设施 K8s 云原生生态（CNCF） 开发者体验 • Serverless = FaaS + BaaS • GitOps-自动化 • ServiceMesh-下一代分布式应用编程模式 • 应用运维可编程 • 多元化（云，工作负载，服务） • 平台 • 可观测是重中之重 • 智能化-AIOps • 一体化-扩展屏蔽基础设施 • 轻量化-下沉 • 自动化-端到端 Thanks

可信赖 迈出第一步 1. 重构 2. 添加单元测试 3. 自动化测试系统 简单 激情 速度快 聚焦 极致 可信赖 青铜时代 通知测试 Email测试报告 简单 激情 速度快 聚焦 极致 可信赖 还有问题 1. 自动化测试不能并行 2. 开发过程透明度无改善 3. 代码审核形同虚设 4. 部署过程依然没有完全自动化 简单 激情 速度快 聚焦 极致 可信赖 简单 激情 速度快

遇到的问题多 • 这些问题不会系统的出现在课本上 • 没遇到过的问题，很难意识到对应的操作手段 自动化 经验 识别 花很多时间，去排查线上问题，这是一个认知问题 为什么恢复慢？-- 错误手册 自动化 经验 识别 1. 将认知总结为文档 2. 故障演练 为什么恢复慢？-- 错误手册 自动化 经验 识别 • 自己写文档，代码和文档不一致 • 有错误码找不到代码对应地方 • 有错误码不知道是哪个版本的代码