2017/8/3 基于 mesos 的容器调度框架 http://go-talks.appspot.com/github.com/huangnauh/slides/upone.slide#3 1/36 基于 mesos 的容器调度框架 Gopher 杭州 meetup 5 August 2017 黄励博(huangnauh) 又拍云 2017/8/3 基于 mesos 的容器调度框架 http://go-talks http://go-talks.appspot.com/github.com/huangnauh/slides/upone.slide#3 2/36 What's Upone 2017/8/3 基于 mesos 的容器调度框架 http://go-talks.appspot.com/github.com/huangnauh/slides/upone.slide#3 3/36 Mesos 介绍 Image credit: mesos 的容器调度框架 http://go-talks.appspot.com/github.com/huangnauh/slides/upone.slide#3 4/36 Mesos 调度 各个 Agent 启动后, 向 Master 注册，携带统计资源, 由 Master 决定给每个框架多少资源, 默认 采用分级主导资源公平算法 每个框架收到资源后, 根据自身任务需求, 调度任务的资源分配

Go 语⾔的抢占式调度 曹春晖 资深 Gopher ⽬ 录 Go 程序的启动 01 GMP 的本质 02 调度循环的实现 03 ⽼版本的抢占实现 04 新版本的抢占实现 05 当前的 Go 语⾔还有哪些问题 06 Go 程序的启动 第⼀部分 编译过程 Go 程序 hello.go 的编译过程： ⽂本 -> 编译 -> ⼆进制可执⾏⽂件 编译过程 编译：⽂本代码 -> g0 初 始 化 m0: Go 程序启动后创建的第⼀个线程； 获 取 CPU 核 ⼼ 数 初 始 化 内 置 数 据 结 构 开 始 执 ⾏ ⽤ 户 main 函 数 从这⾥开始 进⼊调度循环 GMP 的本质 第⼆部分 G、M、P 的本质 G：goroutine，⼀个计算任务。由需要执⾏的代码和其上下⽂组成，上下⽂ 包括：当前代码位置，栈顶、栈底地址，状态等。 M：machine，系统线程，执⾏实体，想要在 才能执⾏代码，否则必须陷⼊休 眠(后台监控线程除外)，你也可以将其理解为⼀种 token，有这个 token，才 有在物理 CPU 核⼼上执⾏的权⼒。 G、P、M 的全局⼤图 调度循环的实现 第三部分 调度循环 在这⾥输⼊标题 https://www.figma.com/proto/JYM6TcdzBx7WtanhcJX0rP/bootstrap-Copy?page-id=5106%3A2&node-

表格，其中每个单元格都可以存储 1 byte 的数据，在 算法运行时，所有数据都被存储在这些单元格中。 系统通过「内存地址 Memory Location」来访问目标内存位置的数据。计算机根据特定规则为表格中的每 个单元格分配编号，确保每个内存空间都有唯一的内存地址。有了这些地址，程序便可以访问内存中的数 据。 Figure 3‑2. 内存条、内存空间、内存地址 内存是所有程序的共享资源 来表示一个字符，根据字符的复杂性而变。ASCII 字符只需要 1 个字节，拉丁字母和希腊字母需要 2 个字节， 常用的中文字符需要 3 个字节，其他的一些生僻字符需要 4 个字节。 UTF‑8 的编码规则并不复杂，分为两种情况： ‧ 对于长度为 1 字节的字符，将最高位设置为 0 、其余 7 位设置为 Unicode 码点。值得注意的是，ASCII 字符在 Unicode 字符集中占据了前 128 ? 位设置为 1 比较容易理解，可以向系统指出字符的 长度为 ? 。那么，为什么要将其余所有字节的高 2 位都设置为 10 呢？实际上，这个 10 能够起到校验符的作 用，因为在 UTF‑8 编码规则下，不可能有字符的最高两位是 10 。这是因为长度为 1 字节的字符的最高一位 是 0 。假设系统从一个错误的字节开始解析文本，字节头部的 10 能够帮助系统快速的判断出异常。 Figure 3‑8

iota，因此w == 3。其实上面y和z可同样不用"= iota" ) const v = iota // 每遇到一个const关键字，iota就会重置，此时v == 0 Go程序设计的一些规则 Go程序设计的一些规则 Go之所以会那么简洁，是因为它有一些默认的行为： - 大写字母开头的变量是可导出的，也就是其它包可以读取 的，是公用变量；小写字母开头的就是不可导出的，是私有变量。 - 大写字母开头的函数也是一样，相当于class 下次某个时候继续恢复执行该goroutine。 默认情况下，调度器仅使用单线程，也就是说只实现了并发。想要发挥多核处理器的并行，需要在我们的程序中显 示的调用 runtime.GOMAXPROCS(n) 告诉调度器同时使用多个线程。GOMAXPROCS 设置了同时运行逻辑代码的系统线 程的最大数量，并返回之前的设置。如果n < 1，不会改变当前设置。以后Go的新版本中调度得到改进后，这将被移 除。这里有一篇rob介绍的关于并发和并行的文章： runtime包中有几个处理goroutine的函数： Goexit 退出当前执行的goroutine，但是defer函数还会继续调用 Gosched 让出当前goroutine的执行权限，调度器安排其他等待的任务运行，并在下次某个时候从该位置恢复执行。 NumCPU 返回 CPU 核数量 NumGoroutine 返回正在执�行和排队的任务总数 GOMAXPROCS 用来设置可以运行的CPU核数

Excel 表格，其中每个单元格都可以存储一定大 小的数据。 第 3 章 数据结构 hello‑algo.com 53 系统通过内存地址来访问目标位置的数据。如图 3‑2 所示，计算机根据特定规则为表格中的每个单元格分配 编号，确保每个内存空间都有唯一的内存地址。有了这些地址，程序便可以访问内存中的数据。 图 3‑2 内存条、内存空间、内存地址 � 值得说明的是，将内存比作 Excel 字符只需 1 字节，拉丁字母和希腊字母需要 2 字节，常用 第 3 章 数据结构 hello‑algo.com 62 的中文字符需要 3 字节，其他的一些生僻字符需要 4 字节。 UTF‑8 的编码规则并不复杂，分为以下两种情况。 ‧ 对于长度为 1 字节的字符，将最高位设置为 0 ，其余 7 位设置为 Unicode 码点。值得注意的是，ASCII 字符在 Unicode 字符集中占据了前 128 10 呢？实际上，这个 10 能够起到校验符的作用。假设系统从 一个错误的字节开始解析文本，字节头部的 10 能够帮助系统快速判断出异常。 之所以将 10 当作校验符，是因为在 UTF‑8 编码规则下，不可能有字符的最高两位是 10 。这个结论可以用 反证法来证明：假设一个字符的最高两位是 10 ，说明该字符的长度为 1 ，对应 ASCII 码。而 ASCII 码的最 高位应该是 0 ，与假设矛盾。

一块内存空间。我们可以将内存想象成一个巨大的 Excel 表格，其中每个单元格都可以存储一定大小的数据， 在算法运行时，所有数据都被存储在这些单元格中。 系统通过内存地址来访问目标位置的数据。如图 3‑2 所示，计算机根据特定规则为表格中的每个单元格分配 编号，确保每个内存空间都有唯一的内存地址。有了这些地址，程序便可以访问内存中的数据。 图 3‑2 内存条、内存空间、内存地址 内存是所有程序的共享资源，当某块内存被某 来表示一个字符，根据字符的复杂性而变。ASCII 字符只需要 1 个字节，拉丁字母和希腊字母需要 2 个字节， 常用的中文字符需要 3 个字节，其他的一些生僻字符需要 4 个字节。 UTF‑8 的编码规则并不复杂，分为以下两种情况。 ‧ 对于长度为 1 字节的字符，将最高位设置为 0、其余 7 位设置为 Unicode 码点。值得注意的是，ASCII 字符在 Unicode 字符集中占据了前 128 10 呢？实际上，这个 10 能够起到校验符的作用。假设系统从 一个错误的字节开始解析文本，字节头部的 10 能够帮助系统快速的判断出异常。 之所以将 10 当作校验符，是因为在 UTF‑8 编码规则下，不可能有字符的最高两位是 10 。这个结论可以用 反证法来证明：假设一个字符的最高两位是 10 ，说明该字符的长度为 1 ，对应 ASCII 码。而 ASCII 码的最 高位应该是 0 ，与假设矛盾。

Excel 表格，其中每个单元格都可以存储一定大 小的数据。 第 3 章 数据结构 hello‑algo.com 53 系统通过内存地址来访问目标位置的数据。如图 3‑2 所示，计算机根据特定规则为表格中的每个单元格分配 编号，确保每个内存空间都有唯一的内存地址。有了这些地址，程序便可以访问内存中的数据。 图 3‑2 内存条、内存空间、内存地址 Tip 值得说明的是，将内存比作 Excel 字符只需 1 字节，拉丁字母和希腊字母需要 2 字节，常用 第 3 章 数据结构 hello‑algo.com 62 的中文字符需要 3 字节，其他的一些生僻字符需要 4 字节。 UTF‑8 的编码规则并不复杂，分为以下两种情况。 ‧ 对于长度为 1 字节的字符，将最高位设置为 0 ，其余 7 位设置为 Unicode 码点。值得注意的是，ASCII 字符在 Unicode 字符集中占据了前 128 10 呢？实际上，这个 10 能够起到校验符的作用。假设系统从 一个错误的字节开始解析文本，字节头部的 10 能够帮助系统快速判断出异常。 之所以将 10 当作校验符，是因为在 UTF‑8 编码规则下，不可能有字符的最高两位是 10 。这个结论可以用 反证法来证明：假设一个字符的最高两位是 10 ，说明该字符的长度为 1 ，对应 ASCII 码。而 ASCII 码的最 高位应该是 0 ，与假设矛盾。

第4章：程序源代码基本元素介绍 第5章：关键字和标识符 第6章：基本类型和它们的字面量表示 第7章：常量和变量 - 顺便介绍了类型不确定值和类型推断 第8章：运算操作符 - 顺便介绍了更多的类型推断规则 第9章：函数声明和调用 第10章：代码包和包引入 第11章：表达式、语句和简单语句 第12章：基本流程控制语法 第13章：协程、延迟函数调用、以及恐慌和恢复 Go类型系统 第14章：Go类型系统概述 第27章：反射 - reflect标准库包中提供的反射支持 一些专题 第28章：代码断行规则 第29章：更多关于延迟函数调用的知识点 第30章：一些恐慌/恢复用例 第31章：详解panic/recover原理 - 也解释了什么是“函数退出阶段” 第32章：代码块和标识符作用域 第33章：表达式估值顺序规则 第34章：值复制成本 第35章：边界检查消除 并发编程 第36章：并发同步概述 第37章：通道用例大全 内存相关 第43章：内存块 第44章：关于Go值的内存布局 第45章：一些可能的内存泄漏场景 一些总结 第46章：一些简单的总结 第47章：关于Go中的nil 第48章：类型转换、赋值和值比较规则大全 第49章：Go中的一些语法/语义例外 第50章：Go细节101 第51章：Go问答101 第52章：Go技巧101 第53章：更多关于Go的知识 本书由老貘 历时三年写成。目前本书仍在不断改进和增容中。你的赞赏是本

第4章：程序源代码基本元素介绍 第5章：关键字和标识符 第6章：基本类型和它们的字面量表示 第7章：常量和变量 - 顺便介绍了类型不确定值和类型推断 第8章：运算操作符 - 顺便介绍了更多的类型推断规则 第9章：函数声明和调用 第10章：代码包和包引入 第11章：表达式、语句和简单语句 第12章：基本流程控制语法 第13章：协程、延迟函数调用、以及恐慌和恢复 Go类型系统 第14章：Go类型系统概述 第27章：反射 - reflect标准库包中提供的反射支持 一些专题 第28章：代码断行规则 第29章：更多关于延迟函数调用的知识点 第30章：一些恐慌/恢复用例 第31章：详解panic/recover原理 - 也解释了什么是“函数退出阶段” 第32章：代码块和标识符作用域 第33章：表达式估值顺序规则 第34章：值复制成本 第35章：边界检查消除 并发编程 第36章：并发同步概述 第37章：通道用例大全 内存相关 第43章：内存块 第44章：关于Go值的内存布局 第45章：一些可能的内存泄漏场景 一些总结 第46章：一些简单的总结 第47章：关于Go中的nil 第48章：类型转换、赋值和值比较规则大全 第49章：Go中的一些语法/语义例外 第50章：Go细节101 第51章：Go问答101 第52章：Go技巧101 第53章：更多关于Go的知识 本书由老貘 ? 历时三年写成。目前本书仍在不断改进和增容中。你的赞赏是

Excel 表格，其中每个单元格都可以存储一定大 小的数据。 第 3 章 数据结构 www.hello‑algo.com 53 系统通过内存地址来访问目标位置的数据。如图 3‑2 所示，计算机根据特定规则为表格中的每个单元格分配 编号，确保每个内存空间都有唯一的内存地址。有了这些地址，程序便可以访问内存中的数据。 图 3‑2 内存条、内存空间、内存地址 Tip 值得说明的是，将内存比作 Excel 字节，拉丁字母和希腊字母需要 2 字节，常用 第 3 章 数据结构 www.hello‑algo.com 62 的中文字符需要 3 字节，其他的一些生僻字符需要 4 字节。 UTF‑8 的编码规则并不复杂，分为以下两种情况。 ‧ 对于长度为 1 字节的字符，将最高位设置为 0 ，其余 7 位设置为 Unicode 码点。值得注意的是，ASCII 字符在 Unicode 字符集中占据了前 128 10 呢？实际上，这个 10 能够起到校验符的作用。假设系统从 一个错误的字节开始解析文本，字节头部的 10 能够帮助系统快速判断出异常。 之所以将 10 当作校验符，是因为在 UTF‑8 编码规则下，不可能有字符的最高两位是 10 。这个结论可以用 反证法来证明：假设一个字符的最高两位是 10 ，说明该字符的长度为 1 ，对应 ASCII 码。而 ASCII 码的最 高位应该是 0 ，与假设矛盾。