2017/8/3 基于 mesos 的容器调度框架 http://go-talks.appspot.com/github.com/huangnauh/slides/upone.slide#3 1/36 基于 mesos 的容器调度框架 Gopher 杭州 meetup 5 August 2017 黄励博(huangnauh) 又拍云 2017/8/3 基于 mesos 的容器调度框架 http://go-talks http://go-talks.appspot.com/github.com/huangnauh/slides/upone.slide#3 2/36 What's Upone 2017/8/3 基于 mesos 的容器调度框架 http://go-talks.appspot.com/github.com/huangnauh/slides/upone.slide#3 3/36 Mesos 介绍 Image credit: apache.org (http://mesos.apache.org/) 官方称之为分布式系统内核, 它把数据中心的 CPU、内存、磁盘等抽象成一个资源池 2017/8/3 基于 mesos 的容器调度框架 http://go-talks.appspot.com/github.com/huangnauh/slides/upone.slide#3 4/36 Mesos 调度 各个 Agent

org/2012/waza.slide) 1. 并发很强大 2. 并发帮助实现并行，使并行(扩展等)变得容易 3. 并发不是并行，并发重点是架构，并行重点是执行，两者不同，但相关。 04:22 / 31:21 可视化 并发(Concurrency) & 并行(Parallelism) 一图胜千言！ 并行(PARALLELISM) 这是并行 (/2017/go-concurrency-visualize/parallelism 让并发编程变的简单起来 但是问题来了 我们怎样去讲解 Go 的并发？ 我们怎样思考 Go 的并发过程？ 最终，我们怎样更好的实践 Go 并发编程？ 祭出法宝 - GoTrace 一种将 Go 并发过程可视化的开源 (https://github.com/divan/gotrace) 工具 出自 divan (https://github.com/divan) 大神，主要包含两个程序： gotrace(go)：分析 go func() { // 发送 42 给 channel ch <- 42 }() // 从 channel 读取 <-ch } Go并发可视化 (/2017/go-concurrency-visualize/helloworld.html) 2. 计时器 func tick(d time.Duration) <-chan int {

- 敏捷开发 - 微服务化和容器化 - 交付标准化 - 可观察性 特点： 敏捷的⽬标是提升研发效能 需要⼀个 DevOps 平台来⽀撑敏捷开发的落地 这⾥需要有⼀个标准的交付平台 运⾏环境 业务 数据 业务系统 C 业务 数据 业务系统 A 业务 数据 业务系统 B 资源管理在统⼀平台 应⽤运⾏在统⼀平台 构建标准的交付环境 交付产物标准化 - 业务配置 - 资源配置 资源配置 - 依赖配置 - 流⽔线配置 配置即代码 : 实现⼤规模交付的部署过程可被验证 PaaS 平台：资源管理，容器编排，基础监控和告警 APM 监控：应⽤诊断，链路追踪，⽇志分析 微服务治理组件 可靠的业务 贴身护航 基础⽀撑 持续保障系统稳定性 只需很少的运维投⼊即可保证系统稳定性 端点⼀站式 PaaS - Erda 第⼆部分 端点 PaaS 发展历程 有状态服务 编排部署 应⽤运维 测试管理 协同管理 数据源管理 数据集成 数据开发 数据资产 数据服务 数据应⽤ 资源统计 运维报告 审计⽇志 K8S 管理 数据监控 多云管理平台 MySQL Redis Kafka ES MQ Minio 中间件 通⽤服务 ⾃定义服务 服务市场 Kubernetes Rancher Openshift 私有云 公共 物理机 虚拟机 微服务治理平台

帮助你为应用程序创建一个单独的可部署单元。这个单元，也被称为容器，包含该应用 序需要的所有东西。它包括代码（或者二进制文件）、runtime（运行环境）、系统工具盒系统库。 所有必需的资源打包成一个单元将确保无论应用程序部署到哪里都有完全相同的环境。这也有助于维 一个完全相同的开发和生产配置，这在以前是很难追踪的。

一旦开始，容器的创建和部署将自动完成。它消除了一大类问题。这些问题主要是由于文件没有 id="相比于虚拟机的优势">相比于虚拟机的优势

容器提供了与虚拟机相似的资源分配和隔离优势。然而，相同之处仅此而已。

一个虚拟机需要它自己的客户操作系统而容器共享主机操作系统的内核。这意味着容器更加轻量 且需要更少的资源。从本质上讲，一个虚拟机是操作系统中的一个操作系统。而另一方面的容器则更 是操作系统中的其它应用程序。基本上，容器需要的资源（内存、磁盘空间等等）比虚拟机少很多， cker 在开发阶段的优势

在开发中使用 Docker 的优势包括：

• 一个用于所有团队成员的标准开发环境
• 更新的依赖性集中化以及在任何地方都能使用相同的容器
• 在开发和生产中完全相同的环境
• 修复了可能只会出现在生产环境中的潜在问题

0 码力 | 5 页 | 269.19 KB | 1 年前

engineer 为什么需要一个新的数据库？ 从单机数据库到 NewSQL ● 关系型数据库 ● NoSQL ● 中间件 ● NewSQL 1970s 2010 2015 Present MySQL PostgreSQL Oracle DB2 ... Redis HBase Cassandra MongoDB ... Google Spanner Google F1 TiDB RDBMS 自动故障恢复 ● SQL TiDB ● Scalability as the first class feature ● SQL is necessary ● Compatible with MySQL, in most cases ● OLTP + OLAP = HTAP (Hybrid Transactional/Analytical Processing) ● 24/7 availability Remove Replica from Node A Node C Node D Node E Scale-out (balance) 事务 ● Percolator ● 去中心化的两阶段提交 ○ Timestamp Allocator ● 优化的事务流程 ● Repeatable Read，RU TiDB SQL 层架构 例子 CREATE TABLE t (c1

里包含了当前最全面的学习 资源。本书通过对官方的在线文档、名人博客、书籍、相关文章以及演讲的资料收集和整理，并结合我自 身在软件工程、编程语言和数据库开发的授课经验，将这些零碎的知识点组织成系统化的概念和技术分类 来进行讲解。 随着软件规模的不断扩大，诸多的学者和谷歌的开发者们在公司内部的软件开发过程中开始经历大量的挫 折，在诸多问题上都不能给出令人满意的解决方案，尤其是在使用 C++ 来开发大型的服务端软件时，情 的宗旨，就是将一切没有必要的东西都去掉，不能去掉的就无底线 地简化，同时追求最大程度的自动化。他完美地诠释了敏捷编程的 KISS 秘诀：短小精悍！ Go 语言通过改善或去除在 C、C++ 或 Java 中的一些所谓“开放”特性来让开发者们的工作更加便利。 这里只举例其中的几个，比如对于变量的默认初始化，内存分配与自动回收，以及更简洁却不失健壮的控 制结构。同时我们也会发现 Go 语言旨在减少不必要的编码工作，这使得 开发者贡献了新的核心代码。这俨然形成了世界上最大的开源 团队，并使该项目跻身 Ohloh 前 2% 的行列。大约在 2011 年 4 月 10 日，谷歌开始抽调员工进入全职 开发 Go 语言项目。开源化的语言显然能够让更多的开发者参与其中并加速它的发展速度。Andrew Gerrand 在 2010 年加入到开发团队中成为共同开发者与支持者。 在 Go 语言在 2010 年 1 月 8 日被 T

2.8 Go 解释器 第3章：编辑器、集成开发环境与其它工具 3.1 Go 开发环境的基本要求 3.2 编辑器和集成开发环境 3.3 调试器 3.4 构建并运行 Go 程序 3.5 格式化代码 3.6 生成代码文档 3.7 其它工具 3.8 Go 性能说明 3.9 与其它语言进行交互 第4章：基本结构和基本数据类型 4.1 文件名、关键字与标识符 4.2 Go 程序的基本结构和要素 11 计算函数执行时间 6.12 通过内存缓存来提升性能 第7章：数组与切片 7.1 声明和初始化 7.2 切片 7.3 For-range 结构 7.4 切片重组（reslice） 7.5 切片的复制与追加 7.6 字符串、数组和切片的应用 第8章：Map 8.1 声明、初始化和 make 8.2 测试键值对是否存在及删除元素 8.3 for-range 的配套用法 8.4 10.2 使用工厂方法创建结构体实例 10.3 使用自定义包中的结构体 10.4 带标签的结构体 10.5 匿名字段和内嵌结构体 10.6 方法 10.7 类型的 String() 方法和格式化描述符 10.8 垃圾回收和 SetFinalizer 第11章：接口（interface）与反射（reflection） 11.1 接口是什么 11.2 接口嵌套接口 11.3 类型断言：如何检测和转换接口变量的类型

处理表单的输入 4.2 验证表单的输入 4.3 预防跨站脚本 4.4 防止多次递交表单 4.5 处理文件上传 4.6 小结 5.访问数据库 5.1 database/sql接口 5.2 使用MySQL数据库 5.3 使用SQLite数据库 5.4 使用PostgreSQL数据库 5.5 使用beedb库进行ORM开发 5.6 NOSQL数据库操作 5.7 小结 6.session和数据存储 1 预防CSRF攻击 9.2 确保输入过滤 9.3 避免XSS攻击 9.4 避免SQL注入 9.5 存储密码 9.6 加密和解密数据 9.7 小结 10.国际化和本地化 10.1 设置默认地区 10.2 本地化资源 10.3 国际化站点 4 10.4 小结 11.错误处理，调试和测试 11.1 错误处理 11.2 使用GDB调试 11.3 Go怎么写测试用例 11.4 小结 12 一个go fmt命令 它可以帮你格式化你写好的代 码文件，使你写代码的时候不需要关心格式，你只需要在写完之后执行go fmt <文件名>.go，你的代码就被修改成 了标准格式，但是我平常很少用到这个命令，因为开发工具里面一般都带了保存时候自动格式化功能，这个功能其实 在底层就是调用了go fmt。接下来的一节我将讲述两个工具，这两个工具都自带了保存文件时自动化go fmt功能。 使用go fm

Go类型系统 第14章：Go类型系统概述 - 精通Go编程必读 第15章：指针 第16章：结构体 第17章：值部 - 为了更容易和更深刻地理解Go中的各种值 第18章：数组、切片和映射 - Go中的首要容器类型 第19章：字符串 第20章：函数 - 函数类型和函数值，以及变长参数个数函数 第21章：通道 - Go特色的并发同步方式 第22章：方法 第23章：接口 - 通过包裹不同具体类型的非接口值来实现反射和多态 将只会输出代码 语法错误。它们不会输出可能的代码逻辑错误（即警告）。 go vet子命令可以 用来检查可能的代码逻辑错误（即警告）。 我们可以（并且应该常常）使用go fmt子命令来用同一种代码风格格式化Go代 码。 我们可以使用go test子命令来运行单元和基准测试用例。 我们可以使用go doc子命令来（在终端中）查看Go代码库包的文档。 强烈推荐让你的Go项目支持Go模块特性来简化依赖管理。对一个支持Go模块 announceAt, releaseAt int = 2009, 2012 createdBy, website string ) 上面这个变量声明语句已经被go fmt命令格式化过了。 这个变量声明语句包含 三个变量描述（variable specification）。 一般来说，将多个相关的变量声明在一起将增强代码的可读性。 纯赋值语句 在上面展示的变量声明的例子中，等号=表示赋值。

Go类型系统 第14章：Go类型系统概述 - 精通Go编程必读 第15章：指针 第16章：结构体 第17章：值部 - 为了更容易和更深刻地理解Go中的各种值 第18章：数组、切片和映射 - Go中的首要容器类型 第19章：字符串 第20章：函数 - 函数类型和函数值，以及变长参数个数函数 第21章：通道 - Go特色的并发同步方式 第22章：方法 第23章：接口 - 通过包裹不同具体类型的非接口值来实现反射和多态 将只会输出代 码语法错误。它们不会输出可能的代码逻辑错误（即警告）。 go vet子命令 可以用来检查可能的代码逻辑错误（即警告）。 我们可以（并且应该常常）使用go fmt子命令来用同一种代码风格格式化Go 代码。 我们可以使用go test子命令来运行单元和基准测试用例。 我们可以使用go doc子命令来（在终端中）查看Go代码库包的文档。 强烈推荐让你的Go项目支持Go模块特性来简化依赖管理。对一个支持Go模块 releaseAt int = 2009, 2012 4| createdBy, website string 5| ) 上面这个变量声明语句已经被go fmt命令格式化过了。 这个变量声明语句包 含三个变量描述（variable specification）。 一般来说，将多个相关的变量声明在一起将增强代码的可读性。 纯赋值语句 在上面展示的变量声明的例子中，等号=表示赋值。