通过 OpenKruise 实现大规模集群 镜像预热&部署发布加速实践 王思宇（酒祝） 阿里云容器服务 技术专家 OpenKruise author & maintainer 目 录 前言：OpenKruise 简介 01 为什么说人人都需要镜像预热 02 OpenKruise 是如何实现镜像预热的 03 如何通过镜像预热加速部署&发布 04 版本前瞻：原地升级与预热的结合 05 为什么说人人都需要镜像预热 第二部分 Pod创建过程 用户的期望： • 极致弹性 • 秒级扩容 • 弹出即可用 实际创建过程： create schedule attach/mount volume cni allotate pull image for sidecar start sidecar pull image for app start app 镜像提前预拉取 create for app start app 预拉取： pull image for sidecar pull image for app base 实际创建过程： OpenKruise 是如何实现镜像预热的 第三部分 OpenKruise的运行架构 节点维度预热定义 apiVersion: apps.kruise.io/v1alpha1 kind: NodeImage metadata:

- 可观察性 特点： 敏捷的⽬标是提升研发效能 需要⼀个 DevOps 平台来⽀撑敏捷开发的落地 这⾥需要有⼀个标准的交付平台 运⾏环境 业务 数据 业务系统 C 业务 数据 业务系统 A 业务 数据 业务系统 B 资源管理在统⼀平台 应⽤运⾏在统⼀平台 构建标准的交付环境 交付产物标准化 - 业务配置 - 资源配置 - 依赖配置 - 流⽔线配置 配置即代码 : 持续保障系统稳定性 只需很少的运维投⼊即可保证系统稳定性 端点⼀站式 PaaS - Erda 第⼆部分 端点 PaaS 发展历程 有状态服务 Job / JobFlow 批计算 流计算 ⽆状态服务 DaemonSet Workloads 多集群调度 混合云调度 跨云迁移 多环境调度 业务数据统⼀调度 集群核⼼服务 Helm 镜像服务 Add-on filebeat 标签管理 系统监控 集群管理 服务⽬录 埋点 数据库 ⽇志 画像 标签 报表 推荐 … 代码管理 持续集成 编排部署 应⽤运维 测试管理 协同管理 数据源管理 数据集成 数据开发 数据资产 数据服务 数据应⽤ 资源统计 运维报告 审计⽇志 K8S 管理 数据监控 多云管理平台 MySQL Redis Kafka ES MQ Minio 中间件 通⽤服务

落地实践 7 基础设施 MOSN RPC MQ Actuator Cache Config 鉴权 配置 Java/NodeJS/C++/… App P a a S 降级限流 流量镜像 … 消息 缓存 8 事情没有那么 简单 新的挑战 1：应用跟基础设施强绑定 9 MOSN App 业务逻辑 RPC SDK port1 bolt SOFA-RPC 基础设施 云也很好，你通过我的服务可以无缝 使用 A 云和 B 云 • 被 C 锁定 POD container App container container Dapr • 缺失 Service Mesh 能力 • 运维成本飙升 • 稳定性有待验证 • 稳定性更难保证 MOSN POD container App container container Dapr MOSN 23 Layotto

org，这个站点采用 Python 作为前端，并且使用 Go 语言自带的工具 godoc 运 行在 Google App Engine 上来作为 Web 服务器提供文本内容。在官网的首页有一个功能叫做 Go Playground，是一个 Go 代码的简单编辑器的沙盒，它可以在没有安装 Go 语言的情况下在你的浏览器中编译并运 行 Go，它提供了一些示例，其中包括国际惯例 “Hello, World!”。 语言的主要特性与发展的环境和影响因素 - 19 - 本文档使用 书栈(BookStack.CN) 构建 因此，Go 语言是一门类型安全和内存安全的编程语言。虽然 Go 语言中仍有指针的存在，但并不允许进行指针运 算。 Go 语言的另一个目标是对于网络通信、并发和并行编程的极佳支持，从而更好地利用大量的分布式和多核的计算机， 这一点对于谷歌内部的使用来说就非常重要了。设计者通过 goroutine 这种轻量级线程的概念来实现这个目标，然 apt-get install bison ed gawk gcc libc6-dev make 你可以在其它发行版上使用 RPM 之类的工具。 3. 获取 Go 源代码 从 官方页面 或 国内镜像 下载 Go 的源码包到你的计算机上，然后将解压后的目录 go 通过命令移动到 $GOROOT 所指向的位置。 2.3 在 Linux 上安装 Go 2.3 在 Linux 上安装 Go

后的版本，一般情况下你可以将它的值设置为空，Go 将会使用前面提到的默认值。 目标机器是指你打算运行你的 Go 应用程序的机器。 Go 编译器支持交叉编译，也就是说你可以在一台机器上构建运行在具有不同操作系统和处理器架构上运 行的应用程序，也就是说编写源代码的机器可以和目标机器有完全不同的特性（操作系统与处理器架 Go入门指南 - 14 - 本文档使用 看云 构建 构）。 为了区分本地机器和目标机器，你可以使用 apt-get install bison ed gawk gcc libc6-dev make 你可以在其它发行版上使用 RPM 之类的工具。 3. 获取 Go 源代码 从 官方页面 或 国内镜像 下载 Go 的源码包到你的计算机上，然后将解压后的目录 go 通过命令移动 到 $GOROOT 所指向的位置。 wget https://storage.googleapis.com/golang/go 如果你想要在 Windows 下的虚拟机里的 Linux 系统上安装 Go，你可以选择使用虚拟机软件 VMware， 下载 VMware player，搜索并下载一个你喜欢的 Linux 发行版镜像，然后安装到虚拟机里，安装 Go 的流 程参考第 2.3 节中的内容。 2.6 安装目录清单 你的 Go 安装目录（ $GOROOT ）的文件夹结构应该如下所示： README.md, AUTHORS

2015.04.25 go语⾔言并发编程实践 以360消息推送系统为例 如何应对的？ go语⾔言在基础服务开发领域的优势？ 我遭遇了哪些挑战？ ⺫⽬目录 具有go特⾊色的运维 在⾼高并发，通信交互复杂，重业务逻辑的分布式系统中， Go语⾔言优势体现在：开发体验好 、⼀一定量级下服务稳定 、性能满⾜足 需要 ⼀一定量级下服务稳定： ⼀一定量级下服务稳定： 50+内部产品，万款开发平台app 实时⻓长连接数亿量级，⽇日独数⼗十亿量级 1分钟内亿量级⼲⼴广播,⽇日下发峰值百亿量级 400台物理机，9个独⽴立集群，国内外近10个IDC 运维管理的go语⾔言编写的常驻service服务实例接近3000个。 业务场景多样： ⽀支持聊天场景业务，稳定⽀支持多款聊天业务app 单通道多app复⽤用 上⾏行通道，回调⽀支持 对智能硬件产品，提供定制化消息推送与转发服务 eventloop上开连接池进⾏行消耗 推荐使用 开发体会的对⽐比 如何应对的？ go语⾔言在基础服务开发领域的优势？ 我遭遇了哪些挑战？ ⺫⽬目录 具有go特⾊色的运维 问题与瓶颈 问题与瓶颈 单机内存占⽤用 ⾼高达69G GC 3~6s 瓶颈 散列在协程⾥里⾯面的io buffer和 对象不复⽤用

云原生应用 云原生是以容器技术为基础围绕着Kubernetes进行的一场技术标准化演进。通过标准可扩展的调度，网络， 存储，容器运行时接口来提供基础设施；通过标准可扩展的声明式资源和控制器来提供运维能力。两层标 准化推进了细化的社会分工，各领域进一步提升规模化和专业化，全面达到成本，效率，稳定性的优化。 4 6 7 2 3 5 1 1 Kubectl plugins 2 Apiserver resources Scheduler extension Custom controller Network plugins Storage plugins 统筹规划， 降低成本 自动化运维， 提升稳定性 非业务逻辑剥离， 提升交付效率 Golang与云原生生态（CNCF） 项目数占比: 214/1512（14.2%） Github star数占比:1265737 / 2458072（51 稳定性不足：没有设置Pod的QoS等级，导致频繁被驱逐，没有设置反亲和性策略，导致节点流量不均; • 扩展效率低：需要负责安装，升级丰富的云原生插件，无法解决插件的依赖，冲突和资源浪费问题； • 运维成本高：Apiserver, etcd, Controller-Manager, Kubelet,等组件都具有一定复杂度，无法做到定期升 级以维持安全，高可用，高性能的状态； • … 能力复用

⽹络层 P2P⽹络 区块链⽹络模型 区块链⽹络协议 扩 展 层 扩展操作 跨链协议 链上链下计算 预⾔机 扩展组件 消息队列MQ 证书管理 测试框架 治理层 权限体系 治理模型 区块链审计 BaaS运维治理 应⽤层 司法存证 供应链⾦融 智慧政务 物联⽹ 能源电⼒ 跨境贸易 ⼯业物联⽹ 智慧城市 ... 不同于完全开放、任何⼈可以加⼊退出的⾮许可链，许可链架构与其差异性在于节点和⽤户在区块链⽹络中的准 ⽹络层 P2P⽹络 区块链⽹络模型 区块链⽹络协议 扩 展 层 扩展操作 跨链协议 链上链下计算 预⾔机 扩展组件 消息队列MQ 证书管理 测试框架 治理层 权限体系 治理模型 区块链审计 BaaS运维治理 应⽤层 司法存证 供应链⾦融 智慧政务 物联⽹ 能源电⼒ 跨境贸易 ⼯业物联⽹ 智慧城市 ... 不同于完全开放、任何⼈可以加⼊退出的⾮许可链，许可链架构与其差异性在于节点和⽤户在区块链⽹络中的准 数据隐私安全；另一方面可实现交易并行处理，提升系统整体性能。 功 能 特 性 分区机制 业务分区而治 • 通过Namespace进行业务划分 • 业务数据对其他分区不可见 分区性能优异 运维灵活便捷 • 单次部署节点、灵活配置分区，降低运维成本 • 支持分区及分区成员的动态管理，快速适应业 务场景变化 • 不同分区交易并行执行，分区性能不随分区 数据增加而下降 分区机制 节点1 节点2 节点3 节点4

Golang在BFE的应用 百度运维部 陶春华 taochunhua@baidu.com 2016年4月 个人简介 • 陶春华，运维部，Baidu Front End团队 –2010年，天津大学，计算机专业博士 • 2013年7月，加入百度 –使用GO开发的项目 • 7层流量代理GO-BFE • 应用层防火墙WAF • 百度GOLANG委员会成员 内容提要 • 后台程序开发的需求和难点 大型程序的组织 –数据封装能力 –Namespace • 可测试能力 –单测，覆盖度测量 • 错误检查能力 –编译 –程序异常的trouble shooting 后台程序开发的需求(3) • 上线和运维 –对运行环境的依赖 –对库（动态库）的依赖 后台程序编程的难点 • 内存的管理 –C程序中很大比例的Bug和内容有关 • 分布式/高并发的处理 –10年前还是一个很hot的话题；目前也还没有普 编译，core dump 调试成本 – Python: • 无编译，可用pylint做检查，易出低级错误 • 错误，exception C vs Python (3) • 上线和运维 –C: 可编译为独立可执行程序(包括依赖的库) –Python: 需要python运行环境，及依赖的库 Golang (1) • 性能 –和C接近 • 并发性 –Go routine:

时间。 可以根据请求数、平均响应时间，最⼤大响应时间对数据时⾏行排序。 代码 1个⽂文件服务器、5个webapi、6个goroutine 部署简单，可以同时在windows和linux上运⾏行 去掉美观的⾏行，只有200来⾏行 ⼩小试⽜牛⼑刀：monitor l 程序员 VS 码农 l Golang VS C++ l 和朋友的⼀一场对话 说⼀一万句，不如做⼀ l 过度⾏行政监管⽆无处不在，市场机制⽆无法顺畅运⾏行 国内互联⺴⽹网现状 l 数据是互联⺴⽹网的核⼼心，是⽤用户的主权 l 数据⽇日益集中化，规则垄断化，使互联⺴⽹网失去了多样性 l 《失控》作者：未来会有天量的数据只存在⽤用户本地 l ⻄西⽠瓜⼤大丸⼦子汤：⼤大数据处在奴⾪隶社会 ⽆无底限的运⽤用规则⽇日益伤害⽤用户的权益，普通⽤用户失去了⾃自主性 l 中⼩小企业和个⼈人对⾃自⾝身数据安全的担忧⽇日益加强 ⾼高压差之下的机会 Leither为此⽽而⽣生！ l 它是⼀一个⼩小程序 l 它可以运⾏行在各种常⻅见操作系统下 windows linux android l 它可以跑在⽤用户的路由器、PC、甚⾄至⼿手机上 前后引⽤用300多M开源代码，多重压缩之后，