基于 Golang 构建⾼可扩展的云原⽣ PaaS 平台 刘浩杨 端点 技术专家 个⼈简介 - 18年加⼊端点，现任微服务和监控团队负责⼈ - 端点开源 PaaS Erda 的核⼼架构师 - 开源爱好者， Apache SkyWalking PMC 成员 ⽬ 录 ⾯向云原⽣的软件交付 01 端点⼀站式 PaaS - Erda 02 Erda 架构的思考 03 模块化开发框架 release_id: ${release:id} pipeline.yml 定义 - 屏蔽掉流⽔线定义的复杂度 - 丰富的通⽤Action，开箱即⽤ - Action 扩展规范，任意扩展 Workload 管理 - Create - Update - Delete - Describe - Scale - Restart services: trade-server: 接⼝设计、以及拦截器 • 提供快速构建模块的代码⽣成⼯具 Erda Infra 如何设计 Erda Infra 有什么不同 - 不是重复造轮⼦ - 不仅是web框架 - 不仅是微服务框架 - 为扩展⽽⽣ - 以模块化的开发为核⼼ VS 模块化开发原则 - ⾯向接⼝进⾏开发，⽽不是⾯向实现 - 模块拆分的粒度尽可能⼩ - 模块内聚，模块间松耦合 - 模块间的引⽤使⽤DI⽽不是直接依赖实现包

Thompson 先前在 Plan 9 操作系统上使用的 C 工具链。 Go 语言的编译器和链接器都是使用 C 语言编写并产生本地代码，Go 不存在自我引导之类的功能。因 此如果使用一个有不同指令集的编译器来构建 Go 程序，就需要针对操作系统和处理器架构（32 位操 Go入门指南 - 12 - 本文档使用 看云 构建 作系统或 64 位操作系统）进行区别对待。 这款编译器使用非分代、 Go 1 版本开始，gc 和 gccgo 在编译方面都有等价的功能。 3. 文件扩展名与包（package）： Go 语言源文件的扩展名很显然就是 .go 。 C 文件使用后缀名 .c ，汇编文件使用后缀名 .s 。所有的源代码文件都是通过包（packages）来组 织。包含可执行代码的包文件在被压缩后使用扩展名 .a （AR 文档）。 Go 语言的标准库（第 9.1 节）包文件在被安装后就是使用这种格式的文件。 展都不是很成熟。不过目前还是有一些 IDE 能够较好地支持 Go 的开发，有些开发工具甚至是跨平台的， 你可以在 Linux、Mac OS X 或者 Windows 下工作。 你可以通过查阅 编辑器和 IDE 扩展 页面来获取 Go 开发工具的最新信息。 3.1 Go 开发环境的基本要求 这里有一个你可以期待你用来开发 Go 的集成开发环境有哪些特性的列表，从而替代你使用文本编辑器写 代码和命令行编译与链接程序的方式。

Thompson 先前在 Plan 9 操作系统上使用的 C 工具链。 Go 语言的编译器和链接器都是使用 C 语言编写并产生本地代码，Go 不存在自我引导之类的功能。因此如果 使用一个有不同指令集的编译器来构建 Go 程序，就需要针对操作系统和处理器架构（32 位操作系统或 64 位操作系统）进行区别对待。 这款编译器使用非分代、无压缩和并行的方式进行编译，它的编译速度要比 gccgo 更快，产生更好的本地代 1 版本开始，gc 和 gccgo 在编译方面都有等价的功能。 3. 文件扩展名与包（package）： Go 语言源文件的扩展名很显然就是 .go 。 C 文件使用后缀名 .c ，汇编文件使用后缀名 .s 。所有的源代码文件都是通过包（packages）来组 织。包含可执行代码的包文件在被压缩后使用扩展名 .a （AR 文档）。 2.1 平台与架构 - 26 - 本文档使用 很成熟。不过目前还是有一些 IDE 能够较好地支持 Go 的开发，有些开发工具甚至是跨平台的，你可以在 Linux、Mac OS X 或者 Windows 下工作。 你可以通过查阅 编辑器和 IDE 扩展 页面来获取 Go 开发工具的最新信息。 3.1 Go 开发环境的基本要求 3.2 编辑器和集成开发环境 3.3 调试器 3.4 构建并运行 Go 程序 3.5 格式化代码 3.6 生成代码文档

共识层 分布式⼀致性算法 典型共识算法 新型共识算法 合约层 智能合约脚本 合约执⾏引擎 分布式应⽤DApp ⽹络层 P2P⽹络 区块链⽹络模型 区块链⽹络协议 扩 展 层 扩展操作 跨链协议 链上链下计算 预⾔机 扩展组件 消息队列MQ 证书管理 测试框架 治理层 权限体系 治理模型 区块链审计 BaaS运维治理 应⽤层 司法存证 供应链⾦融 智慧政务 物联⽹ 能源电⼒ 跨境贸易 共识层 分布式⼀致性算法 典型共识算法 新型共识算法 合约层 智能合约脚本 合约执⾏引擎 分布式应⽤DApp ⽹络层 P2P⽹络 区块链⽹络模型 区块链⽹络协议 扩 展 层 扩展操作 跨链协议 链上链下计算 预⾔机 扩展组件 消息队列MQ 证书管理 测试框架 治理层 权限体系 治理模型 区块链审计 BaaS运维治理 应⽤层 司法存证 供应链⾦融 智慧政务 物联⽹ 能源电⼒ 跨境贸易 异构部署问题 性能扩展问题 之困局 ？ n 机构间数据难打通，不愿打通 n 公网内网、网关网闸情况复杂 n 业务组织形式不同，异构链/系统难适配 n 数据量、网络复杂度指数上升，架构难扩展 16 趣链科技 版权所有 ©2016-2021 主链 节点 节点 锚节点 锚节点 节点 节点 同构⼦链 同构⼦链 主链 • 存证 • 权限控制 基础⼦链 扩展⼦链 • 同构⼦链直接通过主链互通

QL一样的灵活的查询模式  支持多种维度的查询  提供类似SQL的查询模式  支持灵活的信息过滤条件 内存不够用怎么办？ 03. 冷热可交换、策略可定制、内存可扩展，多种冷数据淘汰组件，自由组合 存储扩展，冷热数据交换 可自定义冷热数据交换策略 还能提供什么帮助？ 04. 降低硬件成本，降低依赖，保证稳定性 同样的性能，需要更少的硬件资源，降低成本 01 核心数据在本地，依赖少，更稳定 核心数据在本地，依赖少，更稳定 02 • 千万级内存对象，GC严重耗时，如何解决？ • 复杂的查询场景，内存数据如何高效组织？ • 主动式内存缓存，如何保证数据实时性？ • 数据太多，内存不够用，如何进行存储扩展？ 通过本次分享，可以带来哪些收获？ 难点攻克 第二部分 使用内存缓存 数据一致性如何保证？ 一致性 01. 缓存如何保证更新，如何与数据库同步 同步、更新  被动方式  业务快速增长 存储如何无限扩展？ 存储扩展 05. 业务数据已经超过1000万，海量数据下，如何实现冷热数据的交换 冷 热 新 系 统 历 史 数 据 冷数据、数据量多 缓存成本大、命中低、收益小 热 数 据 当前系统中的热点数据 命中率高 系 统 新 增 数 据 近期新增数据，较大概率命中 存储空间 缓存性能 冷热可交换，引擎可扩展 06. 冷热数据交换，通过栈式缓存结构，实现多级缓存策略

13.如何设计一个Web框架 13.1 项目规划 13.2 自定义路由器设计 13.3 controller设计 13.4 日志和配置设计 13.5 实现博客的增删改 13.6 小结 14.扩展Web框架 14.1 静态文件支持 14.2 Session支持 14.3 表单支持 14.4 用户认证 14.5 多语言支持 14.6 pprof支持 14.7 小结 附录A 参考资料 5 bSlice 包含 aSlice[0], aSlice[1], aSlice[2] 也就是含有: d,e,f bSlice = aSlice[0:5] // 对slice的slice可以在cap范围内扩展，此时bSlice包含：d,e,f,g,h bSlice = aSlice[:] // bSlice包含所有aSlice的元素: d,e,f,g slice是引用类型，所以当引用改变其中元素 来定义对象的一组行为。 我们前面一章最后一个例子中Student和Employee都能Sayhi，虽然他们的内部实现不一样，但是那不重要，重要的是 他们都能say hi 让我们来继续做更多的扩展，Student和Employee实现另一个方法Sing，然后Student实现方法BorrowMoney而 Employee实现SpendSalary。 这样Student实现了三个方法：Sa

云原生-程序员视角 基础设施 K8s 云原生生态（CNCF） 云原生应用 云原生是以容器技术为基础围绕着Kubernetes进行的一场技术标准化演进。通过标准可扩展的调度，网络， 存储，容器运行时接口来提供基础设施；通过标准可扩展的声明式资源和控制器来提供运维能力。两层标 准化推进了细化的社会分工，各领域进一步提升规模化和专业化，全面达到成本，效率，稳定性的优化。 4 6 7 2 3 5 1 认知成本高：K8s功能强大却没有统一的使用方式，不得不学习复杂的声明字段和各种奇怪的Annotation； • 稳定性不足：没有设置Pod的QoS等级，导致频繁被驱逐，没有设置反亲和性策略，导致节点流量不均; • 扩展效率低：需要负责安装，升级丰富的云原生插件，无法解决插件的依赖，冲突和资源浪费问题； • 运维成本高：Apiserver, etcd, Controller-Manager, Kubelet,等组件都具有一定复杂度，无法做到定期升 name: scaledobjects.keda.k8s.io 能力定义 • 工作负载 • 运维特征 • 作用域 组件 应用配置 = 组件+运维特征+作用域 简单开放 标准可扩展 可组合 可发现 https://github.com/oam-dev/spec EDAS的平台构建机制-KubeVela https://github.com/oam-dev/kubevela

stream computing stream computing 使⽤需求 • 数据缓冲，提⾼可⽤性 ，缓冲服务故障 • 数据⼴播，分发给多个服务 • 负载均衡，提⾼消费者的扩展性 使⽤案例 ⼴告点击数统计 Web Service MySQL cluster 4. 正确消费确认 MQ stream computing Web Service stream stream computing stream computing Msg 使⽤需求 • 数据缓冲，提⾼可⽤性 ，缓冲服务故障 • 数据⼴播，分发给多个服务 • 负载均衡，提⾼消费者的扩展性 • 消费反馈，确保消息不丢失 使⽤案例 ⼴告点击数统计 Web Service MySQL cluster User Click User Click User Click 数据⼴播，分发给多个服务 • 负载均衡，提⾼消费者的扩展性 • 消费反馈，确保消息不丢失 • MQ：分布式部署，排除⾃⾝单点故障 使⽤需求 • 数据缓冲，提⾼可⽤性 ，缓冲服务故障 • 数据⼴播，分发给多个服务 • 负载均衡，提⾼消费者的扩展性 • 消费反馈，确保消息不丢失 • MQ：分布式部署，排除⾃⾝单点故障 • MQ：具备横向扩展性，排除性能瓶颈 NSQ 是怎么⾯对这些问题的

的表示方式包含指数位，导致其取值范围远大于 int 。根据以上计算， float 可表示的最大正数为 2254−127 × (2 − 2−23) ≈ 3.4 × 1038 ，切换符号位便可得到最小负数。 尽管浮点数 float 扩展了取值范围，但其副作用是牺牲了精度。整数类型 int 将全部 32 比特用于表示数字， 数字是均匀分布的；而由于指数位的存在，浮点数 float 的数值越大，相邻两个数字之间的差值就会趋向越 大。 换行符和制表符）。 图 3‑6 ASCII 码 然而，ASCII 码仅能够表示英文。随着计算机的全球化，诞生了一种能够表示更多语言的 EASCII 字符集。它 在 ASCII 的 7 位基础上扩展到 8 位，能够表示 256 个不同的字符。 在世界范围内，陆续出现了一批适用于不同地区的 EASCII 字符集。这些字符集的前 128 个字符统一为 ASCII 码，后 128 个字符定义不同，以适应不同语言的需求。 1980 年发布了 GB2312 字符集，其收录了 6763 个汉字，基本满足了汉字的 计算机处理需要。 然而，GB2312 无法处理部分罕见字和繁体字。GBK 字符集是在 GB2312 的基础上扩展得到的，它共收录了 21886 个汉字。在 GBK 的编码方案中，ASCII 字符使用一个字节表示，汉字使用两个字节表示。 第 3 章 数据结构 hello‑algo.com 61 3.4.3

的表示方式包含指数位，导致其取值范围远大于 int 。根据以上计算， float 可表示的最大正数为 2254−127 × (2 − 2−23) ≈ 3.4 × 1038 ，切换符号位便可得到最小负数。 尽管浮点数 float 扩展了取值范围，但其副作用是牺牲了精度。整数类型 int 将全部 32 比特用于表示数字， 数字是均匀分布的；而由于指数位的存在，浮点数 float 的数值越大，相邻两个数字之间的差值就会趋向越 大。 （如换行符和制表符）。 图 3‑6 ASCII 码 然而，ASCII 码仅能够表示英文。随着计算机的全球化，诞生了一种能够表示更多语言的「EASCII」字符 集。它在 ASCII 的 7 位基础上扩展到 8 位，能够表示 256 个不同的字符。 在世界范围内，陆续出现了一批适用于不同地区的 EASCII 字符集。这些字符集的前 128 个字符统一为 ASCII 码，后 128 个字符定义不同，以适应不同语言的需求。 1980 年发布了「GB2312」字符集，其收录了 6763 个汉字，基本满足了汉 字的计算机处理需要。 然而，GB2312 无法处理部分罕见字和繁体字。「GBK」字符集是在 GB2312 的基础上扩展得到的，它共收录 了 21886 个汉字。在 GBK 的编码方案中，ASCII 字符使用一个字节表示，汉字使用两个字节表示。 第 3 章 数据结构 hello‑algo.com 61 3.4.3