Golang⼤规模云原⽣应⽤管理实践 刘洋（炎寻） 关于我 • 毕业于中国科学技术大学，定居杭州 • 就职于阿里云-云原生应用平台团队 • Problem Solver，聚焦中间件，容器，Kubernetes，PaaS平台… • OAM社区成员 开局一张图 规模化应用交付效率对比去年 每万笔峰值交易的IT成本对比4年前 提升1倍 下降80% 云原生 技术 稳定 成本 效率 策略与机制随着层次的变化而变化； 应用管理的策略与机制 应用 版本 工作负载 负载均衡 标签 流量 组件 日志 指标 容量 服务 依赖 路由规则 持久卷 部署策略 健康检查 … 灰度 发布 定时弹性 事件 指标弹性 分批发布 重启 回滚 日志管理 事件中心 指标监控 存储挂载 服务绑定 手动弹性 回退历史 负载均衡 报警 诊断 组件管理 服务治理 … 认知成本高：K8s功能强大却没有统一的使用方式，不得不学习复杂的声明字段和各种奇怪的Annotation； • 稳定性不足：没有设置Pod的QoS等级，导致频繁被驱逐，没有设置反亲和性策略，导致节点流量不均; • 扩展效率低：需要负责安装，升级丰富的云原生插件，无法解决插件的依赖，冲突和资源浪费问题； • 运维成本高：Apiserver, etcd, Controller-Manager, Kubelet

深入理解BFE 章淼 百度智能云 架构师 什么是BFE? • 百度统一的七层流量转发平台 • HTTP, HTTPS, HTTP/2, QUIC • 2012年开始建设 • 每日转发请求约1万亿，日峰值超过1KW QPS • 2019年，核心转发引擎对外开源 • BFE => Beyond Front End • https://github.com/bfenetworks/bfe 02 BFE的实现机制 03 为什么需要BFE？ • 没有统一七层接入的问题 • 功能重复开发 • 运维成本高 • 流量统一控制能力低 • 引入BFE后 • 功能统一开发 • 运维统一管理 • 流量控制能力增强 • BFE平台的主要功能 • 接入和转发，流量调度，安全防攻击，数据分析 BFE部署前 BFE部署后 L4LB 业务A 集群 业务B 集群 业务C 集群 BFE 名字服务 基于负载均衡器 基于名字服务 方案对比 方案 对流量的控制力 资源消耗 对客户端的要求 适用场景 基于负载均 衡器 强。可以达到单个连 接 / 请求的粒度。 高。负载均衡器引 入了额外的资源消 耗。 低。客户端基本不 需要实现策略。 总体流量规模不大 （从负载均衡器资 源消耗的角度）； 应用场景对流量控 制要求高。 基于名字服 务 + 客户 端策略 弱。客户端直接访问

com 2016年4月 个人简介 • 陶春华，运维部，Baidu Front End团队 –2010年，天津大学，计算机专业博士 • 2013年7月，加入百度 –使用GO开发的项目 • 7层流量代理GO-BFE • 应用层防火墙WAF • 百度GOLANG委员会成员 内容提要 • 后台程序开发的需求和难点 –C, Python and Go对比 • 采用Go语言重构BFE –背景和技术路线 • 错误检查能力 –编译 –程序异常的trouble shooting 后台程序开发的需求(3) • 上线和运维 –对运行环境的依赖 –对库（动态库）的依赖 后台程序编程的难点 • 内存的管理 –C程序中很大比例的Bug和内容有关 • 分布式/高并发的处理 –10年前还是一个很hot的话题；目前也还没有普 遍掌握 –CPU资源的调度：Process/Thread/Event –数据的封装和互斥访问； –可编译为独立可执行程序 BFE(Baidu Front End) • 百度统一前端 –七层流量接入平台 BFE(Baidu Front End) • 主要服务 • 接入转发 • 防攻击、流量调度、数据分析 • 业务现状 • 覆盖大部分重要产品 • 日请求量千亿级别 接入与转发 防攻击 流量调度 数据分析 BFE 为什么重写BFE • 现存问题 –修改成本高 • 事件驱动的编程模型：编码和调试难度大

⺫⽬目前可执⾏行程序⼤大约只有2到3M Leither是什么? l 它是⼀一个操作系统 l 它有⾃自⼰己资源管理体系 l 它有⾃自⼰己的应⽤用体系 Leither OS 动态管理众多在线⺴⽹网民的⺴⽹网络资源、存储资源、运算资源 现有互联⺴⽹网的⼤大部分服务形态，都可以在Leither上快速构造出来。 消息通讯 ⽤用户数据 公共数据 授 权 担 保 验 证 浏 览 器 第三⽅方应⽤用 结果显⽰示 数据解析 ⽤用户操作 数据打包 应⽤用发布 应⽤用安装 应⽤用管理 数 据 库 系 统 接 ⼝口 邮 件 模 块 前 端 架 构 WEB Server RPC 邮件⼿手机接⼝口 ⽤用户信息 ⾃自 ⼰己 好 友 节 点 信⽤用结算 数据打包 底 层 ⺴⽹网 络 层 浏 览 器 查 找 维 护 Swarms 数 据 层 应 ⽤用 层 消息通讯 索引 数据 应⽤用发布 应⽤用安装 应⽤用管理 Swarms 查 找 维 护 MVC 架构 MVC 架构 同 步 同 步 Leither的技术架构 ü 它是⼀一个⽣生态 ü 它有⾃自⼰己的⽣生态成员

方案详述——完整架构 先对整个架构有一个大概的认识 - 消息队列消费：解耦 MQ - Token 清洗：事件翻译和 token 计算 - 推荐系统：策略召回和推荐 - 数据分析：离线策略挖掘和模型训练 - 管理平台：开发、运营、运维辅助 实现方案——Token 清洗 Token 清洗服务完整流程 - 挑战：150+类 token，如何高内聚，降低 token 计算逻辑复杂度 - 方案：Token 计算插件化 -> 运营 需求变更流程 需求 -> 开发 -> 运营 需求 -> 运营 策略设计模式 人工设计 人工设计 + 离线挖掘 需求迭代周期 2 周 3～5 天 常驻人力 运营 1、开发 1、项目管理 0.5 运营 1 后台技术栈 Lua Go 代码理解成本 >10000 行代码 + 1500 行注释 135 行代码 + 82 行注释 + 开发模式文档 交接周期 未知（未交接过） 1 天（几位开发参与过） 部署：腾讯云 TKE（Tencent Kubernetes Engine）；微服务 - 上线前压测： - 预估 CPU：20,000+ 核，其中推荐系统接近 18,000 - 现象：网络流量极大 - 原因：流量中包含对局完整历史（Token 历史、推荐历史、……） 服务（某灰度下） 峰值 CPU 使用率 峰值 内存 峰值 CPU 核 峰值网络 I/O show_common 35～50%

商品收藏 产品站 营销管理 优惠券/码管理 营销活动管理 商品管理 活动中心 抢购/秒杀 直播/抽奖 竞价/拼团 活动模版 数据服务 推荐服务 搜索服务 流量平台 其他服务 评论服务 积分服务 站内信 礼品卡服务 内容发布服务 SEO 站点管理 EDM/ Push Mobile POCO Android 用户画像 支付活动管理 PC Mobile 址等 页面渲染逻辑全部由前端处理，实现前后端分离 架构演变 07. 微服务化 目前已有部分电商服务接入网关，后续会持续推动电商服务的微服务接入 通过微服务网关，便于电商服务的接入、监控和管理 场景落地 第三部分 场景落地 01. 微服务网关 场景落地 01. 微服务网关 技术栈选型：GO + ETCD 场景落地 01. 微服务网关 场景落地 01. 微服务网关 Traefxi配置文件 场景落地 01. 微服务网关 场景落地 01. 微服务网关 场景落地 01. 微服务网关 场景落地 02. 秒杀 新品发售 爆品发售 大型促销活动 流量瞬时爆发 场景落地 02. 秒杀 技术栈选型：GO + Ker Redis 场景落地 02. 秒杀 三次限流 原子计数限流：每秒只通过部分请求进行限流 队列限流：业务系统请求入队列的限流

合约层 智能合约脚本 合约执⾏引擎 分布式应⽤DApp ⽹络层 P2P⽹络 区块链⽹络模型 区块链⽹络协议 扩 展 层 扩展操作 跨链协议 链上链下计算 预⾔机 扩展组件 消息队列MQ 证书管理 测试框架 治理层 权限体系 治理模型 区块链审计 BaaS运维治理 应⽤层 司法存证 供应链⾦融 智慧政务 物联⽹ 能源电⼒ 跨境贸易 ⼯业物联⽹ 智慧城市 ... 不同于 合约层 智能合约脚本 合约执⾏引擎 分布式应⽤DApp ⽹络层 P2P⽹络 区块链⽹络模型 区块链⽹络协议 扩 展 层 扩展操作 跨链协议 链上链下计算 预⾔机 扩展组件 消息队列MQ 证书管理 测试框架 治理层 权限体系 治理模型 区块链审计 BaaS运维治理 应⽤层 司法存证 供应链⾦融 智慧政务 物联⽹ 能源电⼒ 跨境贸易 ⼯业物联⽹ 智慧城市 ... 不同于 业务分区而治 • 通过Namespace进行业务划分 • 业务数据对其他分区不可见 分区性能优异 运维灵活便捷 • 单次部署节点、灵活配置分区，降低运维成本 • 支持分区及分区成员的动态管理，快速适应业 务场景变化 • 不同分区交易并行执行，分区性能不随分区 数据增加而下降 分区机制 节点1 节点2 节点3 节点4 节点5 节点6 分区B 分区A 数据块 区块链平台关键技术-分区机制

TiKV TiKV COUNT(c1) COUNT(c1) 并行 Hash Join 还有一些你看不到的东西：调度 调度的目标 ● CPU ● IO ● 内存 ● 磁盘使用量 ● 网络流量 ● Location Awareness 调度的方法 ● PD 周期性根据 Cache 中的集群信息，生成调度计划（Operator） ● Operator 是作用于一个 Region 的一系列操作 统计一段时间内的 Region 流量排行榜 ○ 统计排行榜 TopN 在 Store 的分布情况 ○ 生成 Operator 使之均衡 调度的难点 ● 难以评判什么样的数据分布情况是最优解 ○ 机器配置不同 ○ CPU、内存、磁盘、网络多种因素相互制约 ○ 用户场景多变 ● 调度所依赖的集群状态不一定是最新的 ● 调度本身也会带来系统负担 多副本管理策略 ● 使用多副本保证数据安全（Data

⼀一定量级下服务稳定： 50+内部产品，万款开发平台app 实时⻓长连接数亿量级，⽇日独数⼗十亿量级 1分钟内亿量级⼲⼴广播,⽇日下发峰值百亿量级 400台物理机，9个独⽴立集群，国内外近10个IDC 运维管理的go语⾔言编写的常驻service服务实例接近3000个。 业务场景多样： ⽀支持聊天场景业务，稳定⽀支持多款聊天业务app 单通道多app复⽤用 上⾏行通道，回调⽀支持 对智能硬件产品，提供定制化消息推送与转发服务 消息系统简要架构 单实例，单端⼝口，多协议复⽤用 全双⼯工，单客户端，多app复⽤用服务单通道 适⽤用于复杂环境下的⺴⽹网络的接⼊入策略 协议完备、简单、数据安全、可扩展、省流量 接⼊入层 ���� DES+RSA/ ECC+AES/ crossdomain.xml/ � ������/ ������ ����/ ����/ ZooKeeper/ Keeper 设施⽅方⾯面，提供了 便利 配套设施= 测试 + 调优 + 监控 + 运维 便利 = 原⽣生profiling⼯工具 + 开协程模拟测试终端+协程协作模拟业务 go语⾔言运维管理⽅方⾯面的独特魅⼒力…… 具有go语⾔言特⾊色的运维 Æ 可视化平台 Profiling可视化 将常规排查问题从⼿手⼯工经验化，变成流程化的过程 ⽐比较不同时间维度，两次上线后，进程的各种状态