基于open-falcon的 平安云监控 目录 Ø 团队介绍 Ø 背景 Ø 系统定位 Ø argus是什么 Ø 为什么选用Go Ø argus的前身 Ø argus的现状 Ø argus的未来 团队介绍 Ø 平安云IAAS团队 Ø 负责平安集团IAAS平台建设 Ø 为平安集团内部其他子公司服务 Ø 打造对外的金融云服务 目录 Ø 团队介绍 Ø 背景 Ø 系统定位 Ø 打造用户自助服务的监控平台 Ø 适应内部的三级网络架构 背景 云管区 公共服务区 可用区 目录 Ø 团队介绍 Ø 背景 Ø 系统定位 Ø argus是什么 Ø 为什么选用Go Ø argus的前身 Ø argus的现状 Ø argus的未来 系统定位 Ø 保证基础监控，提供监控通道 Ø 要求高可用、高可扩展 Ø 分离用户、平台管理员 角色 Ø 建设用户自助平台（看性能、配告警、收告警） 保证告警覆盖率，按类型初始化通用告警策略 Ø 兼顾通用的和个性的监控要求 目录 Ø 团队介绍 Ø 背景 Ø 系统定位 Ø argus是什么 Ø 为什么选用Go Ø argus的前身 Ø argus的现状 Ø argus的未来 argus是什么 Ø 是平安云监控系统 Ø 希腊神话里的百眼巨人 Ø 基平open-falcon开发的平安云监控系统 Ø 是一个Go语言实现的项目 目录 Ø

Golang⼤规模云原⽣应⽤管理实践 刘洋（炎寻） 关于我 • 毕业于中国科学技术大学，定居杭州 • 就职于阿里云-云原生应用平台团队 • Problem Solver，聚焦中间件，容器，Kubernetes，PaaS平台… • OAM社区成员 开局一张图 规模化应用交付效率对比去年 每万笔峰值交易的IT成本对比4年前 提升1倍 下降80% 云原生 技术 稳定 成本 效率 策略与机制随着层次的变化而变化； 应用管理的策略与机制 应用 版本 工作负载 负载均衡 标签 流量 组件 日志 指标 容量 服务 依赖 路由规则 持久卷 部署策略 健康检查 … 灰度 发布 定时弹性 事件 指标弹性 分批发布 重启 回滚 日志管理 事件中心 指标监控 存储挂载 服务绑定 手动弹性 回退历史 负载均衡 报警 诊断 组件管理 服务治理 … 级以维持安全，高可用，高性能的状态； • … 能力复用 自动化 可观测 稳定 安全 开发者真正想要的是策略：大象无形的基础设施，坚如磐石的中间件，丰富高效的应用PaaS平台 基础设施 云原生PaaS平台提供应用管理策略 基础设施 K8s 云原生生态（CNCF） 云原生应用 4 6 7 2 3 5 1 1 Kubectl plugins 2 Apiserver extension 3 4 5

每秒百万数据点 Go 应用监控系统演进 张平 AfterShip 高级 SRE 关于 AfterShip 拥抱云原生和开源系统 目 录 监控架构概览 01 如何监控 Go 应用？ 02 Metrics 系统架构演进 03 Why VictoriaMetrics so good？ 04 总结与展望 05 监控架构概览 第一部分 监控系统架构概览 -- 数据源 监控系统架构概览 -- -- 告警配置 监控系统架构概览 -- 告警通道 如何监控 Go 应用？ 第二部分 基于 Prometheus Go 应用监控接入流程 确定指标 为应用埋点 部署应用 配置服务发现 监控展示 指标类型 ● Go 运行时指标 ○ Goroutine 数量 ● 应用层指标 ○ infra_http_request_total ● 业务指标 ○ 总 Tracking 查询量 ○

基于 Golang 构建⾼可扩展的云原⽣ PaaS 平台 刘浩杨 端点 技术专家 个⼈简介 - 18年加⼊端点，现任微服务和监控团队负责⼈ - 端点开源 PaaS Erda 的核⼼架构师 - 开源爱好者， Apache SkyWalking PMC 成员 ⽬ 录 ⾯向云原⽣的软件交付 01 端点⼀站式 PaaS - Erda 02 Erda 架构的思考 03 模块化开发框架 C 业务 数据 业务系统 A 业务 数据 业务系统 B 资源管理在统⼀平台 应⽤运⾏在统⼀平台 构建标准的交付环境 交付产物标准化 - 业务配置 - 资源配置 - 依赖配置 - 流⽔线配置 配置即代码 : 实现⼤规模交付的部署过程可被验证 PaaS 平台：资源管理，容器编排，基础监控和告警 APM 监控：应⽤诊断，链路追踪，⽇志分析 微服务治理组件 可靠的业务 贴身护航 telegraf 监控 ⽇志 HPA Operator 注册中⼼ 配置中⼼ API ⽹关 微服务拓扑 全链路追踪 错误分析 ⽇志分析 主动监控 浏览器监控 APP 监控 慢SQL JVM 诊断 ⾃定义告警 APM 微服务管理 资源管理 标签管理 系统监控 集群管理 服务⽬录 埋点 数据库 ⽇志 画像 标签 报表 推荐 … 代码管理 持续集成 编排部署

⼀一定量级下服务稳定： 50+内部产品，万款开发平台app 实时⻓长连接数亿量级，⽇日独数⼗十亿量级 1分钟内亿量级⼲⼴广播,⽇日下发峰值百亿量级 400台物理机，9个独⽴立集群，国内外近10个IDC 运维管理的go语⾔言编写的常驻service服务实例接近3000个。 业务场景多样： ⽀支持聊天场景业务，稳定⽀支持多款聊天业务app 单通道多app复⽤用 上⾏行通道，回调⽀支持 对智能硬件产品，提供定制化消息推送与转发服务 具有go特⾊色的运维 go语⾔言原⽣生提供的各组⼯工具，构建分布式系统配套设施⽅方⾯面，提供了 便利 配套设施= 测试 + 调优 + 监控 + 运维 便利 = 原⽣生profiling⼯工具 + 开协程模拟测试终端+协程协作模拟业务 go语⾔言运维管理⽅方⾯面的独特魅⼒力…… 具有go语⾔言特⾊色的运维 Æ 可视化平台 Profiling可视化 将常规排查问题从⼿手⼯工经验化，变成流程化的过程 通信库状态可视化 Æ 最接近业务场景的百万级别压测后台 架构迭代 所有实例组通信数据监控 性能监控与调优 架构迭代 压测平台 拆分多实例 l 缓解GC压⼒力（gc时间减少40%） 按业务类型聚类，⼲

BFE的设计思想 02 BFE的实现机制 03 为什么需要BFE？ • 没有统一七层接入的问题 • 功能重复开发 • 运维成本高 • 流量统一控制能力低 • 引入BFE后 • 功能统一开发 • 运维统一管理 • 流量控制能力增强 • BFE平台的主要功能 • 接入和转发，流量调度，安全防攻击，数据分析 BFE部署前 BFE部署后 L4LB 业务A 集群 业务B 集群 业务C 集群 BFE 七层负载均衡 BFE主要设计思想 • 转发模型优化 • 支持多租户 • 引入条件表达式，减少正则表达式使用 • 降低动态配置加载的难度 • 区分“常规配置”和“动态配置” • 增强服务状态监控能力 • 向外展现大量内部的执行状态 • 将大存储功能转移到外部 • 加快启动速度 正则表达式 方案的问题 • 配置难以维护：正则表达式存在严重的可读 性问题 • 性能存在隐患：有可能因编写不当引起严重 } ] } } 限流机制 • 问题： • 分布式场景下是否可以均分阈值？ • 要精确限流，需使用集中计数 监控机制 • 基于日志监控的问题 • 被监控系统的资源消耗较高 • 监控系统的资源消耗较高 • 很多状态信息并不适合打印输出 • BFE的内部状态输出 • 通过内嵌web server向外暴露 • 状态信息的汇聚和读取成本低 •

最佳实践 利开园 腾讯高级工程师 2021-08-21 关于我 Docker TarsGo Tars+K8S DevOps 2015至今 腾讯 目录 1. RPC 2. 日志 3. 监控 4. 调用链 5. 网关 6. 错误码 7. 配置 8. 云原生 9. 标准化 背景 • Tars是腾讯开源的微服务解决方案 • 高性能的RPC框架 • 丰富的服务治理能力 • 支持Golan 名字服务+SET流量管理 • 熔断与恢复 • 轮询/一致性Hash • 错误码管理 日志：排查问题的利器 • 格式化 =〉 JSON • 单机withFields • 基于context • 跨服务withFields • 基于透传元数据 • 按大小/时间滚动 • 远程日志 vs 本地日志 的取舍 监控：主动发现问题 • RPC接口默认监控 • 自定义业务监控 • 基于Prometheus d3bee1839ad0c","Code":0,"Error":"","Data":{"reply":"reply message:hi abc"}} 配置：业务逻辑的高效定制化 • Web配置管理 • 配置热更新 • 基于本地文件 • 线程安全 • 代码可维护性 • 文件读取不全问题（读写冲突） • 使用JSON格式 云原生：TARS上云实践 • K8S+TARS方案：https://github

master/server间采⽤用golang rpc通信 • server上报⼼心跳证明⾃自⼰己存活，并汇报所 执⾏行行任务的情况 • master向server周期性下发任务，server 管理理⾃自身任务决定哪些要执⾏行行哪些要丢弃 简单 · 可信赖 master⾼高可⽤用 • master⾃自身⽆无状态，身份信息注册在zookeeper • master failover时主备⾃自动切换 其他任务被调度⾄至新server 简单 · 可信赖 调度框架 • server感知 • 任务发现及粒度切分 • 数据平滑 • 调度组 • 管理理接⼝口 简单 · 可信赖 调度算法 简单 · 可信赖 ⾃自动化运维 简单 · 可信赖 监控⽅方案 • logkit：七⽜牛pandora团队开发的纯go语⾔言数据收集、推 送⼯工具，⽀支持多种数据源，⾼高效易易⽤用 • 时序数据库（T 简单 · 可信赖 线上系统现状 • 每⽇日处理理超过千亿数据点 • 每⽇日处理理百TB级别的数据量量 • 线上导出延迟在1分钟以内 • 较少的⼈人⼯工介⼊入 • 秒级扩容 • 实时的可视化监控系统 • 易易⽤用的报警系统 • ⾃自动⽣生成线上⽇日报 简单 · 可信赖 Go的应⽤用 我们⽤用Golang做了了些什什么 • 流式计算、离线计算、⽇日志检索、时序数据库等⼀一整套服务的核⼼心代码都使⽤用

基于gopush的推送平台&goim； — 基于redis sentinel的smart client； — rpc框架； — gosnowflake发号器集群； — goconf统一配置管理； 接入层优化 ž DNS在移动网络下不适用； — 避免劫持、失效，dns提供商故障； ž 协议压缩：pb+gzip； — 节约流量； ž 协议设计：职责单一不适用； 服务应该是无状态的； ž api服务出现瓶颈的时候，直接scale out； ž graceful restart依赖健康检测； ž api质量监控，使用日志来追踪，通过本 地日志+flume+hdfs+hive； ž 实时监控可以考虑flume sink到kafka，再 依赖Spark计算； RPC ž 协议&远程调用的选型； — net/rpc，thrift，grpc等； ž xml，yaml，json，ini？ ž 阶段1：逐idc，逐机器配置修改； ž 阶段2：svn统一提交修改，每个idc一份； ž 阶段3：配置统一管理化（agent模型）； ž 一处修改，统一管理； ž 节点状态查看、回滚配置； ž 数据安全、强一致性； goconf /config/ | service/ | idc1/