All rights reserved. 构建统一的云原生应用 可观测性数据平台 DeepFlow在混合云中的实践总结 向阳@云杉网络 2022-04-09 1. 可观测性数据平台的挑战 2. 解决数据孤岛：AutoTagging 3. 降低资源开销：MultistageCodec 4. 统一数据平台的落地思路及案例 构建统一的云原生应用可观测性数据平台 看云网更清晰 Simplify complexity. 统一的可观测性数据平台 telegraf 看云网更清晰 Simplify the growing complexity. 挑战：数据孤岛、资源开销 数据 孤岛 资源消耗 telegraf 1. 可观测性数据平台的挑战 2. 解决数据孤岛：AutoTagging 3. 降低资源开销：MultistageCodec 4. 统一数据平台的落地思路及案例 构建统一的云原生应用可观测性数据平台 构建统一的云原生应用可观测性数据平台 看云网更清晰 Simplify the growing complexity. OpenTelemetry的方法 统一的上下文 以追踪为核心 看云网更清晰 Simplify the growing complexity. OpenTelemetry的方法 Tag, Exemplars (TraceID, SpanID) Tag, TraceID, SpanID TraceID

Apache APISIX借助ServiceMesh 实现统一技术栈的全流量管理 金卫（API7 解决方案架构师） • 支流科技 - 解决方案架构师 • Apache APISIX PMC • Apache APISIX Ingress Controller Founder • Apache skywalking committer • Github: https://github.com/gxthrj Ingress处理南北向入口流量  APISIX Service Mesh处理东西向流量  APISIX专用插件配置等通过Amesh 下发 APISIX 全流量代理的价值  节约成本  统一技术栈  统一管理  复用技术经验 未来  结合APISIX xRPC实现  原生异构多协议支持  覆盖Istio各类场景/配置  降低用户迁移成本 Apache APISIX Ingress

•原来使用资产视角管理监控对象的系统不再适用 •要么使用注册中心来自动发现，要么就是采集器和被监控对象通过sidecar模式捆绑一体 指标生命周期变短 •微服务的流行，要监控的服务数量大幅增长，是之前的指标数量十倍都不止 •广大研发工程师也更加重视可观测能力的建设，更愿意埋点 •各种采集器层出不穷，都是本着可采尽采的原则，一个中间件实例动辄采集几千个指标 指标数量大幅增长 •老一代监控系统更多的是关注机器、交换机 CPU、Mem、Disk、DiskIO、Net、Netstat、Processes、 System、Conntrack、Vmstat 等等。原理就是读取 OS 的数据（通过 /proc 和 syscall 等）做一些简 单计算。有很多采集器可以选择： Telegraf Grafana-agent Datadog-agent node-exporter Categraf Kubernetes Node 组 件的监控 Kubernetes 容器的监控数据可以直接通过 docker 引擎的接口读取到，也可以直接读取 cAdvisor 的接口，Kubelet 里 内置了cAdvisor，cAdvisor 不管是 docker 还是 containerd 都可以采集到，推荐 { 抓取方案一 } • 左侧这个配置大家在网上比较容易搜到，通过kubernetes_sd_configs做服务发现，查找所有node，通过 Kubernetes apiserver 的

rights reserved. 可观测性的成熟度模型 1.0 基础支柱 2.0 统一服务 3.0 ? simplify the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 2.0 服务：统一的可观测性平台 可观测性平台（Metrics、Tracing、Logging） 基础设施团队 All rights reserved. OpenTelemetry - 数据采集传输的标准化 统一的上下文 simplify the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. Tag：统一的数据存储 InfluxDB DeepFlow 5.3 Elasticsearch complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 可观测性的成熟度模型 1.0 基础支柱 2.0 统一服务 3.0 内生原力 simplify the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights

这些模块就像乐高搭积木一样，糅合社区最优秀的几十种开源技术，经过众多 辩证选型、攻坚克难、编码调试、海量测试，“十年磨一剑，一朝试锋芒，全新 搭建的新一代容器化平台能够满足企业上云的各类场景需求。 多云编排 支持多云和混合云的统一集中管理，提供跨云资源检索及跨云的应用部署、发布和运 维能力，实现多云应用高效管控，提供基于集群资源的应用弹性扩缩，实现全局负载 均衡，具备故障恢复能力，有效解决多云应用灾备问题，助力企业构建多云、混合云 涉及的模块：全局管理、容器管理、微服务治理、服务网格、可观测性、应用工作 台、云原生网络、云原生存储 可观测性 基于日志、链路、指标、eBPF 等技术手段，全面采集服务数据，深入获取请求链路信 息，动态观测、多维度掌控集群、节点、应用和服务的实时变化，通过统一控制面实 现所有集群及负载观测数据的查询，引入拓扑分析技术可视化掌握应用健康状态，实 现秒级故障定位。 涉及的模块：全局管理、容器管理、可观测性、云原生网络、云原生存储 ](community/kubean.md)、信创 中间件、云原生网络、云原生存储 云边协同 将云原生能力延伸至边缘，采用边缘集群、边缘节点模式，将数据中心算力下移，端 设备算力上移，统一管控和调度离散、异构的计算资源，解决在海量边、端设备上统 一完成大规模应用交付、运维、管控的诉求，实现云边的真正一体化。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储、云边协同 版权

架构演进 组件增多 架构复杂 维护困难 架构演进 传统模式 K8S模式 应用开发 启动方式 日志采集 加载配置 监控采集 资源隔离 故障转移 资源调度 权限控制 标准统一 运维简单 框架简单 编译 部署 应用开发 启动方式 日志采集 加载配置 监控采集 资源隔离 故障转移 资源调度 权限控制 编译 部署 2014年6月K8S开源 微服务的生命周期 第二部分 第二部分 微服务的生命周期 开发 测试 部署 启动 调用 治理 微服务的开发阶段 配置 对接 Debug • 配置驱动 • 配置补齐 • 配置工具 统一配置、调用用方式，降低开发心智负担 • Proto的管理 • 错误码管理 • 调试gRPC • 调试信息 • 错误定位 问题：每种开源组件的配置、调用方式、debug方式、记录日志方式都不一样 微服务的开发阶段 • 配置驱动 • 配置补齐 • 配置工具 • Proto的管理 • 错误码管理 • 调试gRPC • 调试信息 • 错误定位 配置版本，发布，回滚，可以更加方便 微服务的开发阶段 统一采用gRPC协议和protobuf编解码 CI check 阶段 • 主要做 pb 的 format、lint、breaking 检查。 CI build 阶段 • 会基于 pb 的注释自动产

一般建议在中小型集群中使用 • 应用日志格式统一，可统一采集 • 一个配置尽可能多的采集同类数据，减少配置数 ➢ Sidecar • 推荐在超大型的集群中使用 • 针对核心的应用采集要给予充分的资源 • 应用日志格式难以统一，需要分别编写规则 © Copyright 2020 Rancher Labs. All Rights Reserved. Confidential 应用监控指标采集分析 目前Kube 目前Kubernetes生态比较广泛使用的通用监控方案是Exporters + Prometheus + Grafana，通过各种Exporter采集不同 维度的监控指标，并通过Prometheus支持的数据格式暴露出来， Prometheus定期拉取数据并用Grafana展现，异常情况 使用AlertManager告警。 常用的一些exporter： • node_exporter • jmx_exporter • …… 注：相比于基于Exporter的这种通用解决方案，业界一些成熟的开发框架或平台也会提供更加原生的监控解决方案，比如针 对Spring社区Spring Boot开发框架Metrics采集的micrometer-registry-prometheus组件。此外，还有一些调用链解决方 案也能做到更加全面细粒度的监控，比如目前比较流行的Skywalking、Pinpoint等，类似的还有一些成熟的商业解决方案。

入 新的 数据 对象 供后 续使 用。如 Hive、 MapReduce、Spark 等。 Alibaba Cloud MaxCompute 解决方案 8  实时消息采集：用于实时数据采集，可扩展、高吞吐、可靠的消息服务。如 Kafka。  流处理：对实时数据进行低延迟流式计算的服务。如 Flink、Spark Streaming、Storm 等。  机器学习 Cloud MaxCompute 解决方案 10 机器学习 Spark Mlib/ML Tensorflow PAI 机器学习平台 MaxCompute Spark 实时消息采集 Kafka Datahub 日志服务(LogHub 组件) 消息队列 Kafka 流处理 Spark Streaming Flink Storm 实时计算(原流计算) MaxCompute Spark MaxCompute 提供了 Spark on MaxCompute 的解决 方案，使 MaxCompute 提供的兼容开源的 Spark 计算 服务，让它在统一的计算资源和数据集权限体系之上，提 供 Spark 计算框架，支持用户以熟悉的开发使用方式提 交运行 Spark 作业。 * 支持原生多版本 Spark 作业：Spark1.x/Spark2

研领域，系统建设模式逐步转变为自主研发、 合作研发为主，开发团队规模逐渐壮大，安信 目前自主研发和合作研发的比例已经超过50%， 研发团队也超过了500人，各个二级团队都有 自研的项目，亟待建立研发管理体系，统一研 发过程和工具 外部 内部 转型背景 转型背景-实施思路 3 个支柱：人（People）、流程（Process）和平台（Platform） 3个关键方面：文化（Culture)、工具（Tool)、培训赋能（Skill) 对流水线集成的工具统一管理配置，提供自助服务。 ⚫ 从应用视角整合工具链功能，提供统一的入口和平 台。 工具平台建设-可视化流水线配置 ⚫ 通过可视化的方式简化定义每个系统、每 个服务自己流水线的过程，提供更加灵活 的流水线支持； ⚫ 提供统一任务模板给大家选择，模板中对 应的功能在统一的pipeline脚本中实现， 保存到代码仓库中，能够实现问题的统一 修复和功能的统一升级； ⚫ ⚫ 数据库脚本 ⚫ 部署脚本 ⚫ Dockerfile, Helm Charts ⚫ ... 版本变更标准化 单一可信数据源 ⚫ 代码提交记录与需求的 双向关联 ⚫ 统一的两方库、三方库 ⚫ 统一的生产发布仓库 ⚫ 漏洞及lisence扫描 ⚫ Jira issue key 检查Jira中对应的任务是否存在 ⚫ Jira issue 状态 检查任务状态是否正确 ⚫ 提交人与经办人信息

如果业务系统要升级，如何平滑升级？万一升级失败是 否能够自动回滚？整个过程线上业务持续运行不中断。 传统稳态业务环境难以高效承载敏态应用 发现故障 （假死） 创建 新实例 配置 运行环境 部署当前 应用版本 添加 监控 配置 日志采集 测试确认 服务正常运行 实例 加入集群 恢复正常 场景 1 如果生产中一台Web应用服务器故障，恢复这台服务器需要 做哪些事情？ 场景 2 如果应用负载升高/降低，如何及时按需扩展/收缩所用 如果业务系统要升级，如何平滑升级？万一升级失败是 否能够自动回滚？整个过程线上业务持续运行不中断。 传统稳态业务环境难以高效承载敏态应用 发现故障 （假死） 创建 新实例 配置 运行环境 部署当前 应用版本 添加 监控 配置 日志采集 测试确认 服务正常运行 实例 加入集群 恢复正常 工作量 成本 新一代架构（微服务）应用的对承载平台提出新要求 传统实践中，主要采用虚机/物理机+SpringCloud等微 生态与竞争格局分析 云原生赋能平台建设维度划分 微服务应用架构治理平台、 DevOps平台、 数据建模与大数据分析平台 用好云原生 容器云平台、边缘计算平台 建好云原生 容器安全、统一多云纳管、融合告 警、APM、云监控、中间件纳管.... 管好云 数 采 数 算 数 用 云原生赋能平台 标准化能力-分布式操作系统核心-容器服务 向上提供抽象化自愈IT运营视角 高效稳定应用资源供给