rights reserved. 云原生应用可观测性实践 向阳 @ 云杉网络 2021-12-08 simplify the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 可观测性 - What & Why 云原生社区可观察性SIG-定义 https://i.cloudnative to/observability/prologue/definition 阿里可观测性数据引擎的技术实践 https://mp.weixin.qq.com/s/0aVgtVCmBmtAgZE_oQkcPw © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 1. 可观测性的成熟度模型 2. 构建内生的可观测性能力 3. 在混合云、边缘云中的实战 Ltd. All rights reserved. 可观测性的成熟度模型 1.0 基础支柱 2.0 ? 3.0 ? simplify the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 1.0 支柱：基础的可观测性要素 Metrics, tracing, and logging

rights reserved. 构建统一的云原生应用 可观测性数据平台 DeepFlow在混合云中的实践总结 向阳@云杉网络 2022-04-09 1. 可观测性数据平台的挑战 2. 解决数据孤岛：AutoTagging 3. 降低资源开销：MultistageCodec 4. 统一数据平台的落地思路及案例 构建统一的云原生应用可观测性数据平台 看云网更清晰 Simplify the growing 统一的可观测性数据平台 telegraf 看云网更清晰 Simplify the growing complexity. 挑战：数据孤岛、资源开销 数据 孤岛 资源消耗 telegraf 1. 可观测性数据平台的挑战 2. 解决数据孤岛：AutoTagging 3. 降低资源开销：MultistageCodec 4. 统一数据平台的落地思路及案例 构建统一的云原生应用可观测性数据平台 deployId Level ... 网络资源 VPC 子网 CIDR IP地址 NATGW ALB … 1. 可观测性数据平台的挑战 2. 解决数据孤岛：AutoTagging 3. 降低资源开销：MultistageCodec 4. 统一数据平台的落地思路及案例 构建统一的云原生应用可观测性数据平台 看云网更清晰 Simplify the growing complexity. MultistageCodec：采集

云原生社区Meetup 第三期·杭州站 使用 Chaos Mesh 来保障云原生系统的健壮性 演讲人：周强 GitHub 地址：https://github.com/zhouqiang-cl PingCAP 工程效率负责人，ChaosMesh 负责人 云原生社区Meetup 第三期·杭州站 The incident in the production environment

驱动研发、发布 或者实施与自己 APP的集成。 • API作为产品，可 以给订阅、可以 被交易。 标准化能力-微服务PAAS-从监控到可观测-研发人员的第五感-1 知道 知道的 不知道 不知道的 主动性 被动性 监控 可观察 健康检查 告警 指标 日志 追踪 问题和根因 预警 监控&稳定性 分析&追踪&排错&探索 • 从稳定性目标出发，首先需要有提示应用出问题的手段 • 当提示出现问题后，就需要有定位问题位置的手段，进 研发人员，并且提供日志、跟踪、问题根因分析 等工具进一步从微观帮助研发人员定位和解决问 题，这是这里在业务上的价值-稳定性赋能。 标准化能力-微服务PAAS-从监控到可观测-研发人员的第五感-2 可观察性是云原生特别关注的运维支撑能力，因为它的主动性，正符合云原生对碎片变化的稳定性保障的思想 数据的全面采集 数据的关联分析 统一监控视图与展现 Metric 是指在多个连 续的时间周期 内用于度量的 KPI数值 Tracing Tracing 通过TraceId来 标识记录并还 原发生一次分 布式调用的完 整过程和细节 Logging 通过日志记录 执行过程、代 码调试、错误 异常微观信息 数据之间存在很多关联，通过 关联性数据分析可获得故障的 快速界定与定位，辅助人的决 策就会更加精确 根据运维场景和关注点的不同，以不同图表或者曲 线图来表示整体分布式应用的各维度情况，使得开 发人员可以清晰的观测到整体分布式应用的详细运

云原生运行时安全................................................................................56 4.2.3 网络微隔离........................................................................................... 58 4.3 的高级产品经理 Matt Stine 发表新书《迁移到云原生 应用架构》，探讨了云原生应用架构的 5 个主要特征：符合 12 因素应用、面 向微服务架构、自服务敏捷架构、基于 API 的协作和抗脆弱性。同一年，Google 作为发起方成立 CNCF，指出云原生应该包括容器化封装、自动化管理、面向 微服务。到了 2018 年，CNCF 又更新了云原生的定义，把服务网格和声明式 API 给加了进 具有极强的自愈能力及随意处置 性；大规模可复制能力，可实现跨区域、跨平台甚至跨服务的规模化复制部署。 由此可见，云原生作为一种新兴的安全理念，是一种构建和运行应用程序的 技术体系和方法论，以 DevOps、持续交付、微服务和容器技术为代表，符合云 原生架构的应用程序应该：采用开源堆栈（k8s+Docker）进行容器化，基于微 服务架构提高灵活性和可维护性，借助敏捷方法、DevOps 支持持续迭代和运维

可信计算环境：OS安全、TPM加密、TEE可信环境 云原生安全：镜像安全、镜像仓库安全、容器加固隔离、通信零信任 (Istio零信任、Calico零信任、Cilium零信任、WorkLoad鉴权、WorkLoad 间授权等)、DevSecOps（安全左右移等等，比如代码或者镜像扫描）、 RASP应用安全、数据安全、态势感知与风险隔离 由于云原生托管的应用是碎片化的，环境变化也是碎片化的，而且其业务类型越来越多，比如已经延展到边 腾讯安全战略研究部联合腾讯安全联合实验室近日共同发布《产业互联网安全十大趋势(2021)》(下简称《趋势》)，基于2020年的产业实践和行业风向， 从政策法规、安全技术、安全理念、安全生态、安全思维等维度为产业互联网的安全建设提供前瞻性的参考和指引，助力夯实产业互联网的安全底座。 《趋势》认为，2021年将进一步完善个人信息保护体系，企业对个人信息利用规范化，数字安全合规管理将成为企业的必备能力。与此同时，企业还 应将安全作为“一把 重安全问题，没有必要堵塞主研发流程，可 以交于线上安全防御系统。提高了整体实施 效率！ 安全编排自动化和响应作为连接各个环 节的桥梁，安全管理人员或者部分由 AIOps组件可以从全局视角观察，动态 调整策略，解决新问题并及时隔离或者 解决！ DevSecOps 标准化能力-承载无忧-E2E云原生纵深安全保障-4-技术建议方案 技术 说明 优点 缺点 SAST(静态应用程序 安全测试) 白盒测试，通过污点跟踪对源代码

持久化（fsync）、⼀致性（ack: all）、多Topic • IO不隔离：消费者读Backlog的时候会影响其他⽣产者和消费者 streamnative.io Apache Pulsar 特性 • 云原⽣架构： • 存储计算分离 • 分层 + 分⽚ • ⾼性能 + 强⼀致性 • ⽀持统⼀的 Queue 和 Stream 的接⼝。 • 丰富的企业级特性 • 多租户隔离 — 百万Topics 单节点可以存储很多⽇志 • I/O隔离 Apache BookKeeper： 诞⽣场景 streamnative.io 企业级流存储层： 节点对等的架构 • openLedger(组内节点数⽬, 数据备份数⽬, 等待刷盘节点数⽬） • openLedger(5, 3, 2) streamnative.io 企业级流存储层： 读写⾼可⽤性（容错） streamnative streamnative.io 企业级流存储层： 稳定的 IO 质量 ⾼性能、强⼀致性、读写隔离、灵活SLA • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar 的云原⽣架构 • 企业级流存储： BookKeeper streamnative.io 基础决定上层 streamnative.io 企业级特性 streamnative.io 统⼀消费模型

 应用类型丰富  应用需求多变 企业从信息化到数字化的转型带来大量的应用需求 软件组件 运行环境 部署平台 …… …… 应用丰富及架构演进带来的开发和运维复杂性 本地IDC 虚拟化 超融合 公有云 …… 测试环境 生产环境 复杂的应用软件架构，在开发、测试、运维 团队之间建成了认知的“墙”，团队间配合效 资源预分配，短时间内难以扩展 • 缺乏隔离性，服务相互抢占资源 • 增加环境、网络（端口）和资源管理的复杂性，治理成本高 • 监控粒度难以满足微服务应用运维的需要，线上问题难以排查定位，往往需要研发介入 我们需要一种新型的、为云而生的业务承载平台，去应对上述问题。 微服务应 用 大型 单体 应用 VM/服务器 VM/服务 器 VM/服务 器 VM/服务 器 目 标  支持微服务级别的细粒度资源隔离  支持快速扩缩容 支持热升级，服务更新不影响业务可用性  支持服务的快速地部署、扩展、故障转移  支持更细致、自动化的运维，快速恢复  …… 过去 现在 未来 云原生的业务承载平台？ 什么是云原生->为云而生 • 落地的核心问题：业务微服务的划分和设计(DDD,咨询方案等）、部署困难、维持运行困难、云资源 管理与应用管理视角分离导致复杂性等 • 传统方案:仅仅考虑了一部分

• 研发超过 10 人在 1 个代码冲突多 • 系统超过 5 个测试&上线协同代价大 • 数字化升级需要快速迭代 性能 • 单机成为性能瓶颈 可用性 • 单机成为可用性瓶颈 挑战 • 技术复杂度上升 • 运维成本上升 • 可定位性变差 • 快速迭代难以控制风险 阿里微服务解法和优势 MSE微服务引擎 Nacos Ingress（Envoy） 云原⽣⽹关 Sentinel 专业的微服务团队保障 Dubbo/Spring-Cloud-Alibaba/Envoy 服务框架+服务⽹格 用户容器 用户容器 最佳实践 • 微服务最佳实践 • 服务治理最佳实践 • 日常环境隔离最佳实践 • 网关最佳实践 微服务最佳实践 MSE微服务引擎 Nacos/Zookeeper/Eureka 注册中⼼+配置中⼼ Dubbo/Spring-Cloud-Alibaba/Envoy 开发环境隔离 • 服务压测 • 自动化回归 • 流量录制 • 流量回放 • 无损上下线 • 服务预热 • 金丝雀发布 • A/B Test • 全链路灰度 • 服务鉴权 • 漏洞防护 • 配置鉴权 • 离群实例摘除 • 限流降级 • 同AZ优先路由 • 就近容灾路由 • 服务巡检 • 标签路由 • 服务超时和重试 基础治理能力 高阶治理能力 日常环境隔离最佳实践

度、或者提送广告内容等 自动化特征 智能家居 智能办公室 智能信号灯... 远端控制 云端分析系统 设备端 (现场)边缘计算BOX 业务场景复杂，对算力、通信要求很高，计算放置于 云端时效性差，另外无法现场就对业务进行处理，比 如计算路口交通事故预警，给予司机及时提示等，所 以将算力卸载在距离业务现场、设备最近的地方，就 是边缘计算的场景，它的价值空间远超AIoT，可以更 大范围为客户赋能，IoT和边缘计算一定走向融合。 算力，并在低谷时从公有云撤回算力， 经济性和业务支撑两不误 • 可以结合私有云和公有各自的优势，尤 其是数据安全方面，这是客户使用公有 云的最大顾虑 • 在云原生产生之前，混合云架构就存在 了，云原生的混合云，除了具备传统混 合云的属性和特性，也同时具备了支撑 现在应用程序更好在不同云形态部署、 运行的能力。 • 云之间同步服务元数据为相同的服务治 理提供基础，同步镜像，为同一服务拓 展算力提供基础，同步Data，为隔离底 层云分布，在业务上的一致性上提供基 层云分布，在业务上的一致性上提供基 础。 • SLB会根据算力资源需要进行切流。 • 混合云本质是一种资源运用形式，资源 使用地位不对等，以私有云为主体。 控制台 控制台 高级能力-多云（资源角度） 调研机构Gartner公司指出，80％的内部部署开发软件现在支持云计算或云原生，不断发展的云计算生态系统使企业能够更快、 更灵活、更实时地运营，从而带来竞争压力。接受云原生和多云方法作为一种新常态，意味着企业可以避免云计算供应商锁定，