rights reserved. 云原生应用可观测性实践 向阳 @ 云杉网络 2021-12-08 simplify the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 可观测性 - What & Why 云原生社区可观察性SIG-定义 https://i.cloudnative logue/definition 阿里可观测性数据引擎的技术实践 https://mp.weixin.qq.com/s/0aVgtVCmBmtAgZE_oQkcPw © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 1. 可观测性的成熟度模型 2. 构建内生的可观测性能力 3. 在混合云、边缘云中的实战 4 Ltd. All rights reserved. 可观测性的成熟度模型 1.0 基础支柱 2.0 ? 3.0 ? simplify the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 1.0 支柱：基础的可观测性要素 Metrics, tracing, and logging

rights reserved. 构建统一的云原生应用 可观测性数据平台 DeepFlow在混合云中的实践总结 向阳@云杉网络 2022-04-09 1. 可观测性数据平台的挑战 2. 解决数据孤岛：AutoTagging 3. 降低资源开销：MultistageCodec 4. 统一数据平台的落地思路及案例 构建统一的云原生应用可观测性数据平台 看云网更清晰 Simplify the growing 统一的可观测性数据平台 telegraf 看云网更清晰 Simplify the growing complexity. 挑战：数据孤岛、资源开销 数据 孤岛 资源消耗 telegraf 1. 可观测性数据平台的挑战 2. 解决数据孤岛：AutoTagging 3. 降低资源开销：MultistageCodec 4. 统一数据平台的落地思路及案例 构建统一的云原生应用可观测性数据平台 complexity. AutoTagging：关联、切分、下钻 √ 看云网更清晰 Simplify the growing complexity. 但 … AutoTagging带来的问题 • 理想很丰满：观测数据无缝跳转 • 现实很骨感：上百个标签，后端资源消耗飙升 资源池 区域 可用区 云平台 租户 云资源 宿主机 云服务器 容器资源 容器集群 容器节点 命名空间 容器服务 Ingress Deployment

OpenShift Container Platform 4.10 可伸缩性和性能 扩展 OpenShift Container Platform 集群并调整产品环境的性能 Last Updated: 2023-10-18 OpenShift Container Platform 4.10 可伸缩性和性能 扩展 OpenShift Container Platform 集群并调整产品环境的性能 CONTAINER PLATFORM 环境和配置 8.3. 如何根据经过测试的集群限制规划您的环境 8.4. 如何根据应用程序要求规划您的环境 第 第 9 章 章 优 优化存 化存储 储 9.1. 可用的持久性存储选项 9.2. 推荐的可配置存储技术 9.3. 数据存储管理 9.4. 为 MICROSOFT AZURE 优化存储性能 第 第 10 章 章 优 优化路由 化路由 10.1. INGRESS 134 136 139 139 139 139 141 153 154 154 155 157 OpenShift Container Platform 4.10 可伸 可伸缩 缩性和性能 性和性能 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Apache SkyWalking 在 Service Mesh 中的可观察性应用 高洪涛 Tetrate 创始工程师Who 高洪涛 美国S ervice Mesh 服务商 Tetrate 创始工程师。原华为软件开发云技术专家，对云原 生产品有丰富的设计，研发与实施经验。对分布式数据库，容器调度，微服务， ServicMesh 等技术有深入的了解。 目前为 Apache ShardingSphere 端点 URL，RPC，函数 Endpoint 观察维度 9/28遇到的挑战 /02 Service Mesh 场景下 SkyWalking 面临的挑战 ( Istio ) 10/28可观测性 11/28Istio 1.5 架构图 12/28挑战1：技术路线多变 基于 Log 成熟、但性能低 Mixer 基于 Metric 高效、但技术门槛高 Mixerless 13/28挑战2：无

云原生社区Meetup 第三期·杭州站 使用 Chaos Mesh 来保障云原生系统的健壮性 演讲人：周强 GitHub 地址：https://github.com/zhouqiang-cl PingCAP 工程效率负责人，ChaosMesh 负责人 云原生社区Meetup 第三期·杭州站 The incident in the production environment

Click to edit Master title style 1 可觀測性 (Observability) 在 Kubernetes Day2 Operation的考量與實踐 E . W. K u o @ i T h o m e K u b e r n e t e s S u m m i t 2 0 2 2 Click to edit Master title style complexity Observability Observability Demo 3 Day2 運營 定義與說明 Kubernetes Day2 運營的挑戰 馴服運營 複雜性 可觀測性 實踐與思維 可觀測性 關聯演示 Click to edit Master title style 4 Day2 Operation 定 義 與 說 明 4 Click to edit Master 有關 • 推動 Kubernetes 的動力通常是： • 提高開發人員的敏捷性 • 提高開發人員的開發速度 • 通過讓開發人員訪問自助服務配置 來消除開發過程中的摩擦 6 Click to edit Master title style 7 什麼是 Kubernetes Day 2 • 速度和敏捷性的顯著提高，從每月部 署轉變為每日部署。 • 但是應用程序的生命週期不會在部署

可以自助的从API 使用角度定义、 驱动研发、发布 或者实施与自己 APP的集成。 • API作为产品，可 以给订阅、可以 被交易。 标准化能力-微服务PAAS-从监控到可观测-研发人员的第五感-1 知道 知道的 不知道 不知道的 主动性 被动性 监控 可观察 健康检查 告警 指标 日志 追踪 问题和根因 预警 监控&稳定性 分析&追踪&排错&探索 • 从稳定性目标出发，首先需要有提示应用出问题的手段 研发人员，并且提供日志、跟踪、问题根因分析 等工具进一步从微观帮助研发人员定位和解决问 题，这是这里在业务上的价值-稳定性赋能。 标准化能力-微服务PAAS-从监控到可观测-研发人员的第五感-2 可观察性是云原生特别关注的运维支撑能力，因为它的主动性，正符合云原生对碎片变化的稳定性保障的思想 数据的全面采集 数据的关联分析 统一监控视图与展现 Metric 是指在多个连 续的时间周期 内用于度量的 KPI数值 Logging 通过日志记录 执行过程、代 码调试、错误 异常微观信息 数据之间存在很多关联，通过 关联性数据分析可获得故障的 快速界定与定位，辅助人的决 策就会更加精确 根据运维场景和关注点的不同，以不同图表或者曲 线图来表示整体分布式应用的各维度情况，使得开 发人员可以清晰的观测到整体分布式应用的详细运 行情况，为高精度运维提供可视化支撑 人工发展阶段：符合人分析问题的习惯 宏观->微观

简介 3 九大能力 4 多云编排 4 中间件服务 4 微服务治理 5 可观测性 5 应用商店 6 应用交付 6 信创异构 7 云边协同 7 云原生底座 8 模块化搭建 8 容器管理 9 全局管理 10 可观测性 10 应用工作台 11 多云编排 11 微服务引擎 12 服务网格 13 、信创异构 中间件服务 专为有状态应用设计的云原生本地存储能力，满足中间件高 I/O 的存储需求，提升运 维管理效率。精选各类数据库、分布式消息和日志检索等中间件，提供多租户、部 署、观测、备份、运维操作等全生命周期的中 间件管理能力，实现数据服务的自助化 申请、弹性扩展、高并发处理和稳定高可用。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储、精选中间件 版权 © 2023 部署、接入、观测、运维的全生命周期管理，提供高性能云原生微服务网关，保证微 服务应用的连续可用性；引入自主开源的 eBPF 网格加速技术，全面提高流量转发效 率。 涉及的模块：全局管理、容器管理、微服务治理、服务网格、可观测性、应用工作 台、云原生网络、云原生存储 可观测性 基于日志、链路、指标、eBPF 等技术手段，全面采集服务数据，深入获取请求链路信 息，动态观测、多维度掌控集

1 重新审视过拟合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156 4.6.2 扰动的稳健性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157 4.6.3 实践中的暂退法 . . 掩蔽softmax操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394 10.3.2 加性注意力 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 395 10.3.3 缩放点积注意力 428 11.1.2 深度学习中的优化挑战 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 429 11.2 凸性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433

机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 8 2.数据清洗 什么是数据清洗？ 数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包 括检查数据一致性，处理无效值和缺失值等。与问卷审核不同，录入后 的数据清理一般是由计算机而不是人工完成。 9 2.数据清洗 不合法值 空 值 异常检测 重复处理 拼写错误 命名习惯 数理统计技术 数据挖掘技术 探索性数据分析(EDA) 探索性数据分析（EDA）是一个开放式流程，我们制作绘图并计算 统计数据，以便探索我们的数据。 •目的是找到异常，模式，趋势或关系。 这些可能是有趣的（例如， 找到两个变量之间的相关性），或者它们可用于建模决策，例如使 用哪些特征。 •简而言之，EDA的目标是确定我们的数据可以告诉我们什么！ 探索性数据分析(EDA) 11 探索性数据分析(EDA) 单变量图显示此变量的分布 Q3-Q1，即上四分位数与下四分位数之间的 差，也就是盒子的长度。 最小观测值为min = Q1 - 1.5*IQR，如果存在离群点 小于最小观测值，则下限为最小观测值，离群点单 独以点汇出。 最大观测值为max = Q3 +1.5*IQR，如果存在离群 点大于最大观测值，则上限为最大观测值，离群点 单独以点汇出。如果没有比最大观测值大的数，则 上限为最大值。 14 探索性数据分析(EDA)