Kubernetes 异常配置检测框架顾静, 阿里云 邓隽, 阿里云 Kubernetes 异常配置检测框架 我们来自阿里云容器服务 • 顾静,研发工程师 • 邓隽,技术专家 我们参与打造 • 容器服务(ACK/ASK) • 容器镜像服务(ACR) • 服务网格(ASM) • … 1 Kubernetes 典型异常 2 检测框架演进 3 生产实践 4 总结 Kubernetes 使用日常 • 应用部署 • FORWARD_IN_ZONES_SOURCE FORWARD_OUT_ZONES 容器网络不通 异常 VS 异常检测 ? 云原生操作系统 自检 安全模式 检测工具 … 操作系统 NPD 运行模式 • 集群节点(DaemonSet /Standalong) 问题检测 • 硬件(CPU、内存、磁盘) • 操作系统( NTP、内核死锁、文件系统异常) • Container Runtime(无响应) 需要特定版本来对接兼容的 K8s 版本 问题检测 • Kubernetes Conformance-testing(K8s 兼容性检查) • 节点上自定义数据的收集(依赖于自定义插件) 问题上报 • 需要采集和分析结果文件 Kube* CIS Kubernetes Benchmark 集群安全扫描 集群综合检查 执行 bpftrace 检测工具小结 工具 适用场景 局限性 kube-bench0 码力 | 31 页 | 9.57 MB | 1 年前3
王强-Apache RocketMQ事务消息Apache RocketMQ 事务消息 王强 (辽天) 阿⾥里里巴巴 中间件技术专家 • 事务消息的演进与Apache RocketMQ的实现 • Cloud Native时代下消息系统的挑战 • Apache RocketMQ 简介 • Apache RocketMQ 存储设计 Apache RocketMQ http://rocketmq.apache.org • ⾼高性能,分布式 5.0 Cloud-native, computing storage separating architecture� 典型应⽤用场景 ⾦金金融交易易 电⼦子商务 智能制造 分布式事务 异步解耦 IoT/IIoT 决策分析 实时计算 概念模型 Broker A Producer A Topic A Broker B Topic B ConsumerGroupA ClientRemotingProcessor RouteInfoManager DefaultRequestProcessor Store Service RemotingCommand • 事务消息的演进与Apache RocketMQ的实现 • Cloud Native时代下消息系统的挑战 • Apache RocketMQ 简介 • Apache RocketMQ 存储设计 存储⽂文件0 码力 | 34 页 | 6.17 MB | 1 年前3
机器学习课程-温州大学-09深度学习-目标检测2023年04月 深度学习-目标检测 黄海广 副教授 2 01 目标检测概述 02 目标检测算法 03 YOLO算法 04 Faster RCNN算法 本章目录 3 01 目标检测概述 1.目标检测概述 02 目标检测算法 03 YOLO算法 04 Faster RCNN算法 4 1.目标检测概述 分类(Classification) 类别的信息,用事先确定 好的类别(string)或实例ID 来描述图片。这一任务是 最简单、最基础的图像理 解任务,也是深度学习模 型最先取得突破和实现大 规模应用的任务。 检测(Detection) 分类任务关心整体,给出的 是整张图片的内容描述,而 检测则关注特定的物体目标 ,要求同时获得这一目标的 类别信息和位置信息。 分割(Segmentation) 分割包括语义分割(semantic segmentation)和实例分割( 分离开具有不同语义的图像部 分,而后者是检测任务的拓展 ,要求描述出目标的轮廓(相 比检测框更为精细)。 5 目标检测和识别 • 怎样检测和识别图 像中物体,如汽车、 牛等? 1.目标检测概述 6 目标识别的应用 1.目标检测概述 7 难点之一: 如何鲁棒识别? 1.目标检测概述 8 类内差异(intra-class variability) 1.目标检测概述 9 类间相似性(inter-class0 码力 | 43 页 | 4.12 MB | 1 年前3
《TensorFlow 2项目进阶实战》4-商品检测篇:使用RetinaNet瞄准你的货架商品商品检测篇:使用 RetinaNet 瞄准你的货架商品 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程 • 基础:目标检测问题定义与说明 • 基础:R-CNN系列二阶段模型综述 • 基础:YOLO系列一阶段模型概述 • 基础:RetinaNet 与 Facol Loss 带来了什么 • 应用:检测数据准备与标注 • 应用:划分检测训练集与测试集 • 应用:生成CSV 训练 RetinaNet • 应用:使用 RetinaNet 检测货架商品 • 扩展:目标检测常用数据集综述 • 扩展:目标检测更多应用场景介绍 目录 基础:目标检测问题定义与说明 目标检测问题 目标检测评估:Ground Truth 目标检测评估: Intersection over Union (IoU) 目标检测评估:Intersection over Union (IoU) Truth ??? = ???????????? ????? = Bounding Box Ground Truth 目标检测评估:准确率与召回率(以GT为中心) 目标检测评估:mean Average Precision(mAP) 基础:深度学习在目标检测的应用 目标检测近20年发展 Ref: Zou, Z., Shi, Z., Guo, Y. and Ye, J., 2019. Object0 码力 | 67 页 | 21.59 MB | 1 年前3
RocketMQ v3.2.4 开发指南..................................................................................... 8 4.13 分布式事务 .................................................................................................. .........................................................................................22 7.7 事务消息 ................................................................................................ (4). 消息堆积后,访问堆积在磁盘的消息时,吞吏量有多大? 4.13 分布式事务 已知的几个分布式事务规范,如 XA,JTA 等。其中 XA 规范被各大数据库厂商广泛支持,如 Oracle,Mysql 等。 其中 XA 的 TM 实现佼佼者如 Oracle Tuxedo,在金融、电信等领域被广泛应用。 分布式事务涉及到两阶段提交问题,在数据存储方面的方面必然需要 KV 存储的支持,因为第二阶段的提交回0 码力 | 52 页 | 1.61 MB | 1 年前3
OpenShift Container Platform 4.10 架构Linux 系统分开,但容器可以在必要时与主机无缝集成。容器以 Linux 为基础,因此可以利用快速创 新的开源开发模型带来的所有优势。 因为每个容器都使用专用的操作系统,所以您能够在同一主机上部署需要冲突软件依赖项的不同应用程 序。每个容器都带有各自的依赖软件,并且管理自己的接口,如网络和文件系统,因此应用程序无需争用 这些资产。 2.1.2.2. 部署和 部署和扩 扩展 展优势 优势 如果您在 配置偏移。 Machine Config Daemon(MCD)定期检查节点是否有配置偏移。如果 MCD 检测到配置偏移,MCO 会将 节点标记为 降 降级 级(degraded),直到管理员更正节点配置。降级的节点在线且可操作,但无法更新。 其他 其他资 资源 源 了解配置偏移检测。 5.2. OPENSHIFT CONTAINER PLATFORM 中的机器角色 OpenShift Container 其配置更新。 machine-config-daemon 守护进程集在集群中的每个节点上运行,并根据 MachineConfigController 的指示将机器更新为机器配置定义的配置。 当节点检测到更改时,它 会排空其 pod,应用更新并重启。这些更改以 Ignition 配置文件的形式出现,这些文件应用指定 的机器配置并控制 kubelet 配置。更新本身在容器中交付。此过程是成功管理 OpenShift0 码力 | 63 页 | 1.40 MB | 1 年前3
OpenShift Container Platform 4.7 架构Linux 系统分开,但容器可以在必要时与主机无缝集成。容器以 Linux 为基础,因此可以利用快速创 新的开源开发模型带来的所有优势。 因为每个容器都使用专用的操作系统,所以您能够在同一主机上部署需要冲突软件依赖项的不同应用程 序。每个容器都带有各自的依赖软件,并且管理自己的接口,如网络和文件系统,因此应用程序无需争用 这些资产。 2.1.2.2. 部署和 部署和扩展 展优势 如果您在应用程序的 其配置更新。 machine-config-daemon 守护进程集在集群中的每个节点上运行,并根据 MachineConfigController 的指示将机器更新为机器配置定义的配置。 当节点检测到更改时,它 会排空其 pod,应用更新并重启。这些更改以 Ignition 配置文件的形式出现,这些文件应用指定 的机器配置并控制 kubelet 配置。更新本身在容器中交付。此过程是成功管理 OpenShift 字段设置为 true 来暂停自动引导过程。暂停后,机器配置更改不会生效, 除非将 spec.paused 字段设置为 false,且节点已重启至新配置。 以下修改不会触发节点重新引导: 当 MCO 检测到以下任何更改时,它会在不排空或重启节点的情况下应用更新: 在机器配置的 spec.config.passwd.users.sshAuthorizedKeys 参数中更改 SSH 密钥。 在 openshift-config0 码力 | 55 页 | 1.16 MB | 1 年前3
OpenShift Container Platform 4.8 Service Mesh上执行,而这个系统可能需要几 十个不同服务的共同参与才可以做出相应的响应。这个请求的路径是一个分布式的事务。分布式追踪平台 可让您执行分布式追踪,在组成一个应用的多个微服务间追踪请求的路径。 分布式追踪是用来将不同工作单元的信息关联起来的技术,通常是在不同进程或主机中执行的,以便理解 分布式事务中的整个事件链。分布式追踪可让开发人员在大型服务架构中视觉化调用流程。它对理解序列 化、平行和延迟来源会很有价值。 因果关系。 1.3.4.1. 分布式追踪概述 分布式追踪概述 作为服务所有者,您可以使用分布式追踪来检测您的服务,以收集与服务架构相关的信息。您可以使用分 布式追踪来监控、网络性能分析,并对现代、云原生的基于微服务的应用中组件之间的交互进行故障排 除。 通过分布式追踪,您可以执行以下功能: 监控分布式事务 优化性能和延迟时间 执行根原因分析 Red Hat OpenShift distributed 是一个与厂商无关的方式来接收、处 理和导出遥测数据。OpenTelemetry Collector 支持开源可观察数据格式,如 Jaeger 和 Prometheus,发送到一个或多个开源或商业后端。Collector 是默认位置检测库来导出其遥测 数据。 1.3.4.3. Red Hat OpenShift distributed tracing 功能 功能 Red Hat OpenShift distributed tracing0 码力 | 344 页 | 3.04 MB | 1 年前3
OpenShift Container Platform 4.2 架构Linux 系统分开,但容器可以在必要时与主机无缝集成。容器以 Linux 为基础,因此可以利用快速创 新的开源开发模型带来的所有优势。 因为每个容器都使用专用的操作系统,所以您能够在同一主机上部署需要冲突软件依赖项的不同应用程 序。每个容器都带有各自的依赖软件,并且管理自己的接口,如网络和文件系统,因此应用程序无需争用 这些资产。 1.1.2.2. 部署和 部署和扩展 展优势 如果您在应用程序的 Operator。OLM 管理两种 Operator,即 Red Hat Operator 和经认证的 Operator。 一些 Red Hat Operator 用来提供集群功能,如调度程序和问题检测器。其他 Operator 则可供您自助管理 并在应用程序中使用,例如 etcd。OpenShift Container Platform 还提供由社区构建和维护并经过认证的 Operator 。这些经过认证的 在节点的一个子集上运行 DaemonSet。 需要生命周期管理。 当您要移交应用程序供其他人使用时,请考虑创建 Operator。Operator 可 帮助您构建智能功能,自动处理备份和升级之类的事务。与 Operator Lifecycle Manager (OLM) 相结合,集群管理器可以将 Operator 公开给选定命名空间,以便集群中的用户可以运行它们。 具有标识或编号要求。应用程序可能具有标识或编号要求。0 码力 | 32 页 | 783.33 KB | 1 年前3
Envoy原理介绍及线上问题踩坑华为云容器网格数据面技术专家 拥有10年以上中间件及高性能系统开发经验, 作为架构师及核心开发人员发布过传输网管系 统、Tuxedo交易中间件、ts-server多媒体转码服 务、GTS高性能事务云服务、SC高性能注册中心、 ASM数据面等多个产品。先后就职于亿阳信通、 北电、甲骨文、polycom、阿里巴巴等公司;目 前在华为云云原生团队负责网格数据面的架构 设计及开发工作。 Copyright Envoy过滤器架构-常用过滤器 插件名称 工作模式 功能介绍 envoy.listener.tls_inspector 监听过滤器 检测下游连接是否为TLS加密,并且获取ALPN(应用层 协商协议),用于网络层过滤器匹配判断。 envoy.listener.http_inspector 监听过滤器 检测应用层协议是否HTTP,并判断具体类型为HTTP/1.x 或HTTP/2,用于网络过滤器匹配判断 envoy.listener Envoy收到响应后,将尝试检测下此连接是否关闭,如果已经关闭就从可用连接列表中移除 4. 存在时间窗口导致envoy检测时此FIN还没有收到,且请求处理为单线程,则认为连接依然可用 5. 将新请求绑定到连接上(可能已经关闭)进行数据发送 6. 系统对于已经关闭的连接返回RST,envoy产生503 UC上游断开报错 总结:Envoy在处理响应后尝试检测连接状态,存在时间窗口没有检测到断开,并重用此连接发送后续请求而0 码力 | 30 页 | 2.67 MB | 1 年前3
共 149 条
- 1
- 2
- 3
- 4
- 5
- 6
- 15













