Flashcat 让监控分析变简单,Flashcat产品技术交流北京快猫星云科技有限公司 Flashcat 产品技术交流 让监控分析变简单 INTERNAL OR RESTRICTED, ALL RIGHTS RESERVED © 北京快猫星云科技有限公司 由知名开源项⽬“夜莺”的核⼼开发团队组成: 夜莺是⼀款开源云原⽣监控⼯具,是中国计算机学会接受捐赠并托管的 第⼀个开源项⽬,在GitHub上有超过8500颗星,上百位社区贡献者, 上万家企业⽤户,是国内领先的开源可观测性解决⽅案。 北京快猫星云科技有限公司 发现 真.故障 收敛 故障范围 引导下钻定位 引导下钻定位 北极星 灭⽕图 ⽇志分析 链路分析 事件分析 指标分析 容量分析 基础设施分析 。。。 引导定位 关键特征 关键事件 量化业务层的健康状态 量化IT系统层的健康状态 预置故障定位的最佳实 践,引导分析定位问题 串联打通,交互验证 数据融合,最佳路径 ⾯向稳定性保障场景 ⾯向业务视⻆的故障发现定位体系 先的公有云提供商,采⽤多云架构,在可⽤性、弹性、成本、供应 商依赖、最佳实践等⽅⾯,拥有领先的优势,积累了丰富的经验。 相应的,多云架构也给技术团队带来了⼀定的复杂度和技术挑战, 最显著的就是如何⾼效的构建跨云的可观测性体系,提升故障发 现、问题排查、性能分析等⽅⾯的能⼒。 挑战: p 跨多云的监控数据权限管理难、安全隐患⼤ p 监控⼯具多且分散,维护和使⽤成本⾼ p 跨多云的故障发现和定位体系缺失,稳定性保0 码力 | 43 页 | 6.54 MB | 1 年前3
Curve文件系统元数据管理4、curve文件系统的元数据内存组织 4.1 inode定义: 4.2 dentry的定义: 4.3 内存组织 5 元数据分片 5.1 分片方式一:inode和dentry都按照parentid分片 5.1.1 场景分析 查找:查找/A/C。 创建:/A/C不在,创建/A/C 删除文件:删除/A/C 删除目录:删除/A rename:rename /A/C到/B/E symbolic link: hardlink:生成一个hardlink offset) etcd 差 块设备,最小10GB segment + chunk raft 块设备的元数据管理 cephfs 3、各内存结构体 时间复杂度 空间复杂度 特点 可用实现 Btree 一个节点上保存多条数据,减少树的层次(4~5层),方便从盘上读取数据,减少去盘上读取次数。适合在盘上和内存组织目录树。 google,https://github ,(LGPL) ee/master/src hash table O(1)~O(n) O(n) + table 需要占用额外空间,性能和hash表的大小有关,最理想可以达到O(1)复杂度,最差O(n)复杂度。 c++ stl unordered_map moose,使用c实现 4、curve文件系统的元数据内存组织 curve文件系统元数据主要有3个类型,inode,0 码力 | 24 页 | 204.67 KB | 6 月前3
FIT2CLOUD CloudExplorer 产品白皮书 v1.7FIT2CLOUD 的产品与解决方案涵盖软件测试、云原生运行时、多云管理、安全合规、 数据分析可视化、内容管理,其旗舰产品包括:MeterSphere 开源持续测试平台、 KubeOperator 开源容器平台、CloudExplorer 多云管理平台、JumpServer 开源堡垒机、 DataEase 开源数据可视化分析平台、Halo 开源博客/CMS 系统。FIT2CLOUD 旗下的开 源项目在 减少资源浪费降低成本、IT 投入可视化.......................................................9 1.3.5 简化异构基础架构及工具带来的服务管理运维复杂度............................... 10 1.4 能够带来哪些改变................................................... ..12 1.5.3 实现运维工具深度整合、联动自动化........................................................ 12 1.5.4 实现运营分析、IT 投入透明化及时回收优化.............................................12 1.5.5 建立数据中心 IT 体系演进框架支持迭代扩展建设.....0 码力 | 60 页 | 0 Bytes | 1 年前3
2.2.1通过Golang+eBPF实现无侵入应用可观测com/p/507388164 微服务可观测的挑战 第三部分 微服务可观测的挑战 应用:微服务架构、多语言、多协议 挑战1:微服务、多语言、多协议环境下,端到端观测 复杂度上升,埋点成本居高不下 Kubernetes 容器 网络、操作系统、硬件 基础设施层复杂度日益增加 如何关联? 挑战3:数据散落,工具多, 缺少上下文,排查效率低下 业务应用 应用框架 容器虚拟化 系统调用 内核 应用性能监控(APM) 异常发现,通过节点和关系颜色表达,能够快速地发现特点的节点和关系异常,进一步提升问题发 现和定位的效率,通常在应用运行时整体链路梳理和特定问题节点上下游分析等场景使用。 关联分析 上游 自身 下游 节点 上游1 上游2 上游3 下游1 下游2 下游3 实例 实例 实例 … 关联分析,通过关联关系的切换,可以快速查看上游请求和下游依赖,以及自身服务实例的 运行情况,进一步提升问题定位能力,通常在已经定位到某个异常节点后使用。 K8S控制面:apiserver/ETCD/Scheduler 基础设施:节点、网络、存储 云服务界别:Kafka/MySQL/Redis/ 告警 拓扑图排查 根因定位 修复 告警收敛,幸福感UP 指标 日志 Trace分析 黄金指标 网络指标 服务依赖 事后复盘 拓扑图高可用、依赖分 析 面向失败、高可用设计 优化告警 主动发现 智能降噪、去重 系统性解决 系统性解决 关闭 智能告警 全栈数据源,70+个告警模板开箱即用:0 码力 | 29 页 | 3.83 MB | 1 年前3
openEuler 23.09 技术白皮书BandWidth Memory)严重不足,现有的手动 swap 方案性能损耗大且 通用性差。 • 搜推、大数据场景存在大量无效数据搬移,缺少高效内存池化方案。 Linux 现有的 HMM 框架,编程复杂度高且依赖人工调优,性能和可移植性差,引发 OS 社区反弹,最终导致 HMM 方 案搁浅。异构加速器领域亟需高效的统一内存管理机制。 异构通用内存管理框架 GMEM (Generalized Memory openEuler 23.09 技术白皮书 异构统一内存编程 在面向异构内存编程时,使用 GMEM 可分配 CPU 和加速器之间的统一虚拟内存,CPU 内存与加速器内存可共享一个 指针,显著降低了异构编程复杂度。当前基于 NPU 试点,驱动仅需百行修改即可接入 GMEM,替换原有约 4000 行内存管 理框架代码。 加速器内存自动超分 使用 GMEM 接口分配内存时,将不受加速器的物理内存容量所限制,应用可以透明地超分内存(当前上限为 应用场景 智能运维 平台 A-Ops 系统智能运维 硬件 外围包 内核 外设 Memory CPU Gala-x ragdoll diana apollo 日志分析 架构感知 异常检测 精准度量 智能算法 根因分析 在线调优 应用拓扑 系统数据湖 用户态热补丁 系统智能代理 系统自动配置 系统服务热替换(systemd、dbus、qemu等) 内核热替换 模块热替换 内核热补丁0 码力 | 52 页 | 5.25 MB | 1 年前3
openEuler 21.03 技术白皮书架构 Cache QoS 以及内存带宽控制技术。 17. 支持基于 SEDI 和 PMU 的 NMI 机制:使能 hard lockup 检测。使能 perf nmi,能更精确的进行性 能分析。 18. 支持虚拟机热插拔:ARM64 支持虚拟机 CPU 热 插拔,提高资源配置的灵活性。 19. ARM64 kdump 增强:支持对 4G 以上地址的内 存预留,支持更大内存的机器。 关系以及依赖层级关系,并支持下载软件 包依赖关系文件。 功能描述 • 包信息导入:pkgship 根据配置不同的软件库服务器,可导入对应版本的 OS 内所有软件包的信息并对其依赖进行 整合分析。 • 包信息查询:pkgship 支持查询导入的 RPM 源码包、二进制包信息,包含 version、license、description 信息, 支持查询软件包中的文件。 • 包依赖数据查询:pkgship 访问,外部攻击者除非攻破安全区软件,否则无法访问到安全区里的内容。 secGear 是基于硬件机密计算技术为开发者提供的一个应用开发框架,开发者基于 secGear 框架可以简化编写安全应 用的复杂度,提升开发效率。 secGear 支持 x86、Arm 等多种芯片架构,不同的体系架构下硬件机密计算技术的实现和编程接口是不一样的,通过 secGear 开发框架可以让开发者用在编写代码时获得一致的编程体验。0 码力 | 18 页 | 1.30 MB | 1 年前3
openEuler 21.09 技术白皮书采用哈希表来管理目录项,提高线性查找效率,减少伪共享。 2. 统一的分配器:数据结构使用统一的分配器,这样可以打破不同数据结构之间的界限,使得内存管理更加地简单 与灵活。 3. 采用软更新技术,简化了实现复杂度:软更新 (Soft Update) 是一种轻量级的保证文件系统一致性的技术。 4. 基于指针的目录双视图计数机制,减少元数据同步开销,有效提升文件系统读写性能。 5. 依赖跟踪:目录项的新 及解析机制,以及实现对不同南向外设的管理、控制、 业务流的接入,可兼容 EdgeX Foundry 开源生态; 3. 边缘数据服务:通过边缘数据服务实现消息、数据、媒体流的按需持久化,并具备数据分析和数据导出的能力 4. 边云智能协同架构(Sedna):基于开源 sedna 框架,提供基础的边云协同推理、联邦学习、增量学习等能力, 并实现了基础的模型管理、数据集管理等,使能开发者快速开发边云 4. ARM 架构下 SVE 矢量化优化,在支持 SVE 指令的机器上启用此优化后能够提升程序运行的性能。 5. 支持 SLP 矢量化优化,进行 reduction chains group 的分析以及矢量化,提升程序运行的性能。 6. 支持内存布局优化,通过重新排布结构体成员的位置,使得频繁访问的结构体成员放置于连续的内存空间上,提升 Cache 的命中率,提升程序运行的性能。0 码力 | 35 页 | 3.72 MB | 1 年前3
Debian 新维护者手册eference/pkgs.html#nmu-qa-upload) 如果你有能力“领养”那个软件包,那就先下载 (使用 apt-get source packagename 或其他类似的工具) 并分析 它的源代码。这篇文档不会详细说明如何领养软件包,不过幸运的是,领养软件包时,打包的起始工作已经有人完成, 接手的工作应比从头开始轻松得多。尽管如此也请您不要轻敌,请继续阅读,下面给出的建议会对你很有帮助。 生成多个二进制包,arch = any + all (包含 ELF 二进制可执行程序 + 文档) – 既不是 tar.gz 也不是 tar.bz2 格式的上游源代码包 – 包含不可分发的内容物的源码包 • 高复杂度软件包 – 被其他软件包使用的解释器模块包 – 被其他软件包使用的 ELF 库文件包 – 生成多个二进制包,其中包含括 ELF 库文件 – 有多个上游的源码包 – 内核模块包 – 内核补丁包 guess|Makefile)$” 5.25 patches/* 旧的 1.0 源代码包格式使用单一的大 diff.gz 文件为源码保存 debian 中的维护文件和补丁。这样的软件包比较难 于在事后检查和分析。这不是很好。 新的 3.0 (quilt) 源码格式将补丁存储在 debian/patches/* 中,用 quilt 命令。这些补丁和其他 debian 目录 下的打包数据都会被打包成 debian0 码力 | 63 页 | 493.28 KB | 1 年前3
Linux就该这么学 第2版的程序源代码经过二次编译之后生成的一种衍生 Linux 系统,其命令操作和服务配置方法与 RHEL 完全相同,只是去掉了 RHEL 的一些收费功能,而且还不提供任何形式的技术支持, 出现问题后只能由运维人员自己解决。 经过这般分析基本上可以判断出,选择 CentOS 系统的理由只剩下一个—免费!当人 们大举开源、免费、正义的旗帜来宣扬 CentOS 系统的时候,殊不知 CentOS 系统其实早在 2014 年年初就已经被 使用命令行管理文件; ➢ 创建、查看和编辑文本文件; ➢ 管理本地用户和群组; ➢ 监控和管理 Linux 进程; ➢ 控制服务和守护进程; ➢ 利用文件系统权限控制文件访问; ➢ 分析和存储日志文件; ➢ 配置和确保 OpenSSH 服务的安全; ➢ 安装和更新软件包; ➢ 访问 Linux 文件系统; ➢ 管理 Linux 网络; ➢ 使用 Kickstart 安装红帽企业版 有能满足工作需求的最小权 限。本章最后还将讲解如何使用 su 命令与 sudo 服务让普通用户具备超级管理员的权 限,不仅可以满足日常的工作需求,还可以确保系统的安全性。 ➢ 6 :本章详细分析了 Linux 系统中最常见的 Ext3、Ext4 与 XFS 文件系统的不同之处,并带领各位读者着重练习硬盘设备分区、格式化以及挂载等常用 的硬盘管理操作,以便熟练掌握文件系统的使用方法。在打下坚实的理论基础并完成一0 码力 | 552 页 | 22.25 MB | 1 年前3
鸟哥的 Linux 私房菜:基础学习篇 第四版重点回顾 17.7 本章习题 17.8 参考资料与延伸阅读 第十八章、认识与分析登录文件 18.1 什么是登录文件 18.2 rsyslog.service :记录登录文件的服务 18.3 登录文件的轮替(logrotate) 18.4 systemd-journald.service 简介 18.5 分析登录文件 18.6 重点回顾 18.7 本章习题 鸟哥的 Linux 私房菜:基础学习篇 7 23.8 23.9 24 24.1 24.2 24.3 24.4 18.8 参考资料与延伸阅读 第十九章、开机流程、模块管理与 Loader 19.1 Linux 的开机流程分析 19.2 核心与核心模块 19.3 Boot Loader: Grub2 19.4 开机过程的问题解决 19.5 重点回顾 19.6 本章习题 19.7 参考资料与延伸阅读 第二十章、基础系统设置与备份策略 的启动/开机启动与观察状态 17.2.2 通过 systemctl 观察系统上所有的服务 17.2.3 通过 systemctl 管理不同的操作环境 (target unit) 17.2.4 通过 systemctl 分析各服务之间的相依性 17.2.5 与 systemd 的 daemon 运行过程相关的目录简介:/etc/services 17.2.6 关闭网络服务 17.3 systemctl 针对 service0 码力 | 1158 页 | 13.73 MB | 1 年前3
共 84 条
- 1
- 2
- 3
- 4
- 5
- 6
- 9













