openEuler 21.09 技术白皮书metadata synchronization and thus improve file read and write performance. • Tiered memory expansion etMem: With the user-mode swap function, the discarded cold memory can be changed to the user-mode storage offers limited potential in either aspect is a huge challenge for future growth. One solution is etMem for tiered memory expansion. DRAM and low-speed memory media, such as storage class memory (SCM) and stable running of core services. etMem is ideal for applications that use a large amount of memory but do not access the memory frequently. Tests show that etMem delivers 40% higher performance for0 码力 | 36 页 | 3.40 MB | 1 年前3
openEuler 21.03 技术白皮书10: In-depth optimizations for scheduling, I/O, and memory management • Tiered memory expansion etMem: unified management of various memory and storage media, and smooth expansion of system capacity and peripheral drivers Linux Kernel 5.10 Computing architecture Process mgmt Driver framework etMem Async I/O communication framework Virtualization enhancement Scheduling mgmt 6 7 openEuler which incorporates new kernel features without users being made awareness. Tiered Memory Expansion etMem Today's memory manufacturing processes have nearly reached the peak of how advanced they are. The0 码力 | 21 页 | 948.66 KB | 1 年前3
openEuler OS Technical Whitepaper
Innovation Projects
(June, 2023)Innovations 038 Efficient Concurrency and Ultimate Performance 039 A-Tune 039 BiSheng JDK 041 etMem 044 EulerFS 046 Gazelle 047 GCC for openEuler 049 HSAK 053 iSulad 054 Kmesh 057 LLVM / DSoftBus Server DPUDirect HPCRunner Efficient concurrency and ultimate performance A-Tune etMem Gazelle Multi-kernel architecture Diversified computing power Cloud-native/Edge KubeOS Rubik and Ultimate Performance 044 openEuler OS Technical White Paper Innovation Projects etMem Storage SIG etMem uses DRAM, low-speed memory (such as storage class memory), or hard drives to form tiered0 码力 | 116 页 | 3.16 MB | 1 年前3
openEuler 21.03 技术白皮书框架 内存分层 扩展 IO异步 通讯框架 虚拟化 增强 调度 管理 引领内核创新: • Linux Kernel 5.10 :调度、IO、内存管理深度优化。 • 内存分层扩展 etMem:支持多种内存、存储介质统一管理,系统容量平滑扩展。 • 内核热升级:内核漏洞快速修复,业务不感知。 构筑云化基座: • iSula:iSulad 支持本地卷管理,isula-build 性能、安全与 调测等)。如果引入该特性,需要重启业务与重启主机,这样将导致业务客户端感知到中断,对用户不友好,利用内核 热升级,可以让客户无感知的情况下对引入新的内核特性。 内存分层扩展 etMem 当前内存制造工艺已经达到瓶颈,Arm 生态发展让每个 CPU 核的成本越来越低。数据库、虚拟机、大数据、人工智能、 深度学习场景同时需要算力和内存的支持。内存容量成为了制约业务和算力的问题。 进程级控制:etMem 支持通过配置文件来进行内存扩展的进程,相比于操作系统原生的基于 LRU 淘汰的 kswap 机制,更加灵活和精准。 2. 内存扫描:新增内核功能,由用户态 etMem 进程触发,对指定进程进行内存访问扫描,并返回扫描结果。 3. 冷热分级:由用户选择冷热分级策略配置文件,对获取到的内存访问结果进行分级,区分出热内存和冷内存。 4. 淘汰策略:根据 etMem 配置文0 码力 | 18 页 | 1.30 MB | 1 年前3
openEuler 21.09 技术白皮书内存回收算法保障在线业务安全可靠运行。 • 新文件系统 EulerFS:面向非易失性内存的新文件系统,采用软更新、目录双视图等技术减少文件元数据同步时间, 提升文件读写性能。 • 内存分级扩展 etMem:新增用户态 swap 功能,策略配置淘汰的冷内存交换到用户态存储,用户无感知,性能 优于内核态 swap。 夯实云化基座 容器操作系统 KubeOS:云原生场景,实现 OS 容器化部署、运维,提供与业务容器一致的基于 程上,在这些场景中的效果好收益大,实测等成本条件下 MySQL 性能提升 40%。针对用户态存储框架和用户需求,新增用户态的内存交换机制。 功能描述 继承已有功能: 1. 进程级控制:etMem 支持通过配置文件来进行内存扩展的进程,相比于操作系统原生的基于 LRU 淘汰的 kswap 机制,更加灵活和精准。 2. 冷热分级:用户态触发对指定进程进行内存访问扫描,根据分级策略配置文件,对内存访问结果进行分级,区分 果进行分级,区分 出热内存和冷内存。 3. 淘汰策略:根据配置文件和系统环境配置,对冷内存进行淘汰,淘汰流程使用内核原生能力,安全可靠,用户无感知。 新增功能: 1. 进程级控制:etMem 支持通过配置文件来进行内存扩展的进程,相比于操作系统原生的基于 LRU 淘汰的 kswap 机制,更加灵活和精准。 应用场景 应用场景:节点内业务进程内存分级扩展 适用于对内存使用0 码力 | 35 页 | 3.72 MB | 1 年前3
openEuler 22.03-LTS 技术白皮书内存回收算法,保障在线业务安全可靠运行。 • 新文件系统 EulerFS:面向非易失性内存的新文件系统,采用软更新、目录双视图等技术减少文件元数据同步时间, 提升文件读写性能。 • 内存分级扩展 etMem:新增用户态 swap 功能,策略配置淘汰的冷内存交换到用户态存储,用户无感知,性能优于 内核态 swap。 • 内存 RAS 增强:内存可靠性分级技术,可以指定内核、关键进程等对内存故障敏感的数据优先使用高可靠内存,降 上,在这些场景中的效果好、收益大,实测等成本条件下 MySQL 性 能提升 40%。针对用户态存储框架和用户需求,新增用户态的内存交换机制。 功能描述 继承已有功能: 1. 进程级控制:etmem 支持通过配置文件来进行内存扩展的进程,相比于操作系统原生的基于 LRU 淘汰的 kswap 机 制,更加灵活和精准。 2. 冷热分级:用户态触发对指定进程进行内存访问扫描,根据分级策略配置文件,对内存访问结果进行分级,区分出 问结果进行分级,区分出 热内存和冷内存。 3. 淘汰策略:根据配置文件和系统环境配置,对冷内存进行淘汰,淘汰流程使用内核原生能力,安全可靠,用户无感知。 新增功能: 用户态交换:通过 etmem 的策略配置,对于淘汰的冷内存,通过用户态 swap 功能交换到用户态存储中,达到用户无 感知,性能优于内核态 swap。 应用场景 应用场景:节点内业务进程内存分级扩展 适用于对内存0 码力 | 17 页 | 6.52 MB | 1 年前3
openEuler : 面向数字基础设施的开源操作系统
100%支持。 openHarmony生态互通 通过Soft Bus分布式软总线,实现与 OpenHarmony能力共享,实现生态互通。 openEuler 技术架构 服务器场景 etMem 内存分级扩展 Gala 基于AI的故障处理框架 … 云原生/边缘场景 KubeOS 云原生OS Eggo 一键部署平台 Rubik 在离线混布 Kmesh 高性能服务网格 …0 码力 | 12 页 | 2.87 MB | 1 年前3
完全兼容欧拉开源操作系统的 HTAP 数据平台 Greenplum内存回收算法保障在线业务安全可靠运行。 • 新文件系统 EulerFS:面向非易失性内存的新文件系统,采用软更新、目录双视图等技术减少文件元数据同步 时间,提升文件读写性能。 • 内存分级扩展 etMem:新增用户态 swap 功能,策略配置淘汰的冷内存交换到用户态存储,用户无感知,性能 优于内核态 swap。 2. 夯实云化基座 容器操作系统 KubeOS:云原生场景,实现 OS0 码力 | 17 页 | 2.04 MB | 1 年前3
openEuler 22.09 技术白皮书内存回收算法保障在线业务安全可靠运行。 • 新文件系统 EulerFS:面向非易失性内存的新文件系统,采用软更新、目录双视图等技术减少文件元数据同步时间,提 升文件读写性能。 • 内存分级扩展 etMem:新增用户态 swap 功能,策略配置淘汰的冷内存交换到用户态存储,用户无感知,性能优于内 核态 swap。 • 内存 RAS 增强:内存可靠性分级技术,可以指定内核、关键进程等对内存故障敏感的数据优先使用高可靠内存,降低宕0 码力 | 13 页 | 1.39 MB | 1 年前3
共 9 条
- 1













