及内存带宽控制：支持对低优先级虚拟机的 LLC 和内存带宽进行限制，当前仅支持静态分配。 • CPU 干扰控制：支持 CPU 时间片 us 级抢占及 SMT 干扰隔离，同时具有防优先级反转能力。 • memcg 异步内存回收：支持限制混部时离线应用使用的总内存，并在在线内存使用量增加时动态压缩离线业务内存 使用。 • QuotaBurst 柔性限流：支持关键在线业务被 CPU 限流时允许短时间突破 limit QoS配置 指标监控 资源使用 eBPF PMU RDT 干扰检测 性能干扰建模 QoS违规检测 干扰源定位 干扰控制 离线资源压缩 千扰源驱逐 异常告警 OS SLI interface I/O QoS CPU QoS MEM QoS Cache QoS Net QoS 19 openEuler 22.03 LTS SP2 技术白皮书 云化基座 NestOS 容器操作系统 NestOS Gazelle 特性增强 Gazelle 是一款高性能用户态协议栈。它基于 DPDK 在用户态直接读写网卡报文，共享大页内存传递报文，使用轻量 级 LwIP 协议栈。能够大幅提高应用的网络 I/O 吞吐能力。专注于数据库网络性能加速，兼顾高性能与通用性。本次版本 新增 UDP 协议及相关接口支持，丰富用户态协议栈。 适用于提升网络协议栈成为性能瓶颈点的应用提升业务处理性能。 应用场景

还可以减少进程之间的通信开销，提高了系统的整体性能。 • Memcg 异步回收：Memcg 是一种内核机制，用于限制和管理进程组的内存使用量。当一个进程组使用的内存超过了 Memcg 的限制时，Memcg 会触发内存回收，以确保系统的稳定性和可靠性。Memcg 异步回收是一种优化机制，它 可以在系统负载较低的时候，异步地回收 Memcg 中的内存，以避免在系统负载高峰期间出现内存回收的延迟和性能 Multiply extension) SVE2 Cortex-A77 Cortex-A76AE Cortex-A65 Cortex-A65AE Cortex-A34 armv8.6-a, +bf16, +i8mm armv8.8-r Cortex-A78 Cortex-A78AE Cortex-A78C Cortex-X1 armv8.7-a, +Is64 atomic load and store 的情况下，自动实现补丁收编， 减少在网补丁数量，减轻集群运 维压力。 功能描述 异常检测 智能故障诊断：提供 MySQL、openGauss 业务场景中出现的网络 I/O 时延、丢包、中断等故障以及磁盘 I/O 高负载 故障检测能力。 配置溯源 • 配置基线：支持集群配置收集和基线能力，实现配置可管可控。 • 配置异常检查：对整体集群实现配置检查，实时与基线进行对比，快速识别未经授权的配置变更，实现故障快速定位。

server 转发到 Kafka broker。 异步 pollers 新的 poller 进程能够同时执行多个检查，它分出了以下 poller 类型：- agent poller - http agent poller - snmp poller ( 支持 walk[OID] 和 get[OID] 监控项) 这些 poller 进程是异步的 - 它们可以在不等响应的情况下启动新的检查，并可以配置最多 以配置最多 1000 个并发检查。 异步 poller 的设计是为了提高效率，与同步轮询器相比，同步 poller 在同一时间只能执行一个检查，并且大部分时间都花费在等待响应 上。 server/proxy 配置文件中新增了 pollers 参数，你可以通过修改StartAgentPollers 参数值来启动指定数量的 agent pollers。可以通过分别 修改StartHTTPAgentPollers agent pollers 和 SNMP pollers。 异步 pollers (agent, HTTP agent and SNMP) 的最大并发数是由MaxConcurrentChecksPerPoller 定义的。 要注意升级后，所有的 agent、HTTP agent and SNMP walk[OID] poller 检查将都会切换为异步 pollers。 作为开发的一部分，持久连接 cURL

open flags 在curvefs上的测试 open flags 实现方式 整体flags支持方案 具体flag的实现方案 O_TRUNC I/O模式类 O_DIRECT O_SYNC, O_DSYNC O_NONBLOCK(O_NDELAY ), FASYNC, O_TMPFILE 结论 参考文献 open接口原型 # man page open, openat, creat - open const char *pathname, const struct open_how *how, size_t size); open系统调用会打开pathname指定的文件（如果不存在，如果携带O_CREAT flag则会创建），返回一个文件描述符fd（该fd是进程打开文件描述符表的index），在后续系统调用（read(2)、write(2)、lseek(2)、fcntl(2) etc.）中 持 #define O_RDONLY 00000000 #define O_WRONLY 00000001 #define O_RDWR 00000002 #define O_CREAT 00000100 #define O_EXCL 00000200 #define O_NOCTTY 00000400 #define O_TRUNC 00001000 #define O_APPEND 00002000

inuxiSCSI target服务器 • LINUX LILO • 一般用于输出内核本地块设备 • TCMU • 作为LILO支持用户态的接口 • 如何评价LILO • 输出内核块设备I/O效率高 • 不利于把复杂的存储协议代码搬进内核，例如(curve, brpc, c++, protobuf 等) • TCMU多了一层转接，配置过程复杂，业界踩的坑不够多。 • TCMU的用户态 纯C代码，外加一些脚本 • 完整的源代码和维护工具、手册 • 编写IO驱动比较容易，容易扩展支持新的存储系统 • 代码独立，容易编译、调试、修改，适应性强让TGT支持curve • 编写curve驱动，底层异步提交I/O，pipeline • 利用NEBD PART 1接口，需要与nebdserver运行在同一台机器 • 支持共享打开，两台TGT服务器可以同时打开一个curve卷 • 让Initiator可以使用multipath 原因，event loop依然是瓶颈对TGT的性能优化 • IO是使用多个epoll 线程，充分发挥多CPU能力 • 当前策略是每个target一个epoll线程，负责Initiator发过来的I/O • 好处是各target上的CPU使用由OS负责分配，CPU分配粒度更细 • 也可以多个卷的lun都分配到一个target上，这样多个卷共享一个target， 限制使用一个CPU。 • 管理平面不变。主线程里的事件循环及问题：

当前，s3客户端在写底层存储的时候是直接写入远端对象存储，由于写远端时延相对会较高，所以为了提升性能，引入了写本地缓存盘方案。也即要写底层存储时，先把数据写到本地缓存硬盘，然后再把本地缓存 硬盘中的数据异步上传到远端对象存储。 方案设计© XXX Page 3 of 9 S3模块接收到写入后先写入写内存缓存页，如果满足持久化的条件后，那么则准备持久化。 如果未配置本地硬盘作为写缓存，那么直 入到远端对象存储；否则，则写入到本地硬盘写缓存目录中。文件写入本地硬盘写缓存目录后，从本地硬盘读目录© XXX Page 4 of 9 做一个硬链接链接到该文件。 本次io在本地硬盘写入好之后，异步上传模块会适时把本地硬盘写缓存目录中的文件上传到远端对象存储集群，上传成功后，删除本地写缓存目录中的对应文件。 同时，缓存清理模块会定时检查本地硬盘缓存目录容量情况，如果容量已经达到阈值了，则进行文件的清理工作。 存在的。 缓存盘空间管理 当缓存文件内容达到阈值时，停止向本地缓存盘写入。 同时，缓存清理模块会定时检查本地硬盘缓存目录容量情况，如果容量已经达到阈值了，则进行文件的清理工作。 本地缓存盘的异步上传 工作队列: 该队列中保存缓存盘中的待上传文件名 工作线程: 遍历工作队列(队列swap)，从缓存盘目录读取到文件内容并上传到对象存储。文件上传到对象存储后，直接删除。 工作队列做好互斥管理

C u r v e 核 心 组 件 之 C l i e n t 吴汉卿CURVE CURVE是高性能、高可用、高可靠的分布式存储系统 • 高性能、低延迟存储底座 • 可扩展存储场景：块存储、对象存储、云原生数据库、EC等 • 当前实现了高性能块存储，对接 OpenStack 和 k8s • 网易内部线上无故障稳定运行400+天 • 已开源 • github主页： https://opencurve 4. 将请求发往leader节点CLIENT IO线程模型 用户线程 1. 用户调用接口，发起IO请求 2. AioWrite将请求封装成io task并放入任务队列 3. 放入任务队列后，异步请求发起成功，返回用户 IO拆分线程 4. 从任务队列取出任务后进行拆分 5. 拆分过程依赖元数据，可能会通过MDSClient向 MDS获取 6. 拆分成的子请求放入队列CLIENT IO线程模型 发送写请求给Chunkserver BRPC线程 10.Chunkserver处理完成后返回RPC Response 11.用户请求的所有子请求完成后，调用 IOTracker::Done 12.调用异步请求回调，返回用户CLIENT IO请求重试 IO分发线程将拆分后的子请求通过RPC请求发往指定的Chunkserver上，RPC有可能会失败，一般情况下 处理逻辑是sleep一个较短时间后重试，但是存在两种特殊的场景：

Apache服务器内置工具 htop [非内部命令]一个互动的进程查看器，可以动态观察系统进程状况 htpasswd apache服务器创建密码认证文件 hwclock 显示与设定硬件时钟 I iconv 转换文件的编码方式 id 打印真实以及有效的用户和所在组的信息 ifcfg 置Linux中的网络接口参数 ifconfig 配置和显示Linux系统网卡的网络参数 ifdown Linux下info格式的帮助指令 init init进程是所有Linux进程的父进程 inotifywait 异步文件系统监控机制 insmod 将给定的模块加载到内核中 install 安装或升级软件或备份数据 iostat 监视系统输入输出设备和CPU的使用情况 iotop 用来监视磁盘I/O使用状况的工具 - 7 - 本文档使用 书栈网 · BookStack.CN 构建 ip 网络配置工具 拒绝用户登录系统 nproc 打印可用的处理器单元数量 nslookup 查询域名DNS信息的工具 ntpdate 使用网络计时协议（NTP）设置日期和时间 ntsysv 集中管理系统的各种服务 O objdump 显示二进制文件信息 od 输出文件的八进制、十六进制等格式编码的字节 openssl 强大的安全套接字层密码库 P parted 磁盘分区和分区大小调整工具 partprobe

control ：系统过程控制中心，所以核心编的越小越好； • Memory management ：控制整个系统的内存管理； • File system management ：档案系统的管理，例如 I/O 等等的工作啦！还有不同档案 格式的支持啦等等，如果你的核心不认识某个档案系统，那么您将无法使用该档案格 式的档案啰！例如上面提到的 Windows 98 不认识 NTFS 档案格式的硬盘； • 的个人计算机架构，一直到了 1991 年在 BBS 里面 Linus 先生贴了个小布告之后，才有了重大的转变： Hello everybody out there using minix- I'm doing a (free) operation system (just a hobby, won't be big and professional like gnu) for 386(486) 为超频之后，系统频率高出正常值太多，所以当然容易造成不稳定呢！ • 另一个需要注意的是，『CPU 是有分等级的』，而目前很多的程序都有对『CPU 做最佳 化』的行动，所以就会有所谓的 i386, i586, i686 为附档名的档案产生啦！基本上，在 P MMX 以及 K6-III 都称为 586 的 CPU ，而 Intel 的赛扬以上等级与 AMD 的 K7 以上等 级，就被称为 686

克隆快照和克隆的特点 • 快照的定义 快照是云盘数据在某个时刻完整的只读拷贝，是一种便捷高效的数据容灾手段， 常用于数据备份、制作自定义镜像、应用容灾等。 • 快照的特点 • 转储到s3对象存储 • 异步转储快照，底层使用copy-on-write技术，读写不影响转储 • 增量转储，第一次全量转储s3之后，后续只需转储增量部分 • 高可用，快照任务中断自动拉起继续转储快照和克隆的特点 • 克隆的定义 高可用，克隆任务中断自动拉起继续克隆快照克隆服务器架构 • 基于brpc提供restful API的对外http接口 HttpService: • Serivce层面区分上层请求为同步接口调用，还是异步接口调用， 同步接口调用直接调用Core层接口实现功能，异步接口创建Task， 并交由TaskManager调度。 SnapshotService & CloneService: • 任务管理层负责调度SnapshotTask和CloneTask，并向上提供如 读请求到来时，根据bitmap中的信息， • 对于已写过的区域，从本地chunk file读 • 对于未写过的区域，从远端源chunk file读 • 之后，将两者合并返回。 • 同时把源chunk读到的数据异步写入到本地 chunk，并标记bitmap，这个过程称之为 PasteChunk 读时复制原理:CHUNKSERVER端克隆实现-读时复制实现 • 判断是非clone chunk 或者读取的区域已经被拷贝过