Curve文件系统元数据持久化方案设计Q&A 单靠 redis 的 AOF 机制能否保证数据不丢失? redis 的高可用、高可扩方案? redis + muliraft 存在的问题? redis 改造 vs 自己实现? redis 中哈希表实现的优点? 参考 前言 根据之前讨论的结果,元数据节点的架构如下图所示,这里涉及到两部分需要持久化/编码的内容: Raft Log:记录 operator log Raft Snapshot:将内存中的数据结构以特定格式 中有许多数据结构可供使用,如 (哈希、列表、set、sort_set),但对于目前的需求来说,我们内存数据结构使用的是 C++ STL 中的哈希表(unsorted_map),之后有可能根据需求换成 B+ 树或跳表,但是 redis 中的这些数据结构我们是不需要的 另外,如果 C++ 中的哈希表在后期使用中发现性能不达标的话(特别是在 rehash 扩桶的时候),我们可以把 redis 中的哈希表借鉴过来用(redis 中的哈希表借鉴过来用(redis 中的哈希实现很独立,单独的文件 t_hash.c,其性能表现也非常好) redis 哈希表实现主要优点参考以下 总的来说,我们只是参考 redis 持久化实现,而 redis 中的大头(各类数据结构、模块化、主从复制、集群等这些都是我们目前不需要的),因此去改造 redis 感觉不是很划算 redis 中哈希表实现的优点? 主要是当哈希表需要扩桶的时候,rehash 过程中 redis0 码力 | 12 页 | 384.47 KB | 6 月前3
Linux命令大全搜索工具 v1.8BookStack.CN 构建 将文件压缩成bz2格式 bzip2命令 用于创建和管理(包括解压缩)“.bz2”格式的压缩包。 bzip2 采用 Burrows-Wheeler 块排序文本压缩算法和 Huffman 编码方式压缩文件。 压缩率一 般比基于 LZ77/LZ78 的压缩软件好得多,其性能接近 PPM 族统计类压缩软件。 命令行参数有意设计为非常接近 GNU gzip 的形式,但也不完全相同。 --keep 17. # 在压缩或解压缩时保留输入文件(不删除这些文件)。 18. 19. -s --small 20. # 在压缩、解压缩及检查时减少内存用量。采用一种修正的算法进行压缩和测试,每个数据块仅需要 2.5 个字节。这意味着任何文件都可以在 2300k 21. # 的内存中进行解压缩, 尽管速度只有通常情况下的一半。 22. 23. --repetitive-best 41. # 这些选项在 0.9.5 及其以上版本中是多余的。 在较早的版本中,这两个选项对排序算法的行为提 供了一些粗糙的控制,有些情况下很有用。 0.9.5 42. # 及其以上版本采用了改进的算法而与这些选项无关。 文件:指定要压缩的文件。 压缩指定文件filename: 1. bzip2 filename 2. 或 3. bzip20 码力 | 1347 页 | 8.79 MB | 1 年前3
大学霸 Kali Linux 安全渗透教程具是一款开源的绿色加密卷加密 软件,不需要生成任何文件即可在硬盘上建立虚拟磁盘。用户可以按照盘符进行访 问,所以虚拟磁盘上的文件都被自动加密,访问时需要使用密码解密。TrueCrypt 提供多种加密算法,包括AES、Serpent、Twofish、AES-Twofish和AES-Twofish- Serpent等。本节将介绍TrueCrypt工具的使用。 2.5.1 创建加密目录 使用True Location (7)在该界面可以看到前面创建的卷的名称和位置。然后单击Next按钮,将显示 如图2.12所示的界面。 图2.12 Encryption Options (8)在该界面选择加密算法,这里选择默认的加密算法AES,然后单击Next按 钮,将显示如图2.13所示的界面。 大学霸 Kali Linux 安全渗透教程 80 2.5 目录加密 图2.13 Volume Size (9)在该 getuid Server username: NT AUTHORITY\SYSTEM 从输出信息中可以看到当前lyw用户,拥有了系统级别的权限。此时,可以进行任 何的操作。如捕获目标系统中,用户的密码哈希值。执行命令如下所示: 大学霸 Kali Linux 安全渗透教程 284 6.5 免杀Payload生成工具Veil meterpreter > run post/windows/gather/hashdump0 码力 | 444 页 | 25.79 MB | 1 年前3
新一代云原生分布式存储要素 — 数据分布 无中心节点:哈希算法 INPUT (Offset, Len) HASH HASH mod 72 (DiskNums) (0, 4MB) 163342856 2 58 (4MB, 8MB) 759463473 9 3 (8MB, 16MB) 342165799 5 51 • 映射信息无需记录,直接通过计算获得 • 伪随机算法在服务器数量特别大的时候接近均衡 OSD:Object Storage Device, 管理一个磁盘的进程架构简介 — 数据放置 使用多级哈希的方式 使用CRUSH算法根据pgid获得指定的副本个数的id osd.1, osd.2, osd.3 对ObjectID进行哈希并取模(复制组数量)得到pgid head_D35c9011 根据 offset, len, name.. 生成ObjectID0 码力 | 29 页 | 2.46 MB | 6 月前3
openEuler 21.09 技术白皮书2021年 9 月 30 日,全新openEuler 21.09创新版如期而至,这是欧拉全新发布后的第一个社区版本,实现了全场景支持。 增强服务器和云计算的特性,发布面向云原生的业务混部 CPU 调度算法、容器化操作系统 KubeOS 等关键技术;同时发布 边缘和嵌入式版本。 openEuler 作为一个操作系统发行版平台,每两年推出一个 LTS 版本。该版本为企业级用户提供一个安全稳定可靠的 争力探索,打造全场景协同的面向数字基础 设施的开源操作系统。 引领内核创新 云原生调度增强:针对云场景在线和离线业务混合部署场景,创新 CPU 调度算法保障在线业务对 CPU 的实时抢占及抖动 抑制,创新业务优先级 OOM 内存回收算法保障在线业务安全可靠运行。 • 新文件系统 EulerFS:面向非易失性内存的新文件系统,采用软更新、目录双视图等技术减少文件元数据同步时间, 提升文件读写性能。 内核构建 , 在进程调度、内存管理、网络等方面带来 12 处如下创新: 01 02 03 04 05 06 07 08 09 10 11 12 进程调度优化:优化进程负载均衡算法, 减少负载均衡过程中的开销,提升性能; 内核动态抢占:新增启动选 preempt=none/voluntary/full,允许 内核动态切换抢占模式。 mremap 性能优化:通过移动 PMD/PUD0 码力 | 35 页 | 3.72 MB | 1 年前3
告警OnCall事件中心建设方法白皮书
event,就可以收敛为一个 alert。 从实现上来说,告警策略(也称告警规则)+ 指标标签集的哈希值,可以作为 alert 的唯一标识。比如 刚才的例子,告警策略的 ID 假设为 32,标签集是:[“name=cpu_usage_idle”, “host=host1”], 这两个时间戳产生的告警事件,哈希值都是一样的。 计算方法是: hash(32 + ["__name__=cpu_usage_idle" 中的告 警和故障建立完美的对应关系,不过从降噪收敛角度来看,够用了。 3、根据时间 + 文本相似度做收敛 文本相似度需要引入算法,但是算法总得有个规律,我们很想把某个故障相关的告警聚拢到一起,但是显 然,很难有个行之有效的规律,没有规律的算法效果自然好不到哪儿去。 既然没办法把告警自动收敛成故障,那就手工来做。一个故障关联的关键告警,还是相对容易区分的,只 要把关键告 告警聚合 事件到告警的聚合比较容易,通常是用类似下面的算法来计算不同事件的关联关系: hash(32 + ["__name__=cpu_usage_idle", "host=host1"]) 这个值姑且称为事件 Hash,相同 Hash 的事件就被聚合为一条告警。更复杂的是告警到故障的合并,当 前我们支持基于规则的聚合,后面会基于算法聚合: 比如基于告警规则标题做聚合,某一时刻,基础网络故障,有0 码力 | 23 页 | 1.75 MB | 1 年前3
Debian GNU/Linux 安装手册
January 8, 2024的内在支持。这样, 设置在 separate document中覆盖。) 注意 请注意,加密分区的性能将低于未加密的状态,这是由于数据在每次读写时都要 进行加密和解密。性能将与您的 CPU 速度、选择的加密算法和密钥长度紧密相关。 为了使用加密,您必须在主分区菜单选择空闲的空间创建一个新分区。另一种是使用现有的分区 (例 如,普通的分区、一个 LVM 逻辑卷或者 RAID 卷)。在 Partition setting 能确定,就使用默认项,因为它们是经过审慎的安全考虑的选择。 Encryption: aes 该选项让您选择加密算法 (cipher),它用来加密分区上的数据。debian-installer 当前支持以下 block ciphers:aes、blowfish、serpent 和 twofish。讨论这些算法的质量超出了本 文的范畴,但是,您应该知道,在 2000 年,AES 被 American National Technology 选择作为标准的加密算法,用于保护 21 世纪的敏感信息。 Key size: 256 这里您可以指定密钥长度。使用较长的密钥,加密的能力自然得到提升。另一方面,增加 长度自然会降低性能。cipher 决定可用的密钥长度。 IV algorithm: xts-plain64 Initialization Vector 或 IV 算法是确保加密过程中用同一个密钥对于同一 clear0 码力 | 93 页 | 562.93 KB | 1 年前3
Debian GNU/Linux 安装手册
January 8, 2024的内在支持。这样, 设置在 separate document中覆盖。) 注意 请注意,加密分区的性能将低于未加密的状态,这是由于数据在每次读写时都要 进行加密和解密。性能将与您的 CPU 速度、选择的加密算法和密钥长度紧密相关。 为了使用加密,您必须在主分区菜单选择空闲的空间创建一个新分区。另一种是使用现有的分区 (例 如,普通的分区、一个 LVM 逻辑卷或者 RAID 卷)。在 Partition setting 能确定,就使用默认项,因为它们是经过审慎的安全考虑的选择。 Encryption: aes 该选项让您选择加密算法 (cipher),它用来加密分区上的数据。debian-installer 当前支持以下 block ciphers:aes、blowfish、serpent 和 twofish。讨论这些算法的质量超出了本 文的范畴,但是,您应该知道,在 2000 年,AES 被 American National Technology 选择作为标准的加密算法,用于保护 21 世纪的敏感信息。 Key size: 256 这里您可以指定密钥长度。使用较长的密钥,加密的能力自然得到提升。另一方面,增加 长度自然会降低性能。cipher 决定可用的密钥长度。 IV algorithm: xts-plain64 Initialization Vector 或 IV 算法是确保加密过程中用同一个密钥对于同一 clear0 码力 | 96 页 | 576.81 KB | 1 年前3
Debian GNU/Linux 安装手册
June 11, 2023的内在支持。这样, 设置在 separate document中覆盖。) 注意 请注意,加密分区的性能将低于未加密的状态,这是由于数据在每次读写时都要 进行加密和解密。性能将与您的 CPU 速度、选择的加密算法和密钥长度紧密相关。 为了使用加密,您必须在主分区菜单选择空闲的空间创建一个新分区。另一种是使用现有的分区 (例 如,普通的分区、一个 LVM 逻辑卷或者 RAID 卷)。在 Partition setting 能确定,就使用默认项,因为它们是经过审慎的安全考虑的选择。 Encryption: aes 该选项让您选择加密算法 (cipher),它用来加密分区上的数据。debian-installer 当前支持以下 block ciphers:aes、blowfish、serpent 和 twofish。讨论这些算法的质量超出了本 文的范畴,但是,您应该知道,在 2000 年,AES 被 American National Technology 选择作为标准的加密算法,用于保护 21 世纪的敏感信息。 Key size: 256 这里您可以指定密钥长度。使用较长的密钥,加密的能力自然得到提升。另一方面,增加 长度自然会降低性能。cipher 决定可用的密钥长度。 IV algorithm: xts-plain64 Initialization Vector 或 IV 算法是确保加密过程中用同一个密钥对于同一 clear0 码力 | 93 页 | 562.56 KB | 1 年前3
Debian GNU/Linux 安装手册
January 8, 2024的内在支持。这样, 设置在 separate document中覆盖。) 注意 请注意,加密分区的性能将低于未加密的状态,这是由于数据在每次读写时都要 进行加密和解密。性能将与您的 CPU 速度、选择的加密算法和密钥长度紧密相关。 为了使用加密,您必须在主分区菜单选择空闲的空间创建一个新分区。另一种是使用现有的分区 (例 如,普通的分区、一个 LVM 逻辑卷或者 RAID 卷)。在 Partition setting 能确定,就使用默认项,因为它们是经过审慎的安全考虑的选择。 Encryption: aes 该选项让您选择加密算法 (cipher),它用来加密分区上的数据。debian-installer 当前支持以下 block ciphers:aes、blowfish、serpent 和 twofish。讨论这些算法的质量超出了本 文的范畴,但是,您应该知道,在 2000 年,AES 被 American National Technology 选择作为标准的加密算法,用于保护 21 世纪的敏感信息。 Key size: 256 这里您可以指定密钥长度。使用较长的密钥,加密的能力自然得到提升。另一方面,增加 长度自然会降低性能。cipher 决定可用的密钥长度。 IV algorithm: xts-plain64 Initialization Vector 或 IV 算法是确保加密过程中用同一个密钥对于同一 clear0 码力 | 96 页 | 582.89 KB | 1 年前3
共 54 条
- 1
- 2
- 3
- 4
- 5
- 6













