Cache Disk Request Request Request Request Request Request 万级请求/秒/单机 1.4万亿 低延迟分布式存储系统 – 并发锁的开销 lReentrantLock/synchronized ØFair ØUnfair lLockSupport.unpark/park 1.4万亿 低延迟分布式存储系统 – PageCache真的那么快吗？ slots slots��� slots���� 阻塞锁- pagelock __set_page_dirty_buffers flush_dcache_mmap_lock __sync_single_inode try_to_unmap_one remove_from_page_cache add_to_page_cache_locked 自旋锁- treelock 1.4万亿 低延迟分布式存储系统 低延迟分布式存储系统 – PageCache的毛刺解决方案小结 操作系统Page Cache Radix Tree 自旋锁，产生几秒的大毛刺 如果遇到坏盘，可能Block若干分钟，对系统产生致命影响。 操作系统Page Cache Radix Tree 每个Page的阻塞锁，产生几百毫秒小毛刺 写入数据平均响应时间不超过1ms 写入数据最大响应时间不超过20ms（Java GC暂停线程引起）

Cache Disk Request Request Request Request Request Request 万级请求/秒/单机 1.4万亿 低延迟分布式存储系统 – 并发锁的开销 lReentrantLock/synchronized ØFair ØUnfair lLockSupport.unpark/park 1.4万亿 低延迟分布式存储系统 – PageCache真的那么快吗？ slots slots��� slots���� 阻塞锁- pagelock __set_page_dirty_buffers flush_dcache_mmap_lock __sync_single_inode try_to_unmap_one remove_from_page_cache add_to_page_cache_locked 自旋锁- treelock 1.4万亿 低延迟分布式存储系统 低延迟分布式存储系统 – PageCache的毛刺解决方案小结 操作系统Page Cache Radix Tree 自旋锁，产生几秒的大毛刺 如果遇到坏盘，可能Block若干分钟，对系统产生致命影响。 操作系统Page Cache Radix Tree 每个Page的阻塞锁，产生几百毫秒小毛刺 写入数据平均响应时间不超过1ms 写入数据最大响应时间不超过20ms（Java GC暂停线程引起）

Java 基础功底 一个开源项目的底层都会涉及到存储，这就要求具备一定的数据结构基础，JAVA 集 合框架中的类自然成为了我们突破数据结构最好的老师，其次是 java 并发，即多线程、并 发容器、锁等课题，这方面可以好好学习一下 JUC 框架。最后最好是具备一些网络方面的 知识，例如 NIO、Netty。 2. 持续输出能力 成为一个开源项目的 contributions 非常容易，提交一个 通俗的一点讲，就是将消息写入 Commitlog 文件所持有锁的时间，精确说是将消息体 追加到内存映射文件(DirectByteBuffer)或 pageCache(FileChannel#map)该过程中开 始持有锁的时间戳，具体的代码请参考：CommitLog#putMessage。  diff 一次消息追加过程中持有锁的总时长，即往内存映射文件或 pageCache 追加一条消 到内存机制，实现对文 件的操作转换对内存地址的操作，极大的提高了 IO 特性，但这部分内存并不是常驻内存， 可以被置换到交换内存(虚拟内存)，RocketMQ 为了提高消息发送的性能，引入了内存锁 定机制，即将最近需要操作的 commitlog 文件映射到内存，并提供内存锁定功能，确保这 些文件始终存在内存中，该机制的控制参数就是 transientStorePoolEnable。 本文

TreeMap key 是消息在此 ConsumeQueue 队列中索引 (2) 对于顺序消息消费 处理 locked 属性:当 consumer 端向 broker 申请锁队列成功后设置 true， 只有被锁定 的 processqueue 才能被执行消费 rollback: 将消费在 msgTreeMapTemp 中的消息，放回 msgTreeMap 重新消费 commit: 构建一个线程池来接收消费请求 ConsumeRequest 构建一个单线程的本地线程, 用来稍后定时重新消费 ConsumeRequest, 用来执行 定时周期性（一秒）钟锁队列任务 周期性锁队列 lockMQPeriodically 获取正在消费队列列表 ProcessQueueTable 所有 MesssageQueue， 构建根据 broker 归类成 MessageQueue ConsumeRequest 任务的 run 方法 判断 proccessQueue 是否被 droped 的， 废弃直接返回，不在消费消息 每个 messagequeue 都会生成一个队列锁来保证在当前 consumer 内，同一个队列串行 消费， 判断 processQueue 的 lock 属性是否为 true，lock 属性是否过期，如果为 false 或者过期， 放到本地线程稍后锁定在消费。