​https://github.com/hiejulia Related skills : Java, Golang, SQL, NoSQL, Rest, gPRC, Microservices, Test, DevOps, Distributed system, Cloud(AWS, Azure) , Golang, Maven, Docker, Kubernetes GSoC - Apache disk for Broker server, terminal, Apache RocketMQ - Helm, Kubernetes, ​kubectl​,​Docker, KEDA, Golang Basic Configuration - RocketMQ - Build and start RocketMQ locally(with Docker container

架构的核心基础设施。 丁威老师作为资深架构师，在分布式架构、存储方面功底深厚，目前在企业内部负责着 日均千亿级消息流转的 RocketMQ 集群。本书不仅由浅入深的介绍了 RocketMQ 的架 构与实现，而且包含了多年线上超大规模集群开发运维经验的总结，通过本书不仅能够掌握 分布式消息平台的设计原理，对线上疑难问题排查分析、性能调优与架构设计也大有帮助。 目录 开篇：我的另一种参与 RocketMQ 高性能的消息中间件的实现原理。 通过阅读了 RocketMQ 官方，以下几个特别的点更是吸引了我的注意，让我下定决 心深入研究一番。 本文来自『中间件兴趣圈』公众号，仅作技术交流，未授权任何商业行为。 7 > 开篇：我的另一种参与 RocketMQ 开源社区的方式  RocketMQ 为什么性能高效，到底运用了什么“厉害”的技术？  RocketMQ 如何实现刷盘（可以类比一下数据库方面的刷盘、redo、undo 如何实现刷盘（可以类比一下数据库方面的刷盘、redo、undo 日志）？  RocketMQ 文件存储设计理念、基于文件的 Hash 索引是怎么实现的?  定时消息、消息过滤等实现原理。  如何进行网络编程（Netty 实战）？ 下定决心后便开始了我的源码分析 RocketMQ 之旅，大概在 4 个多月的时间中连续 发表了 30 余篇文章，从 Nameserver、消息发送高可用设计、消息存储、消息消费、消

.............. 49 1. invokeSyncImpl 同步调用实现 .................................................................................. 49 2. invokeAsyncImpl 异步调用实现 .......................................... .......................................................... 52 二：NettyRemotingServer Remoting 服务端实现 .............................................................. 53 三：NettyRemotingClient ......... broker 的主从复制机制拷贝到 broker 的 slave 上去 二：Producer 如何发送消息 Producer 轮询某 topic 下的所有队列的方式来实现发送方的负载均衡 1） Topic 下的所有队列如何理解： 比如 broker1, broker2, borker3 三台 broker 机器都配置了 Topic_A Broker1

....... 46 项目开源主页：https://github.com/alibaba/RocketMQ 1 1 前言 本文档旨在描述 RocketMQ 的多个关键特性的实现原理，幵对消息中间件遇到的各种问题迕行总结，阐述 RocketMQ 如何解决返些问题。文中主要引用了 JMS 规范不 CORBA Notification 规范，规范为我们设计系统挃明了 方吐， 要有一台机器丌可用，则整个集群都丌可用，服务可用性大大降低。 如果服务器部署为同步双写模式，此缺陷可通过备机自劢切换为主避免，丌过仍然会存在几分钟的服务丌 可用。（依赖同步双写，主备自劢切换，自劢切换功能目前迓未实现） 目前已知的应用只有数据库 binlog 同步强依赖严格顺序消息，其他应用绝大部分都可以容忍短暂乱序，推 荐使用普通的顺序消息。  Message Queue 项目开源主页：https://github 优兇级排序，令优兇级高的兇投递。 由亍 RocketMQ 所有消息都是持丽化的，所以如果挄照优兇级来排序，开销会非常大，因此 RocketMQ 没有特 意支持消息优兇级，但是可以通过发通的方式实现类似功能，即单独配置一个优兇级高的队列，和一个普通优兇级 的队列， 将丌同优兇级収送到丌同队列即可。 对亍优兇级问题，可以归纳为 2 类 1) 只要达到优兇级目的即可，丌是严格意丿上的优

Apache RocketMQ 事务消息 王强 (辽天) 阿⾥里里巴巴 中间件技术专家 • 事务消息的演进与Apache RocketMQ的实现 • Cloud Native时代下消息系统的挑战 • Apache RocketMQ 简介 • Apache RocketMQ 存储设计 Apache RocketMQ http://rocketmq.apache.org • ⾼高性能，分布式 RouteInfoManager DefaultRequestProcessor Store Service RemotingCommand • 事务消息的演进与Apache RocketMQ的实现 • Cloud Native时代下消息系统的挑战 • Apache RocketMQ 简介 • Apache RocketMQ 存储设计 存储⽂文件 - - - - - 1G - - async appendMessage() FileChannel.map() flush() selectMappedBuffer() • 事务消息的演进与Apache RocketMQ的实现 • Cloud Native时代下消息系统的挑战 • Apache RocketMQ 简介 • Apache RocketMQ 存储设计 分布式事务⾯面临的挑战 分布式事务理理论 ACID

RabbitMQ是AMQP规范的参考实现，AMQP是一个线路层协议，面面俱到，很系统，也稍显复杂。 前RabbitMQ已经成为OpenStack Iaas平台首选的消息服务，其背后的支持力度不言而喻。 ActiveMQ最初主要的开发者在LogicBlaze，现在主要开发红帽，是JMS规范的参考实现，也是Apach 旗下的老牌消息服务引擎。JMS虽说是一个API级别的协议，但其内部还是定义了一些实现约束，不 缺少多语

Access Management (IAM) 实例⻆⾊，具有细化控制的 权限， 用于访问部署过程所需的 AMAZON WEB SERVICES 服务。 • (*) 安全组，用于在 VPC 内实现通信，且仅允许访问必需的协议和端⼝（如 果您选 择的是启动在已有 VPC 中，您需要提前创建此安全组或者使用已有 的安全组）。 • 在私有⼦网中，一个可自定义单独运⾏或者在副本集中运⾏的 Apache 选项中开启了域名选项配置集。 • 确保私有⼦网的路由表中存在 NAT 网关或 NAT 实例的路由，使得其拥有出 站 Internet 连接。 • 您必须创建堡垒主机及其关联的安全组以实现⼊站 SSH 访问 快速部署 本文的步骤主要针对在运⾏在由西云数据运营的 AMAZON WEB SERVICES（宁夏）区域 或由光环新网运营的 AMAZON WEB SERVICES（北京）区域中部署该解决方案，您可以

实例⻆⾊，具有细 化控制的权限， ⽤于访问部署过程所需的 AMAZON WEB SERVICES 服 务。 Page 5 of 21 • (*) 安全组，⽤于在 VPC 内实现通信，且仅允许访问必需的协议和端⼝ （如果您选 择的是启动在已有 VPC 中，您需要提前创建此安全组或者使 ⽤已有的安全组）。 • 在私有⼦⽹中，⼀个可⾃定义单独运⾏或者在副本集中运⾏的 Apache 选项中开启了域名选项配置集。 • 确保私有⼦⽹的路由表中存在 NAT ⽹关或 NAT 实例的路由，使得其拥有 出站 Internet 连接。 • 您必须创建堡垒主机及其关联的安全组以实现⼊站 SSH 访问 快速部署 本文的步骤主要针对在运行在由西云数据运营的亚马逊云科技（宁夏）区域或由光环 新网运营的亚马逊云科技（北京）区域中部署该解决方案，您可以使用以下链接快速 启动一个