Apache Pulsar 云原⽣时代的消息平台 翟佳 streamnative.io ⾃我介绍 • 开源项⽬爱好者： • Apache Pulsar PMC成员 • Apache BookKeeper PMC成员 • EMC -> StreamNative • 华中科⼤ -> 中科院计算所 • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar

7 使用 TiCDC 同步消息到 Kafka 时 Kafka 报错 Message was too large，该如何处理？ · · · · · · · · · 945 7.7.8 TiCDC 同步时，在下游执行 DDL 语句失败会有什么表现，如何恢复？ · · · · · · · · · · · · · · · · · · 946 7.7.9 使用 TiCDC 同步消息到 Kafka 时报错 kafka: 把数据同步到 Kafka 时，能在 TiDB 中控制单条消息大小的上限吗？ · · · · · · · · · · · · · · · 953 7.8.13 在一个事务中对一行进行多次修改，TiCDC 会输出多条行变更事件吗？ · · · · · · · · · · · · · · · · 954 7.8.14 TiCDC 把数据同步到 Kafka 时，一条消息中会不会包含多种数据变更？ · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 954 7.8.16 TiCDC 把数据同步到 Kafka 时，如何确定一条消息中包含的数据变更发生在哪个时间点？ · · · · 954 7.8.17 TiCDC Open protocol 如何标示 null 值？ · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2548 14.2 存储引擎 TiKV · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2565 17 14.3 存储引擎 TiFlash· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 性。可按需配置副本地理位置、副本数量等 策略，满足不同容灾级别的要求。 • 实时 HTAP 提供行存储引擎TiKV、列存储引擎TiFlash 两款存储引擎，TiFlash 通过 Multi-Raft Learner 协议实时从 TiKV 复制 数据，确保行存储引擎 TiKV 和列存储引擎 TiFlash 之间的数据强一致。TiKV、TiFlash 可按需部署在不同的 机器，解决 HTAP 资源隔离的问题。

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2539 14.2 存储引擎 TiKV · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2556 14.3 存储引擎 TiFlash· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 性。可按需配置副本地理位置、副本数量等 策略，满足不同容灾级别的要求。 • 实时 HTAP 提供行存储引擎TiKV、列存储引擎TiFlash 两款存储引擎，TiFlash 通过 Multi-Raft Learner 协议实时从 TiKV 复制 数据，确保行存储引擎 TiKV 和列存储引擎 TiFlash 之间的数据强一致。TiKV、TiFlash 可按需部署在不同的 机器，解决 HTAP 资源隔离的问题。

这个例子，也给数据库云原生化上的技术架构演进提 供了一个范本，并不是原封不动的迁移就变成云原生 高级能力-云原生数据库-应用的基石-3-场景 数据源 数据日志 消息数据 订单数据 云原生 DB 高并发写入 用户 MR 云DB 用户 日志消息类数据实时分析 支持企业低成本、大容量存储和查询各类日志、消息、交易、用户行为、画像等 结构化/半结构化数据，支持高吞吐量实时入库及数据实时查询，实现数据资源 智慧化运营。 优势 低成本存储： 物联网数据存储和查询 将车联网数据、设备监控数据、客流分析管控数据、交通数据、传感器数据实时 写入HBase中，分析结果输出到用户的监控前端系统展示，实现物联网数据的实时 监控分析。 优势 易接入： 轻松对接消息系统、流计算系统 高并发： 满足千万级并发访问 存算分离： 按需分别订购计算与存储，成本低、故障恢复快 利用HTAP模式，可以将查询和分析合并 起来，更加节约成本，并提高了性能 高级能力-云原生数据库-应用的基石-4-端到端安全 高级能力-云原生中间件-应用的基石-MQ为例 云原生消息服务是云原生的通信基础设施 消息中间件在云原生的应用场景，主要是为微服务和EDA架构提供核心的解耦、异步和削峰的能力，在云原生体系 架构中消息服务还发挥着数据通道、事件驱动、集成与被集成等重要作用。云原生倡导面向性能设计，基于消息队 列的异步调用能够显著降低前端业务的响应时间，提高吞吐量；基于消息队列还能实现削峰填谷，把慢服务分离到 后置链路，提升整个业务链路的性能。

性能 安全软硬件一体解决方案 Intel QAT Cavium Nitrox软硬件一体解决方案 SSL握手性能 提升3倍 • 对Spanner实现了异步化改造 • 对openssl进行了异步化引擎改造 • 实现多芯片卡的负载均衡协议实现的改造-MTLS MTLS：1) 轻量级TLS库，小于50k；2) 优化的TLS协议 0-RTT • 减少握手延迟 • 代价：握手前发送的数据不能 保证防重放攻击，因此要求应 支持SGX等可信机制 • 多硬件卡Engine • Mobile，iot设备等多终端支持 • OpenSSL Committer无线移动战役 操作响应慢 操作无响应 Push没消息 Push消息慢 海外消息慢 收发图片慢 建连时长 建连成功率 链路稳定性 链路一致性 RPC错误率 Push实时性 海外RTT 数据效率 快 速 稳 定 高 效 移动客户痛点 性能指标 一条TCP连接对应一个Read协程，执行收包，协议解析 ü 一个请求对应一个worker协程，执行业务处理，proxy和Write逻辑SOFAMosn能力扩展 ü 协议扩展 MOSN 通过使用同一的编解码引擎以及编/解码器核心接口，提供协议的 plugin 机制，包括支持 • SofaRPC • HTTP1.x,/HTTP2.0 • Dubbo ü NetworkFilter 扩展 MOSN 通过提供

在阿里中间件开源、自研、商业三位⼀体的战略中，微服务 DNS（Dubbo+Nacos+Spring-cloud- alibba/Sentinel/Seata）组合始终走在前列，引领着微服务领域的发展趋势。Nacos 作为核心引擎 孵化于 2008 年的阿里五彩石项目，自主研发完全可控，经历十多年双 11 洪峰考验，沉淀了高性能、 高可用、可扩展的核心能力，2018 年开源后引起了开发者的广泛关注和大量使用。本书也将介绍 协议的优点并加以优化而出 来的，对于原生的 Gossip，由于随机选取发送消息的节点，也就不可避免的存在消息重复发送给同 ⼀节点的情况，增加了网络的传输的压力，也给消息节点带来额外的处理负载，而 Distro 算法引入 了权威 Server 的概念，每个节点负责⼀部分数据以及将自己的数据同步给其他节点，有效的降低 了消息冗余的问题。 早期的 Nacos ⼀致性协议 我们先来看看早起的 Naocs 接 断开时，需要进行切换 Server 进行重连。 ○ 客户端基于当前可用的长链接进行配置的查询，发布，删除，监听，取消监听等配置领域的 R PC 语意接口通信。 ○ 感知配置变更消息，需要将配置变更消息通知推送当前监听的客户端；网络不稳定时，客户端 接收失败，需要支持重推，并告警。 ○ 感知客户端连接断开事件，将连接注销，并且清空连接对应的上下文，比如监听信息上下文清 理。  Server

云原生对业务的支撑实例(数据来源于阿里云) 4982亿，2020年天猫双11再创消费新纪录。58.3万笔/秒，双11交易峰值再创新高，阿里云又一次扛住全球最大规模流量洪峰。这一切背后支撑的 “技术引擎”又是如何为近十亿全球购物者的狂欢提供着“无感知护航”？ 近日，在阿里巴巴双11技术沟通会上，阿里云研究员、阿里云云原生应用平台负责人丁宇表示，今年双11实现了核心系统全面云原生化的重大技术 突破， 提升了100%。阿里巴巴在2020双11完成了全球最大规模的云原生实践。 与2019年全面云化相比，2020年全面云原生化革命性重构了双11“技术引擎”。从产品和技术两方面来看，产品侧，阿里云通过提 供容器服务ACK、云原生数据库PolarDB/Redis、消息队列RocketMQ、企业级分布式应用服务EDAS、微服务引擎MSE、应用监控服 务ARMS等数十款云原生产品全面支撑双11。技术侧，云原生四大核心技术实现规模和创新的双重突破，成为从技术能力向业务 生命周期（Lifecycle） • 网络（Networking） • 状态（State） • 捆绑（Binding） 每种需求存在的问题和局限性，导致传统解决方案如企业服 务总线（ESB）及其变体（如消息中间件，轻量级的集成框架 等）不再适用。随着微服务的发展，以及容器和 Kubernetes 的普及和广泛使用，云原生开始影响这些需求的实现方式。 未来趋势是通过将所有传统的中间件功能移至其他运行时来

移等）；三是分配全局唯一且递增的事务 ID。 PD 是一个集群，需要部署奇数个节点，一般线上推荐至少部署 3 个节点。 TiKV Server 负责存储数据，从外部看 TiKV 是一个分布式的提供事务的 Key-Value 存储引擎。存储数据的基 本单位是 Region，每个 Region 负责存储一个 Key Range （从 StartKey 到 EndKey 的左闭右开区间）的 数据，每个 TiKV 节点会负责多个 Region 移等）；三是分配全局唯一且递增的事务 ID。 PD 是一个集群，需要部署奇数个节点，一般线上推荐至少部署 3 个节点。 TiKV Server 负责存储数据，从外部看 TiKV 是一个分布式的提供事务的 Key-Value 存储引擎。存储数据的基 本单位是 Region，每个 Region 负责存储一个 Key Range （从 StartKey 到 EndKey 的左闭右开区间）的 TiDB 整体架构 TiDB Server server report failure message : 发送失败或者收到了错误的 message 如果出现了大量的 unreachadble 的消息，表明系统网络出现了问题。如果有 store not match 这样的错误， 表明收到了不属于这个集群发过来的消息 Vote : Raft vote 的频率 通常这个值只会在发生 split 的时候有变动，如果长时间出现了 vote 偏高的情况，证明系统出现了

●构建于uct之上，实现更加高级的功能,容易使用，但有一定开销。 ●UCT和UCP两者都有context概念，但是UCT只对一块网卡，而UCP把若干个UCT组合起 来，自动选择最快路径传输。 ●高级特性 –大消息报文的自动分片传输 –Active message, atomic operation, tag match, stream27 典型的RDMA栈28 UCX 编程的一些基本概念 ●Context ●Ep –连接对象，在ep上请求发送和接收29 UCP 消息接口类型 ●Active message –速度最快，被brpc使用作为消息传递 –消息通过回调函数接收 –消息异步发送 ●Tag –MPI使用 ●Stream –官方不推荐30 WORKER ●worker是UCX通讯中的核心概念，它是一个进度引擎(progress engine) ●worker既不是协程也 ●提供Release Connection。 –在UcpCm决定关闭连接时53 UcpWorker的实现 ●使用了ucp active message –当消息很短时，ucx使用内部缓冲提供给brpc(比较快) –当消息很大时，由brpc提供接收缓冲区（rndv,rendezvous） ●阀值可调 –接收和发送使用无锁队列 ●UcpWorker接收时写入UcpConnection的无锁队列