第 第 14 章 章 低延 低延迟节 迟节点的 点的 PERFORMANCE ADDON OPERATOR 14.1. 了解低延迟 14.2. 安装 PERFORMANCE ADDON OPERATOR 14.3. 升级 PERFORMANCE ADDON OPERATOR 14.4. 置备实时和低延迟工作负载 14.5. 使用性能配置集调整节点以实现低延迟 14.6. 使用 PERFORMANCE NIC 队列 14.7. 调试低延迟 CNF 调整状态 14.8. 为红帽支持收集调试数据延迟 第 第 15 章 章 为 为平台 平台验证执 验证执行延 行延迟测试 迟测试 15.1. 运行延迟测试的先决条件 15.2. 关于延迟测试的发现模式 15.3. 测量延迟 15.4. 运行延迟测试 15.5. 生成延迟测试失败报告 15.6. 生成 JUNIT 延迟测试报告 15.7. 在单节点 在单节点 OPENSHIFT 集群上运行延迟测试 15.8. 在断开连接的集群中运行延迟测试 15.9. 对 CNF-TESTS 容器的错误进行故障排除 78 78 78 80 80 82 83 84 87 87 87 90 90 92 92 94 94 94 95 96 96 96 100 100 100 101 103 104 106 106 106

3
-
GigaOm
API负载测试设置9
API
压⼒测试9
测试环境10
单节点10
环境清单10
软件版本信息11
4
-
测试结果12
图2.
空转时的压⼒测试
API
的基线延迟12
图3.
API7与Kong
EE在20,000rps时的对⽐13
图4.
API7与Kong
EE在10,000
rps时的
JWT
对⽐。13
图5.
API7与Kong
EE在10 署和 应⽤程序开发，且能降低计算成本的开销。 更重要的是，许多组织也依赖API和微服务来实现⾼性能和可⽤性。在本⽂中，我们将“⾼性能”定义 为每秒负载超过1000个交易且在整个API环境中最⼤延迟⼩于30毫秒。对公司⽽⾔，对性能的需求和 对管理的需求⼀样，因为公司依靠API交易速率来跟上业务发展速度。
API管理解决⽅案不能成为性能瓶颈。许多公司都在寻找跨多个API端点的负载均衡和⾼交易量吞吐的 000个请求的情况下， 99.99
%
的情况API7的延迟⽐Kong
EE低14倍。API7和Kong
EE⼆者百分⽐越⾼延迟差异越明显。在 我们所有的测试中，最⼤延迟差异体现得最明显的是达到
99.9%
和99.99%
的请求时。
云上测试软硬件是⾮常具有挑战性的。在可⽤性、虚拟机处理器、内存、最佳输⼊/输出的存储、⽹络 延迟、软件和操作系统版本以及负载这些⽅⾯的配置可能会有利于其中⼀⽅。更具挑战性的是测试完

未来展望 m w a l i b a b a - i n c . c o m ©2016 Alibaba Middleware Group n 历年双11消息数量变化 n 消息中间件核心链路 n 低延迟存储 n 容量保障 n 熔断机制 n 多副本高可用 10亿 百亿 千亿 5千亿+ 万亿+ 历年双11消息数量变化 2012双11 2013双11 2014双11 2015双11 2016双11 消息中间件分布式慢请求解法 01 02 低延迟分布式存储系统 在线熔断机制，秒级隔离 03 容量保障，限流 1.4万亿 低延迟分布式存储系统 – RocketMQ存储 Java Heap Lock Page Cache Disk Request Request Request Request Request Request 万级请求/秒/单机 1.4万亿 低延迟分布式存储系统 – 并发锁的开销 lReentrantLock/synchronized ØFair ØUnfair lLockSupport.unpark/park 1.4万亿 低延迟分布式存储系统 – PageCache真的那么快吗？ 1.4万亿 低延迟分布式存储系统 – PageCache的毛刺现象分析 1.4万亿 低延迟分布式存储系统 – PageCache的毛刺现象分析 lMemory access latency issues: ØDirect

未来展望 m w a l i b a b a - i n c . c o m ©2016 Alibaba Middleware Group n 历年双11消息数量变化 n 消息中间件核心链路 n 低延迟存储 n 容量保障 n 熔断机制 n 多副本高可用 10亿 百亿 千亿 5千亿+ 万亿+ 历年双11消息数量变化 2012双11 2013双11 2014双11 2015双11 2016双11 消息中间件分布式慢请求解法 01 02 低延迟分布式存储系统 在线熔断机制，秒级隔离 03 容量保障，限流 1.4万亿 低延迟分布式存储系统 – RocketMQ存储 Java Heap Lock Page Cache Disk Request Request Request Request Request Request 万级请求/秒/单机 1.4万亿 低延迟分布式存储系统 – 并发锁的开销 lReentrantLock/synchronized ØFair ØUnfair lLockSupport.unpark/park 1.4万亿 低延迟分布式存储系统 – PageCache真的那么快吗？ 1.4万亿 低延迟分布式存储系统 – PageCache的毛刺现象分析 1.4万亿 低延迟分布式存储系统 – PageCache的毛刺现象分析 lMemory access latency issues: ØDirect

ON
Web
Token、IP
⿊⽩名单、OAuth
等；
性能极⾼ 5. API7
使⽤
Radixtree
算法实现⾼性能、灵活路由，在
AWS
8
核⼼服务器中，QPS
约为
140K，延迟约 为
0.2
ms；
全动态能⼒ 6. 修改⽹关配置、增加或修改插件等，⽆需重启⽹关服务即可实时⽣效；⽀持动态加载
SSL
证书；
扩展能⼒强 7. 借助灵活的插件机制，可针对内部业 分析监控：API7
内置了请求审计、监控告警、统计报表等分析监控功能，API
⽹关将记录所有节点 每个请求的信息，并进⾏成功请求、异常请求统计，可在控制台查看请求成功数、请求失败数、错 误码、请求延迟等指标。此外，借助
Grafana
的能⼒，可满⾜更多维度地分析监控需求；
• 全⽣命周期管理：API7
⽀持
API
版本管理、API
分组、API
上下线、在线调试等功能，并兼容
OpenAPI
3 ✖
✔
✖
UDP
Logger
✔
✖
✖
✖
✖
集群 和⾼ 可⽤
QPS
单核⼼性能
极⾼
⾼
低
极⾼
低

延迟
每请求最低延迟
极好
中
低
极好
低

部署
数据平⾯⽆状态
✔
✔
✔
✖
✔
配置中⼼⽀持集群
✔
✖
✖
✖
✖
集群管理
⽀持多集群的配置和管理

网络堆栈可以动态使用非保留 CPU。默认情况下，这种非保留 CPU 的动态使用发生在机器配置池中应用有性能配置集的节点。可用的非保留 CPU 的动态使用可最大化 OVS 的计算资源，并在高需求期间为工作负载最小化网络延迟。OVS 仍然无法在 Guaranteed QoS pod 中动态使用分配给容器的隔离 CPU。这种分离可避免对关键应用程序工作负载造成中断。 注意 注意 当 Node Tuning Operator 识别性能条件来激活使用非保留 CPU 时，OVN-Kubernetes 配 置 CPU 上运行的 OVS 守护进程的 CPU 关联性对齐。在这个窗口中，如果一个 Guaranteed QoS pod 启动，它可能会遇到延迟激增。 1.3.9.5. 多个 多个 IP 地址的双 地址的双栈 栈配置 配置 在以前的 Whereabouts IPAM CNI 插件版本中，每个网络接口只能分配一个 IP 地址。 现在，Whereabouts (PAO) must-gather 镜像不再需要作为 must-gather 命令 的参数，以捕获与低延迟调整相关的调试数据。PAO must-gather 镜像的功能现在在没有镜像参数的 must-gather 命令使用的默认插件镜像下。有关收集与低延迟调整相关的调试信息的更多信息，请参阅为 红帽支持收集低延迟调试数据。 1.3.21.2. 使用 使用 Operator 的 的 must-gather

distributed tracing 平台来监控、网络性能分析，并对现代、云原生的微服务应用程 序中组件间的交互进行故障排除。 使用分布式追踪平台，您可以执行以下功能： 监控分布式事务 优化性能和延迟时间 执行根原因分析 分布式追踪平台由三个组件组成： Red Hat OpenShift distributed tracing Platform (Jaeger)，它基于开源 Jaeger 项目。 distributed tracing 平台来监控、网络性能分析，并对现代、云原生的微服务应用程 序中组件间的交互进行故障排除。 使用分布式追踪平台，您可以执行以下功能： 监控分布式事务 优化性能和延迟时间 执行根原因分析 分布式追踪平台由三个组件组成： Red Hat OpenShift distributed tracing Platform (Jaeger)，它基于开源 Jaeger 项目。 distributed tracing 平台来监控、网络性能分析，并对现代、云原生的微服务应用程 序中组件间的交互进行故障排除。 使用分布式追踪平台，您可以执行以下功能： 监控分布式事务 优化性能和延迟时间 执行根原因分析 分布式追踪平台由三个组件组成： OpenShift Container Platform 4.14 分布式追踪 分布式追踪 8 Red Hat OpenShift distributed

重要 重要 并行行为可能会认为内容源，如您的镜像 registry 或 Red Hat Satellite 服务器。准备服务 器的基础架构 pod 和操作系统补丁可帮助防止出现这个问题。 从最低延迟控制节点（LAN 速度）运行安装程序。不建议在广域网络(WAN)上运行，因此不会因为丢失 的网络连接运行安装。 Ansible 为 性能和扩展提供了自己的指导，包括使用 RHEL 6.6 或更高版本来确保 etcd。 通过以下方法优化此流量路径： 在 master 主机上运行 etcd。默认情况下，etcd 在所有 master 主机上的静态 pod 中运行。 确保 master 主机之间有一个不协调、低延迟 LAN 通信链接。 OpenShift Container Platform master 会积极缓存资源的反序列化版本，以简化 CPU 负载。但是，如果 较小的 pod 集群小于 1000 个 [1]、Azure 磁 盘 File 在 OS 中作为要挂载的文件系统导出 也称为网络附加存储（Network Attached Storage，NAS） 取决于不同的协议、实现、厂商及范围，其并 行性、延迟、文件锁定机制和其它功能可能会 有很大不同。 聚合模式/独立于模式 GlusterFS [1], RHEL NFS, NetApp NFS [2], Azure File, Vendor NFS

Platform 集群节点是否可以运行带 有零数据包丢失的 Data Plane Development Kit (DPDK) 工作负载的虚拟机。 您可以将 虚拟机配置为运行 DPDK 工作负载，以实现较低延迟和更高的吞吐量，以便在用户空间 中更快地处理数据包。 现在，您可以使用其完全限定域名 (FQDN) 从集群外部访问附加到二级网络接口的虚拟机。 现在，您可以使用 OpenShift Virtualization CPU）专用于特定的一个虚拟机。 10.15.8.1. 关于 关于专用 用资源 源 当为您的虚拟机启用专用资源时，您的工作负载将会在不会被其他进程使用的 CPU 上调度。通过使用专 用资源，您可以提高虚拟机性能以及延迟预测的准确性。 10.15.8.2. 先决条件 先决条件 节点上必须配置 CPU Manager。在调度虚拟机工作负载前，请确认节点具有 cpumanager = true 标签。 虚拟机必须关机。 "on" vlan: 1019 第 第 10 章 章 虚 虚拟 拟机 机 199 3. 可选：运行虚拟机延迟检查以验证网络是否已正确配置。 4. 可选：运行 DPDK 检查，以验证命名空间是否已准备好 DPDK 工作负载。 其他 其他资 资源 源 处理项目 虚拟机延迟检查 DPDK 检查 10.18.4.7. 为 DPDK 工作 工作负载配置虚 配置虚拟机 机 您可以在虚拟机

频道的发行版本将提升到 fast 频道，则会发布勘误，并完全支持该发 行版本。 延迟后，fast 频道中的一个发行版本最终会提升到 stable 频道。这个延迟代表了 fast 和 stable 频道之间的唯一区别。 注意 注意 对于最新的 z-stream 版本，这个延迟通常是一周或两周。但是，初始更新到最新 次版本的延迟可能需要更长的时间，通常为 45-90 天。 提升到 stable 频道的版本同时提升到 fast 和 stable 频道中发行版本的唯一区别在于，一个发行版本仅会在出现在 fast 频道一段时间 后才会出现在 stable 频道中，这样做可以有更长的时间来发行在更新中可能存在的风险。 在这个延迟后，fast 频道中可用的发行版本始终在 stable 频道中可用。 如果一个更新被支持但不推荐使用意味着什么？ 如果一个更新被支持但不推荐使用意味着什么？ 红帽会持续评估来自多个源的数据，以确 如果特定版本的更新不再被推荐意味着什么？ 如果因为回归的问题，红帽从任何支持的发行版本中删除更新建议，则会为更正回归的未来版本 提供取代的更新建议。当缺陷被修正、测试并提升到您选择的频道时，可能会有延迟。 什么 什么时 时候下一个 候下一个 z-stream 版本会在 版本会在 fast 和 和 stable 频 频道中出 道中出现 现？ ？ 虽然特定节奏可能会因多个因素而异，但对最新次版本的新