© VMware 高级解决方案架构师 VMware Data Solution © 本演示文稿可能包含当前正在开发的产品特性或功能。 本新技术概要介绍并不表示 VMware 承诺在任何正式推出的产品中提供这些功能特性。 产品的功能特性可能会有变更，因此不得在任何类型的合同、采购订单或销售协议中予以规定。 技术可行性和市场需求都可能影响最终提供的产品功能特性。 在本演示中讨论或展示 Transformation • 基于云原生的架构 • 支持应用层面的创新、扩展、 弹性和生态 Data & Analytics Transformation • 具有多种部署方式的数据 库和消息队列软件 • 快速发现洞察并采取行动 Security Transformation • 通过在现代基础设 施的安全组件，增 强平台的安全弹性 来帮助客户维持业 务连续性 Data Transformation 自动化运维的数据中心 • 或者直接选择多云架构 © VMware GemFire® 提供一系列强大的基础数据服务 Data & Analytics Transformation 具有多种部署方式的数据库和消息队列软件， 快速发现洞察并采取行动 VMware SQL Postgres & MySQL VMware RabbitMQ® 消息代理 & 日志流 VMware Greenplum® VMware

行环境TEE（比如IntelSGX，蚂蚁的KubeTEE等）可以保护运行中的数据和 代码，完成了安全闭环。 依赖于硬件和更高阶密码学，可以彻底阻断物理 设备以及软件的攻击，是高级的安全保障技术。 TEE是运行态主动防护的高级手段，对高安全生产 环境建议使用。 成本较高，所以要视业务场景要求取舍。 Mesh零信任 mTLS服务间访问授权，主要针对Pod层WorkLod的访问控制 应用透明，全局管理视角，细粒度安全策略 logging MQ 交易数据库 大数据 营销分析 云原生PaaS平台 • 四大件在云原生场景下带来什么客户 价值？ • 四大件在云原生场景下技术架构有什 么创新？ 业务异步化|削峰填谷 高级能力-云原生数据库-应用的基石-1-价值和差别 先从一个广告词来看看云原生数据库和一般数据库的差别 项目 传统数据库 Oracle 云原生 数据一体机 存储架构 存算一体: 调整困难、只能满 封闭体系，集成各 类优秀能力较差 集成能力强，多模 态接口，兼容各类 协议 可用性、稳定性 需要强大的旁路运 维能力 简化运维、自动化 容量和故障转移 云原生数据库其特点，使得应用场 景会更加广泛 高级能力-云原生数据库-应用的基石-2-技术架构 Application Application Application Read Read Write DB Server User Space

ADDON OPERATOR 14.4. 置备实时和低延迟工作负载 14.5. 使用性能配置集调整节点以实现低延迟 14.6. 使用 PERFORMANCE ADDON OPERATOR 减少 NIC 队列 14.7. 调试低延迟 CNF 调整状态 14.8. 为红帽支持收集调试数据延迟 第 第 15 章 章 为 为平台 平台验证执 验证执行延 行延迟测试 迟测试 15.1. 运行延迟测试的先决条件 OPENSHIFT 集群配置 19.7. 为 VDU 应用程序工作负载验证单节点 OPENSHIFT 集群调整 19.8. 带有 SITECONFIG 资源的高级受管集群配置 19.9. 使用 POLICYGENTEMPLATE 资源进行高级受管集群配置 19.10. 使用 TOPOLOGY AWARE LIFECYCLE MANAGER 更新受管集群 19.11. 更新 GITOPS ZTP 实践 践 29 (RPS)。RFS 在技术上基于 RPS，通过增加 CPU 缓存命中率来提高数据包处理的效率。RFS 通过确定计 算最方便的 CPU，以便缓存命中更有可能在 CPU 中发生，增加了对队列长度的考虑。因此，会减少 CPU 缓存无效的频率，从而只需要较少的循环来重建缓存。这有助于缩短数据包处理运行时间。 2.3.1. 使用 Machine Config Operator (MCO) 激活

........................................................................... 16 7.1 单机支持 1 万以上持丽化队列 .................................................................................................. ...................................................................................... 24 7.10 单队列幵行消费 .............................................................................................. ........................................................................................ 27 8.2 高级消息过滤 ..............................................................................................

ClusterLogging 自定义资源 4.2. 配置日志记录收集器 4.2.1. 不支持的配置 4.2.2. 查看日志记录收集器 Pod 4.2.3. 配置日志收集器 CPU 和内存限值 4.2.4. 日志转发器的高级配置 4.2.5. 如果不使用默认的 Elasticsearch 日志存储，请删除未使用的组件 4.3. 配置日志存储 4.3.1. 将审计日志转发到日志存储 4.3.2. 配置日志保留时间 cpu: 100m memory: 736Mi OpenShift Container Platform 4.7 日志 日志记录 记录 44 4.2.4. 日志转发器的高级配置 OpenShift Logging 包含多个 Fluentd 参数，可用于调整 Fluentd 日志转发器的性能。通过这些参数，可 以更改以下 Fluentd 行为： Fluentd 块和块缓冲的大小 这些参数可帮助您权衡延迟和吞吐量之间的利弊。 要优化 Fluentd 的吞吐量，您可以使用这些参数通过配置较大的缓冲和队列、延迟清除以及设置 重试间隔间的更多时间来减少网络数据包的数量。请注意，大型缓冲区需要在节点文件系统有更 多空间。 要优化低延迟，您可以使用参数尽快发送数据，避免批量的构建，具有较短的队列和缓冲，并使 用更频繁的清理和重试。 您可以使用 ClusterLogging 自定义资源（CR）中的以下参数配置

based scheduling 领域框架支持不足 • 1:1的operator部署运维复杂 • 不同框架对作业管理、并行计算等要求不通 • 计算密集，资源波动大，需要高级调度能力 资源规划复用、异构计算支持不足 • 缺少队列概念 • 不支持集群资源的动态规划以及资源复用 • 对异构资源支持不足 传统服务 大数据 人工智能 云原生大数据平台 大数据、AI等批量计算场景 云原生化面临的挑战 Horovod, Tensorflow、Spark等。 2. 丰富的高阶调度策略 公平调度、任务拓扑调度、基于SLA调度、作业抢占、回填、弹性调度、 混部等。 3. 细粒度的资源管理 提供作业队列，队列资源预留、队列容量管理、多租户的动态资源共享。 4. 性能优化和异构资源管理 调度性能优化，并结合 Kubernetes 提供扩展性、吞吐、网络、运行时的 多项优化，异构硬件支持x86, Arm, GPU 提高整体资源利用率 集群高负载场景 通过静态划分的资源池保证大数据业务和通用 业务的资源配额 通过Volcano提供的队列保证各类业务资 源配额 资源共享：Queue • 集群级别资源对象，与用户/namespace解耦 • 可用于租户/资源池之间共享资源 • 支持每个队列独立配置Policy，如 FIFO, fair share, priority, SLA等 K8S CLUSTER

框架异步调用外部shell 脚本，然后由这个shell脚本提交一个Hadoop Map-Reduce 作业。该表函数与映射器 (mapper) 之 间使用 Oracle 高级队列特性进行通信。Hadoop mapper 将数据排入一个公共队列，而表函数则 从该队列中取出数据。由于该表函数能够并行运行，因此使用额外的逻辑来确保仅有一个服 务进程提交外部作业。 3 Oracle 白皮书 — 通过 Oracle 数据 图 2. 利用表函数进行并行处理 由于表函数可以并行运行，Hadoop 流作业也可以不同程度地并行运行，并且后者不受 Oracle 查询协调器的控制，这种情况下，队列能提供负载平衡。 4 Oracle 白皮书 — 通过 Oracle 并行处理集成 Hadoop 数据 利用表函数的示例 下面我们将以一个实际示例展示图 Oracle 并行处理集成 Hadoop 数据 mapper 进程处理数据，并在第 5 步写入一个队列。在本文的示例中，我们选择了一个在集群 范围内可用的队列。现在，我们只是单纯地将任何输出直接写入到队列里。您可以通过批量 处理输出并将其移入队列来提高性能。显然，您也可以选择管道和关系表等其他各种机制。 随后的第 6 步是出队过程，这是通过数据库中的表函数并行调用来实现的。这些并行调用处

, Ltd. All rights reserved. Page 5 Envoy介绍 • Envoy采用C++实现，本身为四层及七层代理，可以根据用户应用请求内的数据进行高级服务治理 能力，包括服务发现、路由、高级负载均衡、动态配置、链路安全及证书更新、目标健康检查、 完整的可观测性等。 • 目前常见数据面主要有三种：Envoy、Linkerd、Traefic。Envoy由于高性能和扩展能力前在数据面遥 上游服务正在处理中的请求为最大连接数maxConnetions 2. 未被处理请求进入等待队列大小为maxPendingRequests（默认1024） 3. 新请求超出等待队列最大数量报overflow，日志记录503 UO 解决方案 1、检查服务处理能力，缩短服务处理时间或水平扩展。 2、调整等待队列请求上限值。 503 UO问题分析 Copyright © Huawei Technologies

OPENSHIFT CONTAINER PLATFORM 容器或从中复制 6.6.1. 了解如何复制文件 6.6.1.1. 要求 6.6.2. 将文件复制到容器或从容器中复制 6.6.3. 使用高级 rsync 功能 6.7. 在 OPENSHIFT CONTAINER PLATFORM 容器中执行远程命令 6.7.1. 在容器中执行远程命令 6.7.2. 用于从客户端发起远程命令的协议 管理操作 管理操作 以下任务列表概述了管理员如何在 OpenShift Container Platform 集群中管理 pod。 使用 OpenShift Container Platform 中可用的高级调度功能控制 pod 调度： 节点到 pod 的绑定规则，如 pod 关联性、节点关联性 和 反关联性。 节点标签和选择器。 污点和容限。 Pod 拓扑分布约束。 自定义调度程序。 配置 Container Platform 通过终止现有的 pod，再利用修改后的配置和/或基础镜像重新创建 pod，从而实现 更改。Pod 也被视为是可抛弃的，不会在重新创建时保持原来的状态。因此，pod 通常应通过更高级别的 控制器来管理，而不直接由用户管理。 注意 注意 如需了解每个 OpenShift Container Platform 节点主机的最大 pod 数，请参阅“集群限 制”。 警告 警告 不受复制控制器管理的裸机

8.14 dot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 5.9 高级激活层 Advanced Activations . . . . . . . . . . . . . . . . . . . . . . . . . . . 109 5.9.1 LeakyReLU 2.10 linear . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144 10.3 高级激活函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 目录 VIII 11 244 KERAS: 基于 PYTHON 的深度学习库 1 1 Keras: 基于 Python 的深度学习库 1.1 你恰好发现了 Keras Keras 是一个用 Python 编写的高级神经网络 API，它能够以 TensorFlow, CNTK, 或者 Theano 作为后端运行。Keras 的开发重点是支持快速的实验。能够以最小的时延把你的想法转 换为实验结果，是做好研究的关键。