修订时间： 20080410 项目： VI-CHS-Q208-486 VMware, Inc. 3 目录 关于本书 5 VMware Infrastructure 简介 9 VI 数据中心的物理拓扑 12 计算服务器 12 存储网络和阵列 13 IP 网络 13 VirtualCenter Server 13 桌面客户端 13 虚拟数据中心架构 14 主机、群集和资源池 15 VMware Infrastructure 是一组完整的基础架构虚拟套件，此款集成产品可提供全面的综合 虚拟化、管理、资源优化、应用程序可用性和操作自动化功能。VMware Infrastructure 虚 拟化并汇总多个系统间的基础物理硬件资源，同时为虚拟环境中的数据中心提供大量虚 拟资源。 此外， VMware Infrastructure 还提供一组分布式服务，通过该服务，可以实现策略驱 动的精细资源分配、高可用性和对整个 中所示。 图 1. VMware Infrastructure VMware Infrastructure 包括 图 1 中所示的下列组件： � VMware ESX Server - 一个在物理服务器上运行的健壮的、经过生产验证的虚拟化 层，它将处理器、内存、存储器和网络资源抽象为多个虚拟机。 ESX Server 分为 多个不同版本。 � ESX Server 3 包含内置服务控制台。它的安装文件是一个可安装的

加强型驱动程序 � 针对硬件供应商进行了优化 � 通用 Windows 驱动程序 高级内存管理 � 能够回收不再使用的内存，消除重复内存页 � 不能回收不再使用的物理内存 高级存储管理 � VMware vStorage VMFS � 缺少集成的群集文件系统 高 I/O 扩展性 � 直接驱动程序模型 � 宿主操作系统中存在 I/O 操作系统作为其虚拟化体系结构的核心部分。 在数据中心实现更好的可扩展性和性能 虚拟化管理程序在提供可扩展的虚拟化性能方面起着重要的作用。详细的性能演示和对比清楚 地表明，在高度虚拟化的环境中，即使每台物理主机支持的用户和虚拟机总数增加，VMware ESX 也能实现高性能吞吐。 VMware ESX 能够达到多快？100,000 IOPS 甚至更高！ I/O 是虚拟环境中最重要的性能瓶颈之一，但是即使 内存，VMware ESX 可以在相同的硬件上支持 更多的虚拟机。在所有 x86 裸机虚拟化管理程序中，只有 VMware ESX 支持内存过量使用，此功 能允许为虚拟机分配的内存量超过主机上安装的物理内存量。通过结合多项独有的技术，VMware ESX 可在尽量不影响性能的前提下支持内存过量使用。 基于内容的透明内存页面共享能够在具有类似客户操作系统的多个虚拟机间找出完全相同的内存页面，

viii. 编辑网络配置文件 ix. 实例：创建一个点到点连接 11. 实战案例 i. 使用 Supervisor 来管理进程 ii. 创建 tomcat/weblogic 集群 iii. 多台物理主机之间的容器互联 iv. 标准化开发测试和生产环境 12. 安全 i. 内核名字空间 ii. 控制组 iii. 服务端防护 iv. 内核能力机制 v. 其它安全特性 vi. 总结 开发、测试、部署的时间。 Docker 容器的运行不需要额外的 hypervisor 支持，它是内核级的虚拟化，因此可以实现更高的性能和效 率。 Docker 容器几乎可以在任意的平台上运行，包括物理机、虚拟机、公有云、私有云、个人电脑、服务器 等。 这种兼容性可以让用户把一个应用程序从一个平台直接迁移到另外一个。 使用 Docker，只需要小小的修改，就可以替代以往大量的更新工作。所有的修改都以增量的方式被分发和 —— 从入门到实践 63 端口映射实现 Docker 服务默认会创建一个 docker0 网桥（其上有一个 docker0 内部接口），它在内核层连通了其他 的物理或虚拟网卡，这就将所有容器和本地主机都放到同一个物理网络。 Docker 默认指定了 docker0 接口 的 IP 地址和子网掩码，让主机和容器之间可以通过网桥相互通信，它 还给出了 MTU（接口允许接收的最大传输单元），通常是

Fusion 的工作原理 VMware Fusion 将物理硬件资源映射到虚拟机的资源，因此每个虚拟机都有其各自的处理器、内存、磁盘、 I/O 设备等。虽然虚拟机在 Mac 上只表示为一个文件包，但每个虚拟机都是一个完整的标准 x86 电脑。 VMware, Inc. 5 安装 VMware Fusion 并创建虚拟机后，您便可以像在物理 PC 上那样，在虚拟机中运行完整且未经修改的操作 系 Fusion，您无需支付额外的费用、无需进行物理安装和 维护，就可以拥有另一台 PC。 用于运行 VMware Fusion 的电脑操作系统称为宿主机操作系统。Mac OS X 和 Mac OS X Server 是唯一支持 VMware Fusion 的两款宿主机操作系统。在 VMware Fusion 内运行的虚拟操作系统称为客户机操作系统。 虚拟机的定义 虚拟机是一种由软件组成的电脑，它与物理机一样，可以运行操作系统和应用程序。 上，虚拟机以窗口的形式运行。您可以在虚拟机中安装操作系统和应用程序，并像 物理机一样进行操作。操作系统、应用程序或网络中的其他电脑都无法区分虚拟机和物理机。在物理机中可以 执行的任何操作（安装软件、存储文件、添加其他驱动器等），在虚拟机中同样可以执行。 虚拟机可完全摆脱对底层物理硬件的依赖。例如，您可以使用与底层物理硬件组件完全不同的虚拟组件来配置 一个虚拟机。位于同一物理宿主机中的多个虚拟机，可以运行不同的操作系统（Windows、Linux、Mac

@3 代码@1：首先介绍一下几个局部变量的含义：  maxOffsetPy 当前最大的物理偏移量。返回的偏移量为已存入到操作系统的 PageCache 中的内容。  maxPhyOffsetPulling 本次消息拉取最大物理偏移量，按照消息顺序拉取的基本原则，可以基本预测下次开始 拉取的物理偏移量将大于该值，并且就在其附近。  diff maxOffsetPy 与 maxPhyOffsetPulling StoreUtil.TOTAL_PHYSICAL_MEMORY_SIZE 返回当前系统的总物理内存。参数  accessMessageInMemoryMaxRatio 设置消息存储在内存中的阀值，默认为 40。 结合代码@2 这两个参数的含义，算出 RocketMQ 消息能映射到内存中最大值为 40% * (机器物理内存)。 代码@3：设置下次拉起是否从从拉取标记，触发下次从从服务器拉取的条件为：当前 ：当前 所有可用消息数据(所有 commitlog)文件的大小已经超过了其阔值，默认为物理内存的 40%。 那 GetResult 的 suggestPullingFromSlave 属性在哪里使用呢？ 本文来自『中间件兴趣圈』公众号，仅作技术交流，未授权任何商业行为。 1.4 RocketMQ HA 核心工作机制 < 42 PullMessageProcessor#processRequest

Rocketmq 的消息的存储是由 consume queue 和 commitLog 配合完成的 1） consume queue 消息的逻辑队列，相当于字典的目录用来指定消息在消息的真正的物理 文件 commitLog 上的位置, 每个 topic 下的每个 queue 都有一个对应的 consumequeue 文件。 文件地址：${user.home} \store\consum 分组死信队列，如果消费端重试超过指定次数，发送死信队列 (4) 每个 ConsumeQueue 可以由多个文件组成无限队列被 MapedFileQueue 对象管理 2） CommitLog 消息存放物理文件，每台 broker 上的 commitLog 被本机器所有 queue 共享不 做区分 文件地址：${user.home} \store\${commitlog}\${fileName} ，要通过这个值查找到 consume queue 中数据， QUEUEOFFSET * 20 才是偏移地址 + 8 // PHYSICALOFFSET 代表消息在 commitLog 中的物理起始地址偏移量 + 4 //SYSFLAG 消息标志，指明消息是事物事物状态等等消息特征 + 8 // BORNTIMESTAMP 消息产生端(producer)的时间戳

服务元数据下发 OSP client 服务路由 网络传输 服务元数据上报缺点 • 语言单一 • 升级困难 • 复杂代码嵌入对客户端进程影响大服务化体系2.0 - Service Mesh雏形 • 物理机、sidecar • Local & Remote，主与备 • 轻量级客户端、本地调用 • Local Proxy负责服务治理与 远程通信 • Remote Proxy负责备份和非 主流流量 Local Proxy OSP client Pod OSP client Web Server Reg agent Proxy address File 服务注册 宿主机 物理机 物理机 Tracing system Trace-log Trace-log 用户与Istio的区别 我是作者名称没有对称的server端agent • 性能考虑 • Proxy已经增加了一跳，server再增加一跳会加剧 件会给自定义需求带来障碍。 • 保持客户端选择proxy的自由度和灵活性，在我们的实践中好处大 于坏处胖客户端 vs. service mesh vs. cluster 胖客户端 Sidecar（物理机） Daemonset（云） Cluster（HTTP） 接入难度 容易。打入依赖包即可 容易。需依赖SDK 容易。需依赖SDK 编码难度 容易。IDL接口规范 容易。IDL接口规范 难。需要自行处理HTTP请求和

务，要求交付快释放快 上云前的现状 •大量物理机部署 •技术栈单一，90%为golang •最多时有200个AB服务，均单独部署 •研发有在机器上调试的需求 私有云建设⽅案 Kubernetes提供了什么 •Pods •Services •DNS •ConfigMaps 整体思路 • 容器能不能做无状态的“物理机”来用？不用它的服 务发现，不用它的负载均衡，不用它的配置中心。 •Supervisord •Syslog •Sshd •业务二进制 •配置文件 容器方案 •Supervisord守护其它进程 •通过ssh登陆 •集成大量工具 •使用方式与物理机无异 问题：上容器有多大性能损失？ 没有频繁的磁盘访问的应用容器和本地进程无异，网络为主要开消 想要的网络方案 •全网能够互通 •简单能掌控 •后续能定制 •尽量减少链路时延 网络支持BGP，架构复杂 方案三：Macvlan网络方案 Macvlan是Linux操作系统内核提供的网络虚拟化方案之一 它可以为一张物理网卡设置多个mac地址 Macvlan Wins！ •几乎是业界最快网络模型 •网络延迟几乎与物理机一致 •简单的设计，易掌控 集群方案 一个超大集群还是多个中小集群？ 集群方案 •超级部署屏蔽K8S的各类资源 •一个部署调度到多个集群

control plane 机器上部署 OpenShift Container Platform 集群。您可在安装集群后删除 bootstrap 机器。 重要 重要 要保持集群的高可用性，请将独立的物理主机用于这些集群机器。 bootstrap 和 control plane 机器必须使用 Red Hat Enterprise Linux CoreOS (RHCOS) 作为操作系统。但 是，计算机器可以在 4 16 GB 100 GB 300 Compute RHCOS 或 RHEL 7.9 2 8 GB 100 GB 300 1. 当未启用并发多线程(SMT)或超线程时，一个 CPU 相当于一个物理内核。启用后，使用以下公式 来计算对应的比率：（每个内核数的线程）LIMIT 插槽 = CPU。 2. OpenShift Container Platform 和 Kubernetes 对磁盘性能非常敏感，建议使用更快的存储速度， 机器数量。由于集群将这个值用作集群中 etcd 端点的数量，因此该值 必须与您部署的 control plane 机器数量匹配。 您在 DNS 记录中指定的集群名称。 从中分配 pod IP 地址的 IP 地址块。此块不得与现有的物理网络重叠。这些 IP 地址用于 pod 网络。 如果您需要从外部网络访问 pod，请配置负载均衡器和路由器来管理流量。 注意 注意 类 E CIDR 范围保留给以后使用。要使用 Class E CIDR

hadoop103:8088 查看 CPU 核数，设置为（CPU 核数 - 1） ➢ Number of files：生成 mapTask 数量，一般是集群中（CPU 核数-1），我们测试虚 拟机就按照实际的物理内存-1 分配即可 ➢ Total MBytes processed：单个 map 处理的文件大小 ➢ Throughput mb/sec:单个 mapTak 的吞吐量 计算方式：处理的总文件大小/每一个 pcores-vcores-multiplier 虚拟核数和物理核数乘数，例 如：4 核 8 线程，该参数就应设为 2 yarn.nodemanager.resource.detect-hardware-capabilities 是否让 yarn 自己检测硬 件进行配置 yarn.nodemanager.pmem-check-enabled 是否开启物理内存检查限制 container yarn.nodemanager nodemanager.vmem-check-enabled 是否开启虚拟内存检查限制 container yarn.nodemanager.vmem-pmem-ratio 虚拟内存物理内存比例 （3）Container 容器相关 yarn.scheduler.minimum-allocation-mb 容器最小内存 yarn.scheduler.maximum-allocation-mb