 Elasticity and state migration: Part I - CS 591 K1: Data Stream Processing and Analytics Spring 2020Vasiliki (Vasia) Kalavri vkalavri@bu.edu Spring 2020 4/02: Elasticity policies and state migration ??? Vasiliki Kalavri | Boston University 2020 Streaming applications are long-running • Workload requires state migration with correctness guarantees. ??? Vasiliki Kalavri | Boston University 2020 State migration 29 ??? Vasiliki Kalavri | Boston University 2020 State migration strategies • Stop-and-restart during migration if the state is large • Progressive • move state to be migrated in smaller pieces, e.g. key-by-key • can be used to interleave state transfer with processing • migration duration0 码力 | 93 页 | 2.42 MB | 1 年前3 Elasticity and state migration: Part I - CS 591 K1: Data Stream Processing and Analytics Spring 2020Vasiliki (Vasia) Kalavri vkalavri@bu.edu Spring 2020 4/02: Elasticity policies and state migration ??? Vasiliki Kalavri | Boston University 2020 Streaming applications are long-running • Workload requires state migration with correctness guarantees. ??? Vasiliki Kalavri | Boston University 2020 State migration 29 ??? Vasiliki Kalavri | Boston University 2020 State migration strategies • Stop-and-restart during migration if the state is large • Progressive • move state to be migrated in smaller pieces, e.g. key-by-key • can be used to interleave state transfer with processing • migration duration0 码力 | 93 页 | 2.42 MB | 1 年前3
 OpenShift Container Platform 4.13 网络Container Platform 活 活动 动 在 Cluster Network Operator 配置中设置以下值: spec.migration.mtu.machine.to spec.migration.mtu.network.from spec.migration.mtu.network.to Cluster Network Operator(CNO) :确认每个字段都 设置为有效的值。 更改部署新的 NetworkManager 连接配置集 通过 DHCP 服务器设置更改 MTU 通过引导参数更改 MTU N/A 在网络插件的 CNO 配置中设置 mtu 值,并将 spec.migration 设置为 null。 Machine Config Operator(MCO) :使用新的 MTU 配置执行集群中每个节点的滚动重启。 13.2. 更改集群 MTU 作为集群管理员,您可以更改集群的最大传输单元(MTU)。当 done $ oc patch Network.operator.openshift.io cluster --type=merge --patch \ '{"spec": { "migration": { "mtu": { "network": { "from": OpenShift Container Platform 4.13 网络Container Platform 活 活动 动 在 Cluster Network Operator 配置中设置以下值: spec.migration.mtu.machine.to spec.migration.mtu.network.from spec.migration.mtu.network.to Cluster Network Operator(CNO) :确认每个字段都 设置为有效的值。 更改部署新的 NetworkManager 连接配置集 通过 DHCP 服务器设置更改 MTU 通过引导参数更改 MTU N/A 在网络插件的 CNO 配置中设置 mtu 值,并将 spec.migration 设置为 null。 Machine Config Operator(MCO) :使用新的 MTU 配置执行集群中每个节点的滚动重启。 13.2. 更改集群 MTU 作为集群管理员,您可以更改集群的最大传输单元(MTU)。当 done $ oc patch Network.operator.openshift.io cluster --type=merge --patch \ '{"spec": { "migration": { "mtu": { "network": { "from":- , "to": - } , "machine": { "to" : 0 码力 | 697 页 | 7.55 MB | 1 年前3
 Istio is a long wild river: how to navigate it safelyservice migration, we need to: ○ Write the ClusterIP service equivalent ○ Make sure Istio-enabled callers update their config with the ClusterIP service ○ Keep a double standard during migration Compounding sustainable approach: ● Use your CD tooling (i.e. Spinnaker) to automate this migration ● Ask users to use the migration pipeline when onboarding with Istio This approach is quite similar to canary release Adopting Istio ● Headless services are erratic with Istio, use ClusterIP services instead, plan the migration wisely ● Use automation pipelines to label Deployments for traffic shifting ● Istio has a risky0 码力 | 69 页 | 1.58 MB | 1 年前3 Istio is a long wild river: how to navigate it safelyservice migration, we need to: ○ Write the ClusterIP service equivalent ○ Make sure Istio-enabled callers update their config with the ClusterIP service ○ Keep a double standard during migration Compounding sustainable approach: ● Use your CD tooling (i.e. Spinnaker) to automate this migration ● Ask users to use the migration pipeline when onboarding with Istio This approach is quite similar to canary release Adopting Istio ● Headless services are erratic with Istio, use ClusterIP services instead, plan the migration wisely ● Use automation pipelines to label Deployments for traffic shifting ● Istio has a risky0 码力 | 69 页 | 1.58 MB | 1 年前3
 Fault-tolerance demo & reconfiguration - CS 591 K1: Data Stream Processing and Analytics Spring 2020reconfiguration mechanism often relies on fault-tolerance mechanism • State re-partitioning and migration • minimize communication • keep duration short • minimize performance disruption, e.g. latency • Partitioning function performance • space required to implement routing • lookup cost • Migration performance • re-assignment computation cost • state movement cost 25 State redistribution • Evenly distributes keys across parallel tasks • Fast to compute, no routing state • High migration cost • When a new node is added, state is shuffled across existing and new nodes • Random I/O0 码力 | 41 页 | 4.09 MB | 1 年前3 Fault-tolerance demo & reconfiguration - CS 591 K1: Data Stream Processing and Analytics Spring 2020reconfiguration mechanism often relies on fault-tolerance mechanism • State re-partitioning and migration • minimize communication • keep duration short • minimize performance disruption, e.g. latency • Partitioning function performance • space required to implement routing • lookup cost • Migration performance • re-assignment computation cost • state movement cost 25 State redistribution • Evenly distributes keys across parallel tasks • Fast to compute, no routing state • High migration cost • When a new node is added, state is shuffled across existing and new nodes • Random I/O0 码力 | 41 页 | 4.09 MB | 1 年前3
 OpenShift Container Platform 4.13 虚拟化载 virtctl 下载 virtctl 命令行工具来管理资源。 概述 概述标签页 资源、使用量、警报和状态 顶级 顶级消 消费 费者 者选项卡 CPU、内存和存储资源的主要使用者 Migration 标签页 实时迁移状态 第 第 4 章 章 WEB 控制台概述 控制台概述 17 设 设置 置标签页 集群范围的设置,包括实时迁移限制和用户权限 元素 元素 描述 描述 4.1.1. 存 存储 储 IOPS图表 带有最高存储输入/输出操作的 VirtualMachines 每秒使用。 4.1.3. Migration 标签页 Migrations 选项卡显示 VirtualMachineInstance 迁移的状态。 例 例 4.4. Migration 标签页 标签页 元素 元素 描述 描述 时间 时间周期 周期列表 选择一个时间段来过滤 VirtualMachin 4.1.4.2. 实时迁移 迁移标签页 您可以在实时 实时迁移 迁移选项卡中配置实时迁移。 例 例 4.6. 实时 实时迁移 迁移标签页 标签页 元素 元素 描述 描述 Max. migration per cluster 字段 选择每个集群的最大实时迁移数量。 Max. migrations per node 字段 选择每个节点的最大实时迁移数量。 实时 实时迁移网 迁移网络 络列表0 码力 | 393 页 | 4.53 MB | 1 年前3 OpenShift Container Platform 4.13 虚拟化载 virtctl 下载 virtctl 命令行工具来管理资源。 概述 概述标签页 资源、使用量、警报和状态 顶级 顶级消 消费 费者 者选项卡 CPU、内存和存储资源的主要使用者 Migration 标签页 实时迁移状态 第 第 4 章 章 WEB 控制台概述 控制台概述 17 设 设置 置标签页 集群范围的设置,包括实时迁移限制和用户权限 元素 元素 描述 描述 4.1.1. 存 存储 储 IOPS图表 带有最高存储输入/输出操作的 VirtualMachines 每秒使用。 4.1.3. Migration 标签页 Migrations 选项卡显示 VirtualMachineInstance 迁移的状态。 例 例 4.4. Migration 标签页 标签页 元素 元素 描述 描述 时间 时间周期 周期列表 选择一个时间段来过滤 VirtualMachin 4.1.4.2. 实时迁移 迁移标签页 您可以在实时 实时迁移 迁移选项卡中配置实时迁移。 例 例 4.6. 实时 实时迁移 迁移标签页 标签页 元素 元素 描述 描述 Max. migration per cluster 字段 选择每个集群的最大实时迁移数量。 Max. migrations per node 字段 选择每个节点的最大实时迁移数量。 实时 实时迁移网 迁移网络 络列表0 码力 | 393 页 | 4.53 MB | 1 年前3
 VMware Infrastructure 简介对象具有相关的操作,但可能没有属性。另请参见 “data object (数据对象)”。 migration (迁移) 在主机间移动虚拟机。除非使用 VMotion,否则在迁移时必须关闭虚拟机。另请 参见 “migration with VMotion (使用 VMotion 迁移)”。 migration with VMotion (使用 VMotion 迁移) 迁移已启动且满足选定要求的虚拟机,要求为在源主机和目标主机上激活 源主机和目标主机皆已获得许可证。 VMotion 由 VirtualCenter 代理激活。 VirtualCenter Server 负责集中协调所有 VMotion 活动。另请参见 “migration with VMotion (使用 VMotion 迁移)”。 VMware File System (VMFS) (VMware 文件系统 (VMFS)) 专门优化存储虚拟机的文件系统。一个0 码力 | 42 页 | 2.41 MB | 1 年前3 VMware Infrastructure 简介对象具有相关的操作,但可能没有属性。另请参见 “data object (数据对象)”。 migration (迁移) 在主机间移动虚拟机。除非使用 VMotion,否则在迁移时必须关闭虚拟机。另请 参见 “migration with VMotion (使用 VMotion 迁移)”。 migration with VMotion (使用 VMotion 迁移) 迁移已启动且满足选定要求的虚拟机,要求为在源主机和目标主机上激活 源主机和目标主机皆已获得许可证。 VMotion 由 VirtualCenter 代理激活。 VirtualCenter Server 负责集中协调所有 VMotion 活动。另请参见 “migration with VMotion (使用 VMotion 迁移)”。 VMware File System (VMFS) (VMware 文件系统 (VMFS)) 专门优化存储虚拟机的文件系统。一个0 码力 | 42 页 | 2.41 MB | 1 年前3
 OpenShift Container Platform 4.10 虚拟化OpenShift Virtualization 中删除。它被 Migration Toolkit for 第 第 3 章 章 OPENSHIFT VIRTUALIZATION 发 发行注 行注记 记 9 VM Import Operator 已从 OpenShift Virtualization 中删除。它被 Migration Toolkit for Virtualization 替代。 completionTimeoutPerGiB 如果迁移未能在此时间内完成则会取消,以每 GiB 内 存秒数为单位。例如,如果 6GiB 内存的虚拟机实例未 能在 4800 秒内完成,该虚拟机实例将超时。如果 Migration Method 是 BlockMigration,则迁移磁 盘的大小纳入计算中。 800 progressTimeout 如果内存复制未能在此时间内取得进展,则会取消迁 移,以秒为单位。 载的网络饱和 影响。 apiVersion: kubevirt.io/v1 kind: VirtualMachineInstanceMigration metadata: name: migration-job spec: vmiName: vmi-fedora $ oc create -f vmi-migrate.yaml 第 第 10 章 章 实时 实时迁移 迁移 229 10 码力 | 307 页 | 3.45 MB | 1 年前3 OpenShift Container Platform 4.10 虚拟化OpenShift Virtualization 中删除。它被 Migration Toolkit for 第 第 3 章 章 OPENSHIFT VIRTUALIZATION 发 发行注 行注记 记 9 VM Import Operator 已从 OpenShift Virtualization 中删除。它被 Migration Toolkit for Virtualization 替代。 completionTimeoutPerGiB 如果迁移未能在此时间内完成则会取消,以每 GiB 内 存秒数为单位。例如,如果 6GiB 内存的虚拟机实例未 能在 4800 秒内完成,该虚拟机实例将超时。如果 Migration Method 是 BlockMigration,则迁移磁 盘的大小纳入计算中。 800 progressTimeout 如果内存复制未能在此时间内取得进展,则会取消迁 移,以秒为单位。 载的网络饱和 影响。 apiVersion: kubevirt.io/v1 kind: VirtualMachineInstanceMigration metadata: name: migration-job spec: vmiName: vmi-fedora $ oc create -f vmi-migrate.yaml 第 第 10 章 章 实时 实时迁移 迁移 229 10 码力 | 307 页 | 3.45 MB | 1 年前3
 Hadoop 迁移到阿里云MaxCompute 技术方案..................................................................... 17 4.1 MMA(MaxCompute Migration Assist) ................................................................................ 17 4 Hadoop 托管服务 4 Hadoop 到 MaxCompute 迁移工具介绍 4.1 MMA(MaxCompute Migration Assist) 阿里云 MaxCopute 产品面向 Hadoop 用户提供配套的搬迁工具 MaxCompute Migration Assist(简称 MMA),利用该工具帮助用户进行迁移事前评估、利用工具加速迁移进程并降低迁 移风险。 4.10 码力 | 59 页 | 4.33 MB | 1 年前3 Hadoop 迁移到阿里云MaxCompute 技术方案..................................................................... 17 4.1 MMA(MaxCompute Migration Assist) ................................................................................ 17 4 Hadoop 托管服务 4 Hadoop 到 MaxCompute 迁移工具介绍 4.1 MMA(MaxCompute Migration Assist) 阿里云 MaxCopute 产品面向 Hadoop 用户提供配套的搬迁工具 MaxCompute Migration Assist(简称 MMA),利用该工具帮助用户进行迁移事前评估、利用工具加速迁移进程并降低迁 移风险。 4.10 码力 | 59 页 | 4.33 MB | 1 年前3
 OpenShift Container Platform 4.9 网络起的步骤 骤 迁移操作 迁移操作 将名为 cluster 的 Network.operator.openshift.io 自定义资源 (CR)的 migration 字段设置为 OVNKubernetes。在设置值之前,请确保 migration 项为 null。 Cluster Network Operator (CNO) 相应地更新名为 cluster 的 Network.config 以确保它不会中断迁移。 MCO 停止。 将名为 cluster 的 Network.operator.openshift.io 自定义资源(CR) 的 migration 字段设置为 OpenShiftSDN。在设置 值之前,请确保 migration 项为 null。 CNO 相应地更新名为 cluster 的 Network.config.openshift.io CR 的状态。 更新 networkType 要备份集群网络的配置,请输入以下命令: 2. 要为迁移准备所有节点,请输入以下命令在 Cluster Network Operator 配置对象上设置 migration 字段: 注意 注意 此步骤不会立即部署 OVN-Kubernetes。相反,指定 migration 字段会触发 Machine Config Operator(MCO)将新机器配置应用到集群中的所有节点,以准 备 OVN-Kubernetes0 码力 | 388 页 | 4.04 MB | 1 年前3 OpenShift Container Platform 4.9 网络起的步骤 骤 迁移操作 迁移操作 将名为 cluster 的 Network.operator.openshift.io 自定义资源 (CR)的 migration 字段设置为 OVNKubernetes。在设置值之前,请确保 migration 项为 null。 Cluster Network Operator (CNO) 相应地更新名为 cluster 的 Network.config 以确保它不会中断迁移。 MCO 停止。 将名为 cluster 的 Network.operator.openshift.io 自定义资源(CR) 的 migration 字段设置为 OpenShiftSDN。在设置 值之前,请确保 migration 项为 null。 CNO 相应地更新名为 cluster 的 Network.config.openshift.io CR 的状态。 更新 networkType 要备份集群网络的配置,请输入以下命令: 2. 要为迁移准备所有节点,请输入以下命令在 Cluster Network Operator 配置对象上设置 migration 字段: 注意 注意 此步骤不会立即部署 OVN-Kubernetes。相反,指定 migration 字段会触发 Machine Config Operator(MCO)将新机器配置应用到集群中的所有节点,以准 备 OVN-Kubernetes0 码力 | 388 页 | 4.04 MB | 1 年前3
 OpenShift Container Platform 4.6 关于Kiali Operator 由红帽提供的 metering(已弃用) 未包含 包括 N/A Containers Operator 的 Migration Toolkit 未包含 包括 Containers Operator 的 Migration Toolkit OpenShift 的成本管理 不包括 包括 N/A Red Hat JBoss Web Server 不包括 包括 JWS0 码力 | 26 页 | 718.91 KB | 1 年前3 OpenShift Container Platform 4.6 关于Kiali Operator 由红帽提供的 metering(已弃用) 未包含 包括 N/A Containers Operator 的 Migration Toolkit 未包含 包括 Containers Operator 的 Migration Toolkit OpenShift 的成本管理 不包括 包括 N/A Red Hat JBoss Web Server 不包括 包括 JWS0 码力 | 26 页 | 718.91 KB | 1 年前3
共 180 条
- 1
- 2
- 3
- 4
- 5
- 6
- 18














 
 