Platform 4.6 中，OpenShift SDN 支 持在默认的网络隔离模式中使用网络策略。 注意 注意 在使用 OpenShift SDN 集群网络供应商时，网络策略会有以下限制： 不支持由 egress 字段指定的出口网络策略。 网络策略支持 IPBlock，但不支持 except。如果创建的策略带有一个有 except 的 IPBlock 项，SDN pod 的日志中会出现警告，策略中的整个 To Port: (traffic allowed to all ports) From: PodSelector: Not affecting egress traffic Policy Types: Ingress kind: NetworkPolicy apiVersion: networking.k8s.io/v1 metadata: ports) From: NamespaceSelector: network.openshift.io/policy-group: ingress Not affecting egress traffic Policy Types: Ingress Name: allow-from-openshift-monitoring OpenShift Container

Kubernetes 服务发现。 部署 部署 维护应用程序生命周期的 Kubernetes 资源对象。 domain Domain（域）是 Ingress Controller 提供的 DNS 名称。 egress 通过来自 pod 的网络出站流量进行外部数据共享的过程。 外部 外部 DNS Operator External DNS Operator 部署并管理 ExternalDNS，以便为从外部 Platform 4.9 中，OpenShift SDN 支 持在默认的网络隔离模式中使用网络策略。 注意 注意 在使用 OpenShift SDN 集群网络供应商时，网络策略会有以下限制： 不支持由 egress 字段指定的网络策略出口。在 OpenShift SDN 中，出口防火墙 也称为出口网络策略。这和网络策略出口不同。 网络策略支持 IPBlock，但不支持 except。如果创建的策略带有一个有 - Ingress - Egress --- apiVersion: networking.k8s.io/v1 kind: NetworkPolicy metadata: name: allow-from-same-namespace spec: podSelector: {} policyTypes: - Ingress - Egress ingress:

Kubernetes 服务发现。 部署 部署 维护应用程序生命周期的 Kubernetes 资源对象。 domain Domain（域）是 Ingress Controller 提供的 DNS 名称。 egress 通过来自 pod 的网络出站流量进行外部数据共享的过程。 外部 外部 DNS Operator External DNS Operator 部署并管理 ExternalDNS，以便为从外部 ingress 或 egress 规则的一 个网络策略比带有 ingress 或 egress 子集的多个网络策略更高效。 每个基于 podSelector 或 namespaceSelector spec 的 ingress 或 egress 规则会生成一个的 OVS 流数量，它与由网 由网络 络策略 策略选择 选择的 的 pod 数量 数量 + 由 由 ingress 或 或 egress 选择 选择的 网 网络 络策略 策略 209 以下策略表示这两个规则与以下相同的规则： 相同的指南信息适用于 spec.podSelector spec。如果不同的网络策略有相同的 ingress 或 egress 规则，则创建一个带有通用的 spec.podSelector spec 可能更有效率。例如，以下两个 策略有不同的规则： 以下网络策略将这两个相同的规则作为一个： apiVersion: networking

Pilot: The service running within the istiod service that handles service discovery. • Istio Ingress/Egress: Networking controls allowing inbound and outbound access of Istio services. • Istio Envoy Usage: with a Sidecar Impact If an Istio user relies on the Envoy sidecar for network restrictions such as egress controls, an attacker can bypass this sidecar and easily evade these controls. Description Istio can provide may be unclear to users especially when relying on features like REGISTRIES_ONLY7 or Egress policies. A service mesh is different than a CNI in that one facilitates communications, and the

2019 PoC OCP 3.11 Istio 1.0 Make It Simple Event Hub DBs SERVICE MESH Istio Ingress Istio Egress Other External Services Tracing Store Logging Store LB January 2019 PROD PoC March 2020 HA & DR Tracing Store Logging Store Event Hub DBs Istio Egress Other External Services Istio Ingress OCP 4.1 Istio 1.1 Istio Egress Istio Ingress OCP 4.1 LB LB LB TROUBLE SHOOTING January LB LB LB Istio Ingress Istio Egress Istio Ingress Istio Egress Istio 1.4 Istio 1.4 Service Mesh Operator Istio Ingress Istio Egress Istio Ingress Istio Egress Istio 1.4 Istio 1.4 Service Mesh

mutual TLS ● Implementing mutual TLS ○ Centralized Certificate Management ○ Ingress mutual TLS ○ Egress mutual TLS ● Challenge & Future Works GoPay & Istio About ● A few hundred developers ● Multiple subjectAltNames to verify client SAN ● Additional AuthorizationPolicy to add IP allow listing Egress Mutual TLS ● Using Egress TLS origination ● Certificate is mounted in the client deployments using annotation Challenge ● Client egress communication sometime got 503 error (Istio #26990). This is fixed by adding retry mechanism in the Virtual Service object. Future Works ● Migrating Egress TLS origination mechanism

它会截获所有入站（ingress）和出站（egress）网络流量。 Istio 数据平面由与 pod 中侧应用程序容器一起运行的 Envoy 容器组成。Envoy 容器充当代理，控制与 pod 往来的所有网络通信。 Envoy 代理 是与 data plane 流量交互的唯一 Istio 组件。服务之间的所有传入（ingress）和传出 （egress）网络流量通过代理流。Envoy 代理还会收 代理，用于接 收和控制进入服务网格的流量。Ingress 网关允许将监控和路由规则等功能应用到进入集 群的流量。 Egress-gateway - 另外称为出口控制器（Egress Gateway），Egress 网关是一个专用 的 Envoy 代理，用于管理离开服务网格的流量。Egress 网关允许对流量退出网格应用监 控和路由规则等功能。 control plane 管理并配置组成数据平面的代理 spec.gateways.enabled=false 可禁用入口和出口网关。 spec.gateways.ingress.enabled=false 禁用入口网关。 spec.gateways.egress.enabled=false 禁用出口网关。 注意 注意 Operator 注解了默认网关，以指示它们由 Red Hat OpenShift Service Mesh Operator 生 成并管理。

Plane Service mesh security architecture Cluster Workload Edge Operations Ingress Policies Egress Policies WAF / IDS Firewall User AuthN/Z Data Loss Prevention Certificate Authority K8s firewall to defend against DDoS, injection, remote execution attacks. Edge security Egress 2. Define egress security policies to defend against data exfiltration, botnet attacks. 3. Define firewall security Workload security Operation security best practices Service Proxy Ingress Egress 2. Automatically rejects invalid configurations. Gatekeeper GitOps 1. Automatically manage source

into eBPF assembly code • Inject to kernel • Attach to network tc hooks • Triggered by ingress/egress packets IPVS bypass conntrack • Why IPVS depends on conntrack? • Iptables/conntrack SNAT • NULL during PREROUTING • No de-fragment is done during PREROUTING IPVS bypass conntrack (con.) • Egress • Original way • Nf local-out -> ip_output nf post-route -> ip_finish_output • The new way • • eBPF program is easy to deploy • How to do SNAT in eBPF • Do SNAT in TC egress • Do reverse SNAT in TC ingress Tc egress Hit eBPF map? Does SNAT nic nic Y N • How IPVS talks with eBPF program

TP TP Operator Lifecycle Manager TP GA Red Hat OpenShift Service Mesh TP TP "Fully Automatic" Egress IPs GA GA Pod Priority and Preemption GA GA Dockerfiles 的 Multi-stage build TP GA OVN TP 基于 openshift4/ose-docker-builder openshift4/ose-docker-registry openshift4/ose-egress-dns-proxy openshift4/ose-egress-http-proxy openshift4/ose-egress-router openshift4/ose-elasticsearch-operator openshift4/ose-etcd