开启了ipvs模式的k8s结点上执行ip addr命令会看到名为kube-ipvs0的接口名 ⑥部署flannel网络插件 flannel只是pod容器网络的一种实现方式，还可使用calico，canal等其他网络方 案，一套k8s集群只可使用一种网络插件 flannel使得跨主机的Pod之间能通信，底层实现是使用了vxlan flannel源码地址： h�ps://github.c #查看当前结点注册的pod子网信息 ⑦部署calico网络插件（与flannel二选一） 官 方 指 导 ： h�ps://docs.�gera.io/calico/latest/ge�ng- started/kubernetes/quickstart # mkdir ~/calico # cd ~/calico # wget h�ps://raw.githubusercontent com/projectcalico/calico/v3.26.1/manifests/�gera- operator.yaml # wget h�ps://raw.githubusercontent.com/projectcalico/calico/v3.26.1/manifests/custom- resources.yaml #创建控制器 Install the Tigera Calico operator

软件定义网络跨节点通讯 统 一 集 中 运 营 管 理 gitlab jenkins helm ceph nfs prometheus filebeat elastsearch flanneld calico openstack kvm docker 镜 像 管 理 弹性伸缩 智能调度 配置管理 健康检查 服务发现 动态dns 负载均衡 容器监控 日志采集 应用监控 节点监控 动态存储 flannel vs calico 采用万兆网卡的虚拟机，测试方法是不同node节点开启qperf测试 结论： tcp延迟:calico-bgp<calicocalico-ipip>flannel_host-gw>calico-bgp>host 带宽：host>calico-bgp>fl annel_host-gw>flannel-vxlan>calico-ipip host:指物理机直连网络 calico-bgp:二层bgp模式，自动学习路由 flannel_host-gw:二层直接路由模式 flannel-vxlan:跨三层隧道模式 calico-ipip:跨三层隧道模式 348 279 239 212 208 0 50 100 150 200 250

MacVLAN / SRIOV / IPVLAN CNI 提供对外访问 IP，实现 Pod 二层对 外通信能力。 搭配 Calico 动态虚拟网络，降低网络运维难度，并节省 IP 资源。 如果在应用落地场景中没有对外访问需求，可以不安装 Underlay CNI。 Calico + MacVLAN/SR-IOV/IPVLAN + SpiderPool + Multus 此方案适用于低内核版本的 SpiderPool。 3. 通过 MacVLAN / SRIOV / IPVLAN CNI 提供对外访问 IP，实现 Pod 二层对 外通信能力。 搭配 Calico 动态虚拟网络，降低网络运维难度，节省 IP 资 源。 在此方案组合中，Calico 为必备的网络 CNI。如果在应用落地场景中，没有 对外访问需求，可以不安装 Underlay CNI。 4. 通过 Submariner 组件打通跨集群

s/admin.conf source /root/.bashrc Step5: 安装网络插件 calico wget https://docs.projectcalico.org/v3.8/manifests/calico.yaml vi calico.yaml ...... spec: containers: - env: - name: DATASTORE_TYPE interface=ens160 #指定内网网卡 - name: WAIT_FOR_DATASTORE value: "true" ...... kubectl apply -f calico.yaml Step6: 查看节点 kubectl get nodes NAME STATUS ROLES AGE VERSION k8s-master

多用户共享Kubernetes集群 通过二级域名发布服务 覆盖网络（Overlay） Flannel 利用路由协议的SDN 方案——calico Kuryr 一个Docker远程驱动 网络集成方案比较 可以排除的组合 网络集成方案比较 可行方案 IaaS层网络 PaaS层网络 适用场景 Calico Kuryr 不需要多租户隔离，大量使用容器技术，对性能 要求很高 Overlay Kuryr 需要多租户隔离，需要统一管理容器网络和虚拟 需要多租户隔离，需要统一管理容器网络和虚拟 机网络，将容器用作轻量级虚拟机，对性能要求 较高 Overlay Calico 需要多租户隔离，对容器网络的管理独立于虚拟 机网络 Overlay Overlay 需要多租户隔离，对容器网络的管理独立于虚拟 机网络，对性能要求不高；快速集成，用于测试 Kubernetes网络方案 曾经遇到的坑和解决方案 覆盖网络造成的MTU Size 问题 Ø 问题 Ø

Flannel、 Canal、 Calico、 Tigera EE,Multus、 SR-IOV、CIlium 和 JuniperContrail • Red Hat Openshift支援OpenShift SDN, Flannel, Calico, Nuage, Kuryr, OvS, Multus及SR-IOV. • Rancher支援Canal, Calico, Flannel及Weave

•后续能定制 •尽量减少链路时延 琳琅满目的网络方案 •Flannel •Calico •Cilium •Kube-Router •Macvlan •… (剩余几十个) 方案一：Flannel网络方案 基础网络IP可达就可用，适用性高，有一定网络延迟 方案二：Calico网络方案 基于BGP做动态路由发现的网络模型，需要基础网络支持BGP，架构复杂 方案三：Macvlan网络方案

通过云原⽣生计算基⾦金金会（CNCF）的 Kubernetes 软件⼀一致性认证。 KubeOperator 的整体架构 KubeOperator NFS / vSAN / Ceph 等 Flannel / Calico / NSX-T 等 负载均衡 / CoreDNS 等 物理理机 / vSphere / OpenStack / FusionCompute 等 Ansible / Terraform Cinder （Ceph 及 Cinder 兼容的集中存储）；FusionCompute 平台：⽀支持 OceanStor； ⽹网络⽅方案 ⽀支持 CoreDNS；⽀支持 Flannel / Calico ⽹网络插件；⽀支持 ingress-nginx / Traefik； ⽀支持通过 F5 Big IP 对外暴暴露露服务（X-Pack）； GPU ⽅方案 ⽀支持 NVIDIA GPU； 操作系统

node1 node2 node3 node4 node5 [etcd] node1 node2 node3 [calico-rr] [vault] node1 node2 node3 使⽤ansible playbook部署kubespray ~]# ansible-playbook -i localhost:32345 卸载 ]# ansible-playbook -i inventory/mycluster/hosts.ini reset.yml 遇到的问题 Calico⽹络插件部署失效。这是Calico 3.2所带来的问题，原因详⻅：https://github.com/kubernetes- incubator/kubespray/issues/3223 解决⽅法：https://github 解决⽅法：https://github.com/wilmardo/kubespray/commit/1c87a49d1443bcdd237500a714f1a60d680c1ad8，即：将 Calico降级到3.1.3。 参考⽂档： Kubespray – 10 Simple Steps for Installing a Production-Ready, Multi-Master HA Kubernetes

DCBrain 体系架构 Mesos时代 容器网络 方案演进：MACVLAN（DHCP）->Flannel（HostGW） DEMO过：MACVLAN（自定义CNI插件）、Calico、Culim 网络性能、架构可靠性的最佳折中 存储架构 根分区 /home分区 DeviceMapper Docker Volumn LVM  比拟物理磁盘IO性能