进击的 Traefik 杨川胡（阳明） 知群后台负责人 2019.10.26 Service Mesh Meetup #7 成都站 云原生边缘路由器探秘杨川胡（阳明） 知群后台负责人，原小米视频后台高级研发 ，《Prometheus 深入浅出》作者，「k8s技 术圈」社区作者，现阶段专注于云原生技术 领域，希望成为一个有产品思维的工程师1 Traefik 介绍 2 Traefik Traefik 2.0 核心概念 3 Traefik With Docker 4 Traefik With KubernetesTraefik 是什么？ • 云原生的边缘路由器 • 让部署微服务更加便捷而诞生的现 代 HTTP 反向代理、负载均衡工具 • 它支持多种后台 (Docker, Swarm, Kubernetes, M arathon, Mesos, Consul, Etcd, Z ookeeper With KubernetesTraefik 是一个边缘路由器Traefik 自动服务发现Traefik 2.0 架构 • Providers 用来自动发现平台上的服务 • Entrypoints 监听传入的流量（端口等… ） • Routers 分析请求（host, path, headers, SSL, …） • Services 将请求转发给你的应用（load balancing, …）

新功能及功能增强 1.2.1.2. 弃用和删除的功能 1.2.1.2.1. Elasticsearch Curator 已被删除 1.2.1.2.2. 使用旧的 Fluentd 和旧 syslog 方法转发日志已被弃用 1.2.1.3. 程序错误修复 1.2.2. OpenShift Logging 5.0.9 1.2.2.1. 程序错误修复 1.2.2.2. CVE 1.2.3. OpenShift 技术预览功能 1.2.11.3. 弃用和删除的功能 1.2.11.3.1. Elasticsearch Curator 已被弃用 1.2.11.3.2. 使用旧的 Fluentd 和旧 syslog 方法转发日志已被弃用 1.2.11.4. 程序错误修复 1.2.11.5. 已知问题 第 第 2 章 章 了解 了解 RED HAT OPENSHIFT LOGGING 2.1. 关于部署 OPENSHIFT 8. 关于 OpenShift Logging 组件 2.1.9. 关于日志记录收集器 2.1.10. 关于日志存储 2.1.11. 关于日志记录视觉化 2.1.12. 关于事件路由 2.1.13. 关于日志转发 第 第 3 章 章 安装 安装 OPENSHIFT LOGGING 3.1. 使用 WEB 控制台安装 OPENSHIFT LOGGING 3.2. 安装后的任务 3.3. 使用

查 查看集群日志 看集群日志 6.1. 定义 KIBANA 索引模式 6.2. 在 KIBANA 中查看集群日志 第 第 7 章 章 将日志 将日志转发 转发到外部第三方日志 到外部第三方日志记录 记录系 系统 统 7.1. 关于将日志转发到第三方系统 7.2. OPENSHIFT LOGGING 5.1 中支持的日志数据输出类型 7.3. OPENSHIFT LOGGING 5.2 中支持的日志数据输出类型 中支持的日志数据输出类型 7.8. 将日志转发到外部 ELASTICSEARCH 实例 7.9. 使用 FLUENTD 转发协议转发日志 7.10. 使用 SYSLOG 协议转发日志 7.11. 将日志转发到 AMAZON CLOUDWATCH 7.12. 将日志转发到 LOKI 7.13. 从特定项目转发应用程序日志 7.14. 从特定 POD 转发应用程序日志 7.15. 收集 OVN 网络策略审计日志 16. 日志转发故障排除 第 第 8 章 章 启 启用 用 JSON 日志 日志记录 记录 8.1. 解析 JSON 日志 8.2. 为 ELASTICSEARCH 配置 JSON 日志数据 8.3. 将 JSON 日志转发到 ELASTICSEARCH 日志存储 第 第 9 章 章 收集并存 收集并存储 储 KUBERNETES 事件 事件 9.1. 部署和配置事件路由器 第 第 10

图
1-1
API7
架构图
上图为
API7
产品中控制平⾯（简称
CP）与数据平⾯（简称
DP）的架构⽰意图，并包含了3个部分：
API
⽹关
1. ⽤于承载并处理业务流量，管理员在配置路由规则后，⽹关将根据预设规则将请求转发⾄上游服务。 此外，借助
API7
内置的
50
多种插件，可实现⾝份验证、安全防护、流量控制、分析监控、请求/响应 转换等常⻅业务需求；若内置插件⽆法满⾜需求，我们也⽀持使⽤ 实现对路由、上游、证书、全局插件、消 费者等资源的管理。 控制⾯板 3. 为了简化⽹关管理，管理员可以通过
Dashboard
控制⾯板以可视化形式操作⽹关，⽀持监控分析、⽇ 志审计、多租⼾管理、多集群切换、多⼯作分区等能⼒。 1.1
技术架构
数据平⾯ 1. 数据平⾯⽤于接收并处理调⽤⽅请求，使⽤
Lua
与
Nginx
动态控制请求流量。当请求进⼊时，将根据 预设路由规则进⾏ 预设路由规则进⾏匹配，匹配到的请求将被⽹关转发⾄对应上游服务。在此过程中，⽹关有能⼒根据 预设规则中不同插件的配置，使⽤⼀系列插件对请求从进⼊到离开的各个阶段进⾏操作。例如：请求 可能会经过⾝份认证（避免重放攻击、参数篡改等）、请求审计（请求来源信息、上游处理时⻓ 等）、路由处理（根据预设规则获取最终上游服务地址）、请求转发（⽹关将请求转发⾄上游⽬标节 点）、请求响应（上游处理完成后，⽹关将结果返回给调⽤⽅）等⼏个步骤。

1. DNS OPERATOR 5.2. 更改 DNS OPERATOR MANAGEMENTSTATE 5.3. 控制 DNS POD 放置 5.4. 查看默认 DNS 5.5. 使用 DNS 转发 5.6. DNS OPERATOR 状态 5.7. DNS OPERATOR 日志 第 第 6 章 章 OPENSHIFT CONTAINER PLATFORM 中的 中的 INGRESS OPERATOR 12.7. 为项目定义默认网络策略 12.8. 使用网络策略配置多租户隔离 第 第 13 章 章 多网 多网络 络 13.1. 了解多网络 13.2. 配置额外网络 13.3. 关于虚拟路由和转发 13.4. 配置多网络策略 13.5. 将 POD 附加到额外网络 13.6. 从额外网络中删除 POD 13.7. 编辑额外网络 13.8. 删除额外网络 13.9. 为 VRF 分配从属网络 为项目编辑出口防火墙 15.6. 从项目中删除出口防火墙 15.7. 使用出口路由器 POD 的注意事项 15.8. 以重定向模式部署出口路由器 POD 15.9. 以 HTTP 代理模式部署出口路由器 POD 15.10. 以 DNS 代理模式部署出口路由器 POD 15.11. 从配置映射配置出口路由器 POD 目的地列表 15.12. 为项目启用多播 15.13. 为项目禁用多播

1. DNS OPERATOR 6.2. 更改 DNS OPERATOR MANAGEMENTSTATE 6.3. 控制 DNS POD 放置 6.4. 查看默认 DNS 6.5. 使用 DNS 转发 6.6. DNS OPERATOR 状态 6.7. DNS OPERATOR 日志 6.8. 设置 COREDNS 日志级别 6.9. 设置 COREDNS OPERATOR 的日志级别 6.10 OPENSHIFT CONTAINER PLATFORM 中的 中的 INGRESS 分片 分片 8.1. INGRESS CONTROLLER 分片 8.2. 为 INGRESS CONTROLLER 分片创建路由 8 9 9 9 10 13 13 14 14 14 14 14 14 14 15 15 15 16 16 16 23 24 24 24 25 26 26 30 30 30 . . . . . . . . . . . . . . . . . . . 第 第 25 章 章 多网 多网络 络 25.1. 了解多网络 25.2. 配置额外网络 25.3. 关于虚拟路由和转发 25.4. 配置多网络策略 25.5. 将 POD 附加到额外网络 25.6. 从额外网络中删除 POD 25.7. 编辑额外网络 25.8. 删除额外网络 25.9. 为 VRF 分配从属网络

1.1. OPENSHIFT CONTAINER PLATFORM DNS 1.2. OPENSHIFT CONTAINER PLATFORM INGRESS OPERATOR 1.2.1. 路由和 Ingress 的比较 第 第 2 章 章 访问 访问主机 主机 2.1. 访问安装程序置备的基础架构集群中 AMAZON WEB SERVICES 上的主机 第 第 3 章 章 网 网络 5 章 章 OPENSHIFT CONTAINER PLATFORM 中的 中的 DNS OPERATOR 5.1. DNS OPERATOR 5.2. 查看默认 DNS 5.3. 使用 DNS 转发 5.4. DNS OPERATOR 状态 5.5. DNS OPERATOR 日志 第 第 6 章 章 OPENSHIFT CONTAINER PLATFORM 中的 中的 INGRESS OPERATOR 1. 通过路由标签（label）配置 Ingress Controller 分片 6.8.5.2. 使用命名空间标签配置 Ingress Controller 分片 6.8.6. 配置 Ingress Controller 以使用内部负载均衡器 6.8.7. 将集群的默认 Ingress Controller 配置为内部 6.8.8. 配置路由准入策略 6.8.9. 使用通配符路由 6.8.10

使用Aircrack-ng工具破解无线网络 9.3 Gerix Wifi Cracker破解无线网络 9.4 使用Wifite破解无线网络 9.5 使用Easy-Creds工具攻击无线网络 9.6 在树莓派上破解无线网络 9.7 攻击路由器 9.8 Arpspoof工具 大学霸 Kali Linux 安全渗透教程 3 大学霸 Kali Linux 安全渗透教程 作者：大学霸 大学霸 Kali Linux 安全渗透教程 4 117 4.1 枚举服务 以上信息中显示了loopback接口的相关信息。包括它的速率、IP地址、子网掩码和 最大传输单元。 （8）获取路由信息，如目标地址、下一跳地址、子网掩码和路径长度值。结果如 下所示： 以上信息表示目标系统的一个路由表信息。该路由表包括目的地址、下一跳地址、 子网掩码及路径长度值。 （9）获取网络服务信息，如分布式组件对象模型服务、DHCP客户端和DNS客户 端等。结果如下所示： 用省略号（……） 代替。 大学霸 Kali Linux 安全渗透教程 121 4.2 测试网络范围 虽然使用DMitry工具可以查看到IP或域名信息，但还是不能判断出这个网络范围。 因为一般的路由器和防火墙等并不支持IP地址范围的方式，所以工作中经常要把IP 地址转换成子网掩码的格式、CIDR格式和思科反向子网掩码格式等。在Linux中， netmask工具可以在IP范围、子网掩码、CIDR和Cisco等格式中互相转换，并且提

Check Operator 5.8. 了解节点重新引导 5.8.1. 关于重新引导运行关键基础架构的节点 5.8.2. 使用 pod 反关联性重新引导节点 5.8.3. 了解如何重新引导运行路由器的节点 5.8.4. 正常重新引导节点 5.9. 使用垃圾回收释放节点资源 5.9.1. 了解如何通过垃圾回收移除已终止的容器 5.9.2. 了解如何通过垃圾回收移除镜像 5.9.3. 为容器和镜像配置垃圾回收 PLATFORM 容器中执行远程命令 6.7.1. 在容器中执行远程命令 6.7.2. 用于从客户端发起远程命令的协议 6.8. 使用端口转发访问容器中的应用程序 6.8.1. 了解端口转发 6.8.2. 使用端口转发 6.8.3. 用于从客户端发起端口转发的协议 6.9. 在容器中使用 SYSCTL 6.9.1. 关于 sysctl 6.9.1.1. 命名空间和节点级 sysctl 6.9 Docker。 kubelet:: Kubelet 在节点上运行并读取容器清单。它确保定义的容器已启动且正在运行。kubelet 进程维护工作和节点服务器的状态。kubelet 管理网络流量和端口转发。kubelet 管理仅由 Kubernetes 创建的容器。 kube-proxy:: Kube-proxy 在集群的每个节点上运行，并维护 Kubernetes 资源之间的网络流量。 Kube-proxy

10.99.1.62 k8s-node02.cof-lee.com k8s-node02 EOF ★k8s初始化时要求系统里有/etc/resolv.conf文件及系统对外通信网口上配置有 默认路由；根据实际情况添加 # cat >> /etc/resolv.conf <转发时也去调用iptables配置的三层规则（包含 conntrack） # sysctl -p #加载配置 ⑧防火墙放行端口 TCP: 6443， .yml指定vxlan使用的 底层网络接口，所以它根据ip route show去查找default via这行的网卡（有默认 路由的网络接口），但我们测试环境的服务器没有配置网关，所以它找不到默 认路由，导致flannel启动失败 解决方法是给服务加个网关（默认路由）或者在kube-flannel.yml里指定vxlan绑 定的网卡设备（不建议直接绑定网络接口名，因为不同的服务器接口名称可能 不一样，可匹配ip网段所在的网络接口）