Redis, 注册中心、配置中心、服务治理中心 服务治理下沉、透明化 Java Agent, Sidecar, Java治理和Mesh治理的统一， 应用0成本上云 部署形态多云、混合云化 本地云端混部、多云混部、公私混部 云原生下微服务趋势 自研微 服务 Fat-SDK Pandora One Agent One Mesh • 基于隔离容器 • 运维治理效率 大幅提升 • 无侵入 服务治理的区分 服务治理中心 提供者 消费者 Agent Agent 用户 配置中心 治理规则 Dev-Sec-Ops 无损下线 离群实例摘除 标签路由 服务鉴权 链路跟踪 金丝雀发布 API管理 服务测试 限流降级 故障注入 • 业务无侵入、无感知 • 0升级成本 • 全面兼容开源 注册中心 元数据中心 微服务引擎 基于 Java Agent 的服务治理 public class Java Agent 无需修改代码，享受微服务治理能力 注册中心感知 到服务端下线 客户端感知到 服务端下线 服务调用报错期 客户端视角 正常 服务端视角 下线静默 下线 注册中心 提供者A 消费者A 提供者B 消费者B 1 正常调用 1 服务下线 (prestop) 3 通知消费者 5 应用重启 4 调用其他提供者 Agent 2 主动通知 Agent 3 客户端主动刷新

io/google_containers/testapp:v1 volumeMounts: - name: varlog mountPath: /var/log - name: logging-agent image: gcr.io/google_containers/fluentd:1.30 env: - name: FLUENTD_ARGS value: -c apps/v1beta1 kind: Deployment metadata: annotations: "initializer.kubernetes.io/logging-agent": "true" name: helloworld-with-annotation spec: replicas: 1 template: metadata: :0.0.1 apiVersion: v1 kind: ConfigMap metadata: name: logging-agent-initializer data: config: | - name: logging-agent image: gcr.io/google_containers/fluentd:1.30 env: - name:

核⼼心基础⽹网络⽆无需修改 • underlay • Pod与集群外部互通 其他⽅方案 • Calico/Flannel: 基于 BGP、IPIP、VXLAN 或⽤用户态程序, 每个节点需要部署 Agent程 序, 数据需要进⾏行行单独的存储（etcd），整 体上⽐比较复杂、⽽而复杂往往和可靠性成反⽐比 Dual Stack IPv4 IPv6 CIDR /64 --- IPv4 --- Think in Cloud . 北北京 监控系统 Kube-State-Metrics Kubernetes APIServer cAdvisor Node-Exporter KUN-Agent Grafana Blackbox Exporter Prometheus Monitor Manager 微信/邮件 外部探测 Probe Exporter AZ 2 (Local gossip Kubernetes 互相监控 AZ 1 Kube-State-Metrics Kubernetes APIServer cAdvisor Node-Exporter KUN-Agent Alert Manager Prometheus (Local File) Monitor Manager Custom Containers Custom Containers

time: ~10s • 镜像缓存：无需从远端拉取镜像 • 与ECS并池：大规模资源池，弹性能力保障 • 在Kubernetes中使用ECI: ACK/ASK on ECI ECI ECI Agent Container Container Kernel containerd ACK on ECI • ECS + ECI混合部署：将long run应用运行在ECS上， 弹性和任务应用运行在ECI上。 Two-way sync of resources K8S resources CRUD K8S Client Elastic Container Instance Pod Viking agent Container Container Pod Get Pod status Service/Ingress DNS Entry SLB Private Zone ASK-Scheduler e/Logs/Exec/Metrics ECI关键技术选择 - 基于安全沙箱技术的容器运行时 ECI Elastic Container Instance Pod container agent Container Container ECI ECI ECI ECI ECI ECI ECI ECI ECI ECI ECI ECI ECI ECI • Bulti-in Security

KubeletProblem • DockerdProblem • ContainerdProblem • KernelDeadlock • … Ø Distributed Ping Test • Self-agent • Self-holder de-scheduler npd self-holder Pod Kernel Kubelet Dockerd Node Kube-ApiServer Events observe observe Generate Events Pod Migrate npd Kernel Kubelet Dockerd self-agent self-agent Patch Node Condition �������������������������� TKEx Web Job Queue Manager Online & Offline

CPU敏感Pod打散 4. 节点CPU/Load感知 5. Pod近期最大cpu利用率感知• 节点负载均衡 规模化容器调度 Agent Pod Pod Pod Node 离线数据统计 应用预估峰 CPU值CR Agent Pod Pod Pod Node Agent Pod Pod Pod Node Scheduler云原生应用管理演进路线云原生应用管理的特征 • 标准化

overlay比Host差20~40% • SRIOV方式比Bridge CPU下降38.3%， 包量+6% 性能 Docker、Docket、Gaiastack P2P Agent下载镜像对比 Registry与P2P Agent流量占比对比 • 镜像下载引入BT协议 • 对Docker Daemon零入侵 • 每层分别做种 • 优化blob下载策略 发表论文：《FID: A Faster 缩容可以定点裁撤 自动扩缩容 • 资源阈值 • 自定义指标阈值 • 实例个数范围 • 周期性自动伸缩 Autoscaler controller Apiserver cluster-agent Cloud API 集群弹性伸缩： • 监控节点资源使用率 • 自动迁移低负载Node上的Pod，完成缩容 • 一定数量Pod因资源不足pending时，自动扩容 能力扩展：灰度升级

Client ECI Pod Viking agent Container Container Kernel Containerd 创建/删除Pod 上报Pod状态 Pod状态逼近 创建/删除SLB 节点绑定、路由规则变更 创建/删除DNS Entry 与云平台深度集成 ECI Viking agent Pod Container Container

v5897 Gateway VirtualService DestinationRule Service Kubernetes层 POD-2 pilot-agent Container v5897 POD-1 pilot-agent Containermaster POD-n … jenkins Client Chrome • 无状态服务的扩缩容 Traffic serviceA

Node Node Node Node Job Job Job Job Pod Pod Pod Pod ElasticSearch ElasticSearch Logging Service agent to collecting log data ElasticSearch ElasticSearch Monitor/Alert Service CronJob Node Pod Node Cluster Node Node Node Node Job Job Job Job Pod Pod Pod ElasticSearch ElasticSearch ElasticSearch agent to collecting log data ElasticSearch ElasticSearch Monitor/Alert Service DevOps Operator Cluster