Replica 2 Shard 2 Replica 1 Shard 2 Replica 2 Replica Service Replica Service Replica Service User Config Map Common Config Map Stateful Set Pod Persistent Volume Claim Persistent Volume metadata: name: "demo-01" spec: configuration: users: demo/password: secret demo/profile: default demo/networks/ip: "::/0" clusters: - name: "demo-01" layout: версию явно. НЕ НАДО использовать тег :latest Расширенные настройки ● ClickHouse settings (profile, server settings) configuration: settings: compression/case/method: zstd ● Zoned deployment

to reach a healthy state • Operator conveys readiness of application or managed resources to the user leveraging the status block of the Custom Resource Configuration of the workload • Operator provides suited nodes Abnormality detection • Operator determines deviations from a standard performance profile Observerbility 日志、系统指标等采集、分析；监控配置与报警；性能 指标收集与分析等等。 Backup & Restore 备份策略、备份方式、恢复方式、备份管理等等。

the Cloud and had no clear strategy for edge deployments. The team liked KubeEdge, but with the profile of its customers front-of-mind Booz Allen wanted to work with a company with a solid U.S. presence

/iptables -P FORWARD ACCEPT # systemctl daemon-reload # systemctl restart docker ★默认还加了DOCKER-USER这个forward链，默认全部return，导致不通，也得 放开，具体得看下iptables规则），以下操作目的为 在系统启动后等待60秒待 k8s把iptables规则设置完毕再在以下几个chain里放通所有流量，如果对防火墙 sleep 60 /usr/sbin/iptables -I DOCKER 1 -s 0.0.0.0/0 -j ACCEPT /usr/sbin/iptables -I DOCKER-USER 1 -s 0.0.0.0/0 -j ACCEPT /usr/sbin/iptables -I DOCKER-ISOLATION-STAGE-1 1 -s 0.0.0.0/0 -j service-ip：是虚拟的ip，是由kube-proxy去建立相应的iptables/ipvs规则进行流量 的转发 ★kube-proxy的代理规则模式有： 代理模式 k8s版本要求 User Space proxy mode v1.0 + iptables proxy mode v1.1 + ipvs proxy mode v1.8 + 需要在所有k8s服务器上加载ipvs内核

Easy to be customized as user requirements are diverse • Easy to setup, maintain, extend and scale • Reduce the learning curve for customer and ourselves • Get consistent user experience and data, leverage Unified logging、monitoring、alert with PaaS Consistent data Node group of build nodes Node group of user applications Scheduling customization Cluster Resource Auto Scaling kubelet can do image GC CI/CD Examples - Build Docker Image dockerfile using ConfigMap Job - pod template - volumes user build task • build the docker images init task • prepare code repository - volumes DevOps Operator

⽤用户(User)，但K8S不不会管理理User，如何管理理User？ • K8S有⼀一套完整的权限系统，但如何处理理User与权限的绑定？ • 对于多集群，如何实现User跨集群的管理理？ 基于RBAC实现账号管理理隔离 Think in Cloud . 北北京 基于RBAC实现账号管理理隔离 • 选择Token认证⽅方式 • 通过服务账号SA模拟普通⽤用户User，即User与SA⼀一⼀一对应 r与SA⼀一⼀一对应 • 所有模拟账号SA放置同⼀一个NS，统⼀一管理理 • 定制权限组ClusterRole • 通过授予模拟账号SA的不不同权限组，来控制不不同User在NS中的不不同权限 NS ServiceAccount： 1、U1 2、U2 ……. NS RoleBingding： U1<->cr-ns U2<->cr-get Kubertnetes集群 ⽤用户管理理 ⽤用户：U1、U2 Think in Cloud . 北北京 基于RBAC实现账号管理理隔离 • 抽象Project对象给User使⽤用 • Project与每个集群的NS⼀一⼀一对应 • User在每个集群上都有对应模拟账号，⽤用于NS授权 NS ServiceAccount：SS Kubertnetes集群 NS: PP Kubertnetes集群

ClientUsername: drop headers: defaultMode: keep names: User-Agent: redact Authorization: drop Content-Type: keep kubectl apply -n kubernetes-dashboard describe secret $(kubectl -n kubernetes-dashboard get secret | grep admin-user | awk '{print $1}') Step4: 浏览器上访问: https://k8s-master:30000/ 输入 step3 上获得的 token Step5: vi influxdb2/values.yaml adminUser: organization: "iSurpass" bucket: "openservice" user: "admin" ## Leave empty to generate a random password and token. ## Or fill any of these values

Router1 Router2 K8S-2 K8S-1 Console Front End Console Back End Registry Dev/Ops/Admin End User Builder 12 Service Name K8S Cluster IP app01.xpaas.lenovo.com 172.19.228.1 app02.xpaas.lenovo DNS app01.xpaas.lenovo.com Flannel网络 *.xpaas.lenovo.com Router IP Console Create Service app01 User Dev/Ops 13 2017 Lenovo Internal. All rights reserved. 容器云设计—部署和回滚 • 部署流程 or 回滚流程 console • Lenovo Internal. All rights reserved. 容器云设计-- 企业权限设计 • 功能权限：允许或拒绝用户使用系统提供的某个功能 用户 user01 user02 角色 Admin OPS User 功能/资源 修改系统配置 增加服务模板 创建服务 * * * * 17 2017 Lenovo Internal. All rights reserved

Client Master Meta Cache First Access LRU listStatus() 2. Alluxio缓存行为控制 参数 取值 含义 alluxio.user.ufs.block.read.location.policy LocalFirstAvoidEvictionPolicy Alluxio读取的数据块优先保存到本地，但是当本地空间不足时， 不会驱 后台驱逐任务启动条件，本例子中条件本地空间超过100 x 0.99=99GiB触发驱逐 alluxio.user.block.avoid.eviction.policy.reserved.size .bytes 1056MB 当本地节点的空间少于1056MB时，数据缓存的调度器不会选择该 节点；转而选择其他节点。 alluxio.user.file.passive.cache.enabled false 当从Allu 当从Alluxio远程worker读文件时，是否缓存文件到Alluxio的本 地worker。 alluxio.user.file.readtype.default CACHE 默认的CACHE_PROMOTE会带来显著的性能开销 策略：1.优先本地加载缓存 2.避免数据震荡 3.避免数据冗余 1 2 3 3. Fuse性能调优 • 选择更高版本的kernel • 设置max_read=131072

Google cloud Laf Function as service Databases Management Other Applications Kubernetes User APP User APP User APP Application manager KB controller Mysql/pgsql/mongo CNI CRI CSI DNS Backup Restore kubebuilder 框架去生 成很多代码。 权限限制 禁止掉所有用户越权操作，如查看主机 namespace 共享主机端口，共享主机文件系统等操作 以保障多租户之间相互共享一个集群是安全的 User Namespace N 对 N 横向隔离 & 纵向隔离 逻辑隔离 & 物理隔离 选型 原因 编程语言 Golang/typescripts Kubernetes go 生态最为成熟，ts