部署应⽤程序的旧⽅法是使⽤操作系统的软件包管理器在主机上安装应⽤程序。这种⽅式，存在可执⾏⽂件、配置、库 和⽣命周期与操作系统相互纠缠的缺点。⼈们可构建不可变的虚拟机映像，从⽽实现可预测的升级和回滚，但VM是重 量级、不可移植的。 新⽅法是部署容器，容器基于操作系统级别的虚拟化⽽不是硬件虚拟化。这些容器彼此隔离并且与宿主机隔离：它们有 ⾃⼰的⽂件系统，看不到对⽅的进程，并且它们的计算资源 最后，通过在每个容器中使⽤单个应⽤程序的⽅式，管理容器⽆异于管理应⽤程序的部署。 容器好处概要： 灵活的应⽤创建和部署 ：与VM映像相⽐，容器镜像的创建更加容易、有效率。 持续开发，集成和部署 ：通过快速轻松的回滚（由于镜像的不可变性）提供可靠且频繁的容器镜像构建和部署。 Dev和Ops分离问题 ：在构建/发布期间⽽⾮部署期间创建镜像，从⽽将应⽤程序与基础架构分离。 开发、测试和⽣产环境⼀致 ：在笔记本电脑运⾏与云中⼀样。 install python36 –y 在ansible-client机器上配置免密登录 ⽣成ssh公钥和私钥 在ansible-cilent机器上执⾏： ~]# ssh-keygen 然后三次回⻋，⽣成ssh公钥和私钥。 建⽴ssh单向通道 在ansible-cilent机器上执⾏： ~]# ssh-copy-id root@172.20.0.88 #将公钥分发给88机器

IPv6地址作为该Kubernetes集群 Service IP的地址段 Bgpd 负责将 Service IPv6 地址段通过 BGP 路路由协议宣告给接⼊入交换机 P o d 返 回 的 包 ， 会 先 回 给 S e r v i c e Gateway，由于做了了SNAT，基于连接 追踪（conntrack），再返回给请求的 客户端。 每个接⼊入交换机下，选择两台节点作为Service Blackbox Exporter，实现服务的⿊黑盒主动拨测； G. ⾃自研 Probe Exporter，进⾏行行各种功能的拨测，提供 metrics； • 使⽤用 Alert Manager 聚合报警，调⽤用 Monitor Manager 提供的 Web Hook； • ⾃自研 Monitor Manager： A. 提供 Web Hook 给 Alert Manager，实现告警信息的发送，发送渠道包括邮件和微信； Grafana 使⽤用 PVC 进⾏行行配置⽂文件的存储； Think in Cloud . 北北京 KUN应⽤用 接⼊入层 • 负载均衡通过service实现 计算层 • 具体计算任务由pod完成 • 常驻型pod通过k8s deployment管理理，保证计算实例例⾼高可⽤用 • ⾮非常驻型pod通过k8s job管理理 存储层 • Pod内挂载PVC，⽤用于存储持久化的数据

《北京市推动先进制造业和现代 服务业深度融合发展的实施意见》 加快云计算等新一代信息技术在 制造业、服务业的创新应用，培育 一批智能经济新业态等。 上海 2023.5 《上海市助力中小微企业稳增长 调结构强能力若干措施》 加强平台服务赋能。推动 25 万家 中小企业上平台上云。对中小企业 与数字化服务商签订的服务合同 给予不超过合同金额 30%的支持。 2022.6 《上海市数字经济发展“十四五” 区块链等技术的跨境贸易。 云计算白皮书（2023 年） 12 浙江 2023.3 《2023 年宁波市中小企业发展专 项资金因素法分配专项资金海曙 区使用管理办法》 完成市对区上云任务考核，对获评 省级制造业“云上企业”给予 15 万元的奖励，其中已评为省级标杆 上云企业的减半奖励。 2022.6 《加强科技创新助力经济稳进提 质的若干政策措施》 支持平台企业技术创新。支持平台 以外的专有芯片的兼容，如 GPU、DPU 等。软件应用方面，一云多 芯能够适配各种操作系统、虚拟机、容器数据库、中间件等，同时 还能够支撑虚拟化和云原生应用形态。性能调优方面，一云多芯可 以对不同芯片进行调优适配，提升平台整体性能。通过虚拟化产品 性能调优、内核调优和部署架构优化，将性能指标差异控制在有效 区间，从而释放极致算力。 流程层面，平台工程以产品化、自助式的开发者平台，满足多 场景下应用研发需求

设施的负担，并使应用程序运营商和开发人员完全将重点放 在以容器为中心的业务上进行自助运营。Kubernetes 也提供稳定、兼容的基础（平台），用于构建定制化的workflows 和更 高级的自动化任务。Kubernetes 具备完善的集群管理能力，包括多层次的安全防护和准入机制、多租户应用支撑能力、透明 的服务注册和服务发现机制、内建负载均衡器、故障发现和自我修复能力、服务滚动升级和在线扩容、可扩展的资源自动调度 重新调度容器，以及容器自我修复机制。 水平扩展：通过简单明了实现水平扩展，基于CPU等资源负载率的自动水平扩展。 服务发现和负载均衡：实现内部负载均衡可以实现服务访问负载。 自动发布和回滚：可以自动实现版本的发布和回滚。 秘钥和配置管理：对于密码等信息，专门提供了Secert对象为其解耦。 存储编排：支持多种不同类型的存储，包括本地存储、云存储、网络存储等。 批量处理执行：除服务型应用，还支持批处 制 Controller Manager控制管理器（kube-controller-manager）：k8s里所有资源对象的自动化控制中心，可以理解为 资源对象的“大总管”。运行着所有处理集群日常任务的控制器。包括节点控制器、副本控制器、端点控制器及服务账号 和令牌控制器。负责维护集群的状态，比如故障检测、自动扩展、滚动更新等。 Scheduler调度器（kube-scheduler）：负责资

Deployment Deployment ReplicaSet Pod 1. 支持指定副本数 2. 支持 Recreate 和 Rolling Update 3. 可控的滚动更新模式 4. 支持回滚 5. 可通过 HPA 实现自动弹性伸缩 Kubernetes 控制器 StatefulSet StatefulSet Pod 1. 支持指定副本数 2. Pod 具有固定且唯一的标识符 无视 unschedulable Kubernetes 控制器 CronJob CronJob Job Pod 1. 定时执行的批处理任务 2. 定时任务并发策略 * Allow * Forbid * Replace 3. 支持单任务并发控制 一个简单的编排案例 Client API DB API Proxy DB Proxy DB Backup Monitoring DaemonSet Job CronJob = 无状态应用 有状态应用 守护型应用 批处理任务 应用编排架构 重新审视这个例子 Client API DB API Proxy DB Proxy DB Backup Monitoring 无状态应用 有状态应用 守护型应用 批处理任务 应用编排架构 应用编排架构 API Gateway APP API Service

com/bootstrap.html • 业务高可用、多可用区部署 • 同城/异地容灾，业务多活 • 微服务需要更安全、更可信 成本 稳定 效率 • 白天流量高峰期发布 • 云边端一体化开发部署联调 • 服务治理体系强依赖SDK升级 • K8s下应用IP的不确定、导致服务治理规则的失效 • 应用迁移上云成本很高 • 极致、灵活的弹性 微服务在云原生下的挑战 后端服务BaaS化 DB，MQ tag1 tag2 Provider Consumer 标签路由 可灰度 可监控 可回滚 变更管控 安全变更三板斧 故障应急 发布封网 故障复盘 紧急发布 稳定性分 安全 变更 GitOps 持续集 成 自动化 回归 性能压 测 灰度发 布 监控对 比 发布/ 回滚 1分钟发现 5分钟定位 10分钟恢复 故障应急 1-5-10原则 安全变更

#查看ip网卡信息 1: lo: mtu 65536 qdisc noqueue state UNKNOWN # 本地环回口 inet 127.0.0.1/8 scope host lo 2: ens33: mtu 1500 qdisc pfifo_fast DaemonSet用于在集群中的全部节点上同时运行一份指定的pod副本（master打 了污点，所以默认不运行，可以设置容忍度）后续新加入集群的工作节点也会 自动创建一个相关的pod副本，这些pod一般是执行系统级操作任务的服务，如 应用代理，监控，日志收集等 # vi monit.daemonset.yml #内容如下 apiVersion: apps/v1 kind: DaemonSet daemonset.yml #应用 # kubectl get daemonset #查看 ★Job控制器 job控制器用于运行一次性pod（如执行sql脚本或一次性备份任务等）容器中的 进程在正常运行结束后，置为completed状态，且不会再重启，如果进程运行失 败，则根据配置决定是否要重启 # vi xx-job.yml #内容如下 apiVersion:

level0.dirs.quota 100GB 缓存存储的容量上限。 alluxio.worker.tieredstore.level0.watermark.high.rat io 0.99 后台驱逐任务启动条件，本例子中条件本地空间超过100 x 0.99=99GiB触发驱逐 alluxio.user.block.avoid.eviction.policy.reserved.size .bytes readtype.default CACHE 默认的CACHE_PROMOTE会带来显著的性能开销 策略：1.优先本地加载缓存 2.避免数据震荡 3.避免数据冗余 1 2 3 3. Fuse性能调优 • 选择更高版本的kernel • 设置max_read=131072 • 定制libfuse2代码，支持配置Libfuse线程池 • 延长元数据缓存时间 建议 端到端的优化方案 1252

基于边缘计算打造⾼高效、舒适、安全、便便利利、环保的智能家居环境。� ➔ 云端推送边缘应⽤用，实现应⽤用全⽣生命周期管理理和边缘设备托管。� ➔ 端侧涵盖多种智能设备，边缘侧就近处理理隐私数据，回传必要数据到云端。� 端� 边� 云� 容器器� 摄像头� 语⾳音设备� 红外设备� 应⽤用推送、应⽤用管理理、边缘设备托管� …...� 数据上传� 容器器� 容器器� 智能电器器控制� 异构：边缘侧异构AI硬件接⼊入。� Why KubeEdge� KubeEdge通过更更优的架构和技术实现，完美应对边缘计算遇到的挑战：� ➔ 通过将AI能⼒力力、⼤大数据能⼒力力等延伸到边缘，解决与云上服务的数据协同、任务协同、管理理协同、安全协同诉求。� ➔ 通过数据本地化处理理、边缘节点离线⾃自治，解决了了云和边缘之间的⽹网络可靠性和带宽限制的问题。� ➔ 通过⼤大幅优化边缘组件的资源占⽤用(⼆二进制⼤大

Create Service app01 User Dev/Ops 13 2017 Lenovo Internal. All rights reserved. 容器云设计—部署和回滚 • 部署流程 or 回滚流程 console • 配置请求 • 部署请求 builder • 准备构建环境 • 生成Dockerfile • Build镜像 • Push镜像 kubernetes Lenovo Internal. All rights reserved. 小结 • 背景和挑战 • 企业级容器云设计与思考 – 设计思路 – 多集群支持和整体架构 – 网络方案和路由设计 – 部署、回滚流程 – DevOps支持 – 存储方案 – 权限设计 • 通过Ansible让运维自动化 • 监控与日志 • Showcase，系统流程示例 • 踩过的坑 zhoucq1@lenovo.com