2017 年象行中国（杭州 站）第一期 Greenplum资源管理器 姚珂男/Pivotal kyao@pivotal.io 2017 年象行中国（杭州 站）第一期 Agenda • Greenplum数据库 • Resource Queue • Resource Group 2017 年象行中国（杭州 站）第一期 Greenplum数据库 • 基于PostgreSQL • 分布式 corruption => PANIC 2017 年象行中国（杭州 站）第一期 Resource Queue • Cost is tricky – 没有明确的定义 – 不同优化器不一致 – 优化器不能被纳入资源管理器 2017 年象行中国（杭州 站）第一期 Resource Queue • Priority is rough – 不能精确控制CPU – CHECK_FOR_INTERRUPTS – Queue • Memory – Chaotic – 没有严格资源隔离 – 第三方库的malloc 2017 年象行中国（杭州 站）第一期 Resource Group • SQL语句并发控制 => 事务并发控制 • 基于cost的并发控制 • 基于优先级的CPU控制 => 精确CPU比例 • 内存控制 => 严格资源隔离 2017 年象行中国（杭州 站）第一期 Running Example

云+社区技术沙龙 腾讯云提高K8S集群资源利用率实践 庄鹏锐 腾讯云高级工程师 资源利用率分析 Node节点资源碎片 Pod Resource（requests）配置不合理 WorkLoad/HPA 副本数设置不合理 业务空闲时间 解决方案 Pod 压缩 Node 超卖 HPA VPA 动态 调度 碎片 处理 Pod 资源压缩 • MutatingAdmission limits 两种资源计算方式 • CronHPA • HPA对象Enable 和 Disable • 动态调整 minRepliacs VPAPlus • 动态调整Container Cgroup • requets 和 limit 比例设置 • Resource Range设置 • CheckPoint对象timeout时间 • Pod对象更新时间 ` • 资源合法性校验 THANKS

集群网络供应商 配置 OVN-Kubernetes CNI 集群网络供应商 kubeProxyConfig 对象配置 4.5.2. Cluster Network Operator 配置示例 4.6. 其他资源 第 第 5 章 章 OPENSHIFT CONTAINER PLATFORM 中的 中的 DNS OPERATOR 5.1. DNS OPERATOR 5.2. 查看默认 DNS 5.3. 使用 10. 使用 X-Forwarded 标头 使用案例示例 6.8.11. 启用 HTTP/2 入口连接 6.9. 其他资源 第 第 7 章 章 配置 配置节 节点端口服 点端口服务 务范 范围 围 7.1. 先决条件 7.2. 扩展节点端口范围 7.3. 其他资源 第 第 8 章 章 在裸机集群中使用流控制 在裸机集群中使用流控制传输协议 传输协议 (SCTP) 8.1. 支持 OPENSHIFT 4. 其他资源 10.2. 创建网络策略 10.2.1. 创建网络策略 10.2.2. 示例 NetworkPolicy 对象 10.3. 查看网络策略 10.3.1. 查看网络策略 10.3.2. 示例 NetworkPolicy 对象 10.4. 编辑网络策略 10.4.1. 编辑网络策略 10.4.2. 示例 NetworkPolicy 对象 10.4.3. 其他资源 10

对于App里运营资源、基础配置，需要根据城市、版本、平 台、渠道等不同的维度进行运营管理。如何在版本快速迭代过程中，保持运营资源能够被高效、稳定和灵 活地配置，是我们团队面临的重大考验。在这种背景下，大众点评移动开发组必须要打造一个稳定、灵 活、高效的运营配置平台。本文主要分享我们在建设高效的运营配置平台过程中，积累的一些经验，以及 面临的挑战和思考。 运营资源 运营资源 简单而言，运 简单而言，运营资源可以理解为App中经常变动的一些广告、运营活动等等，譬如下图中电影首页顶部的 Banner位，就是一个典型的运营资源。对于这类运营资源，它们有如下明显特征： 1. 时效性，只在一定时间范围内显示在C端固定位置。 2. 城市强相关，这类运营资源往往是基于LBS类服务，每个活动、广告都只会出现在固定的某些城市（或区域）。 基础配置 基础配置 基础配置，常见的有入口资源的配置、网络的配置 等。相对运营资源来说，其变更的频繁度相对较低，与 时间、城市的关系也没那么强。譬如下面大众点评App-我的页面里的入口。这类配置有如下几个特征： 1. 多维度：需要针对不同的版本、平台、渠道，做不同的配置。 2. 长期有效：这种类型的配置一般长期存在，不会存在过期问题。 APPKIT打造稳定、灵活、高效的运营配置平台 - 美团技术团队 二、遇到的问题 二、遇到的问题 在从0到1打造运营

OPENSHIFT CONTAINER PLATFORM 基础架构组件 1.9. 移动监控解决方案 1.10. 移动默认 REGISTRY 1.11. 移动路由器 1.12. 基础架构节点大小 1.13. 其他资源 第 第 2 章 章 IBM Z 和 和 LINUXONE 环 环境的推荐主机 境的推荐主机实 实践 践 2.1. 管理 CPU 过量使用 2.2. 禁用透明巨页 2.3. 使用 RECEIVE 推荐的集群扩 扩展 展实 实践 践 3.1. 扩展集群的建议实践 3.2. 修改机器集 3.3. 关于机器健康检查 3.4. MACHINEHEALTHCHECK 资源示例 3.5. 创建 MACHINEHEALTHCHECK 资源 第 第 4 章 章 使用 使用 NODE TUNING OPERATOR 4.1. 关于 NODE TUNING OPERATOR 4.2. 访问 NODE TUNING 感知工作 感知工作负载 负载 6.1. 关于 NUMA 感知调度 6.2. 安装 NUMA RESOURCES OPERATOR 6.3. 创建 NUMARESOURCESOPERATOR 自定义资源 6.4. 部署 NUMA 感知辅助 POD 调度程序 6.5. 使用 NUMA 感知调度程序调度工作负载 6.6. 对 NUMA 感知调度进行故障排除 5 5 5 9 10 13 15

缘和嵌入式版本。 2022 年 3 月 30 日，基于统一的 5.10 内核，发布面向服务器、云计算、边缘计算、嵌入式的全场景 openEuler 22.03 LTS 版本， 聚焦算力释放，持续提升资源利用率，打造全场景协同的数字基础设施操作系统。 2022 年 9 月 30 日，发布 openEuler 22.09 创新版本，充分释放多样性算力，持续深化全场景创新，打造极致迁移能力， 实现欧拉鸿蒙互联互通。 技术的安全沙箱能力，将函数部署在 Wasm 安全沙箱中，实现函数隔离的前提下，解 决高并发场景下容器冷启动速度慢和内存底噪开销大的问题。 功能描述 轻量级 Wasm 沙箱引擎整体功能主要由以下两个关键组件提供： 1. Wasm 函数管理框架 • 支持监听处理高并发量函数请求 • 函数的生命周期管理 • 兼容 OCI 格式容器镜像，管理本地函数镜像资源 2. Wasm 轻量级协程调度框架 抽象 Wasm launcher，使目标应用可以运行在隔离的 CPU 资源上，为 HPC 业务提供低噪声的隔离执行环境。 功能描述 HCK 的功能由两部分组成： 1. 内核态的底座部分 内核态底座部分提供的功能如下： • CPU 噪声移植：将影响应用波动性的系统噪声从隔离核上迁移出 • CPU 隔离管理：在系统启动时对指定的 CPU 标记预留 • 任务域管理：在隔离的 CPU 上运行进程时，进行任务域创建，亲和性配置等功能

879 工程效能 CI/CD 之流水线引擎的建设实践 912 美团外卖搜索基于 Elasticsearch 的优化实践 933 美团图灵机器学习平台性能起飞的秘密（一） 953 提升资源利用率与保障服务质量，鱼与熊掌不可兼得？ 971 标准化思想及组装式架构在后端 BFF 中的实践 992 外卖广告大规模深度学习模型工程实践 | 美团外卖广告工程实践专题连载 1013 数据库全量 的利用率只有 95%，还有压 榨空间，而 16 核 CPU 利用率已经超过了 1500%，几乎满负荷运转。我们推测整个 线上服务的“瓶颈”可能在 CPU，而图片预处理会使用大量 CPU 资源。 表 9 服务器资源配置 算法 < 33 3.2.1 DALI 预处理 为了解决 CPU 预处理带来的“瓶颈”，我们采用了 NVIDIA 的 DALI 库，将预处理 直接放到 GPU 中运算。该库可以在 预处理后，T4 GPU 利用率达到了 100%，而 16 核 CPU 的利 用率则下降到了 1100% 左右，部分 CPU 资源得到了“解放”。另外，我们也测试 FP16 + DALI 的吞吐，反而有略微的下降。我们推测是 DALI 抢占了部分 GPU 计 算资源，而 FP16 服务的瓶颈在 GPU，所以对整体性能产生了负面影响。 34 > 2022年美团技术年货 图 13 使用 DALI

云原生运行时安全................................................................................56 4.2.3 网络微隔离........................................................................................... 58 4.3 原生架构的应用程序应该：采用开源堆栈（k8s+Docker）进行容器化，基于微 服务架构提高灵活性和可维护性，借助敏捷方法、DevOps 支持持续迭代和运维 自动化，利用云平台设施实现弹性伸缩、动态调度、优化资源利用率。 云原生安全威胁分析与能力建设白皮书 12 1.1.2 云原生安全 云原生安全作为云原生的伴生技术，旨在解决云原生技术面临的安全问题， 其作为一种新兴的安全理念，强调以原生的思维实现云上安全并推动安全与云计 个发展阶段： （1）安全赋能于云原生体系，构建云原生的安全能力。当前云原生技术发 展迅速，但相应的安全防护匮乏，最基础的镜像安全和安全基线都存在很大的安 全风险。因此，应该将现有的安全能力，如隔离、访问控制、入侵检测、应用安 全等，应用于云原生环境，构建安全的云原生系统； （2）安全产品具有云原生的新特性，如轻/快/不变的基础设施、弹性服务 云原生安全威胁分析与能力建设白皮书 14

可信计算环境：OS安全、TPM加密、TEE可信环境 云原生安全：镜像安全、镜像仓库安全、容器加固隔离、通信零信任 (Istio零信任、Calico零信任、Cilium零信任、WorkLoad鉴权、WorkLoad 间授权等)、DevSecOps（安全左右移等等，比如代码或者镜像扫描）、 RASP应用安全、数据安全、态势感知与风险隔离 由于云原生托管的应用是碎片化的，环境变化也是碎片化的，而且其业务类型越来越多，比如已经延展到边 重安全问题，没有必要堵塞主研发流程，可 以交于线上安全防御系统。提高了整体实施 效率！ 安全编排自动化和响应作为连接各个环 节的桥梁，安全管理人员或者部分由 AIOps组件可以从全局视角观察，动态 调整策略，解决新问题并及时隔离或者 解决！ DevSecOps 标准化能力-承载无忧-E2E云原生纵深安全保障-4-技术建议方案 技术 说明 优点 缺点 SAST(静态应用程序 安全测试) 白盒测试，通过污点跟踪对源代码 三方集成。（涉及业务能力） RASP(运行时安全应 用程序自我保护) 可以看做是IAST的兄弟，RASP通过程序上下文和敏感函数检查行为方式 来阻止攻击，属于一种主动的态势感知和风险隔离技术手段 可以自动化的对非预计风险进行识别和风险隔离 对系统性能有一定影响 可信计算 核心目标是保证系统和应用的完整性，从而保证系统按照设计预期所规 定的安全状态。尤其是像边缘计算BOX这种安全防护，根据唯一Hash值验 证

CLUSTER NETWORK OPERATOR 状态 4.4. 查看 CLUSTER NETWORK OPERATOR 日志 4.5. CLUSTER NETWORK OPERATOR 配置 4.6. 其他资源 第 第 5 章 章 OPENSHIFT CONTAINER PLATFORM 中的 中的 DNS OPERATOR 5.1. DNS OPERATOR 5.2. 更改 DNS OPERATOR 9. 其他资源 第 第 7 章 章 验证 验证到端点的 到端点的连 连接 接 7.1. 执行连接健康检查 7.2. 连接健康检查实现 7.3. PODNETWORKCONNECTIVITYCHECK 对象字段 7.4. 验证端点的网络连接 第 第 8 章 章 配置 配置节 节点端口服 点端口服务 务范 范围 围 8.1. 先决条件 8.2. 扩展节点端口范围 8.3. 其他资源 第 第 记录网络策略事件 12.3. 创建网络策略 12.4. 查看网络策略 12.5. 编辑网络策略 12.6. 删除网络策略 12.7. 为项目定义默认网络策略 12.8. 使用网络策略配置多租户隔离 第 第 13 章 章 多网 多网络 络 13.1. 了解多网络 13.2. 配置额外网络 13.3. 关于虚拟路由和转发 13.4. 配置多网络策略 13.5. 将 POD 附加到额外网络