第29 期| 2023 年9 月- 技术雷达Inc. All Rights Reserved. 采纳 1. 设计系统 2. 轻量级的 RFCs 方法 试验 3. 具有可访问性意识的组件测试设计 4. 攻击路径分析 5. 自动合并依赖项更新 PR 6. 针对 FAIR 数据的数据产品思维 7. OIDC for GitHub Actions 8. 使用 Terraform 创建监控和告警 9. ReAct 提示工程 10. 检索增强生成 11. 基于风险的故障建模 12. 大语言模型半结构化自然语言输入 13. 追踪健康债务状况 14. 对告警规则的单元测试 15. CI/CD 的零信任保护 评估 16. 通过依赖健康检查化解包幻觉风险 17. 设计系统决策记录 18. GitOps 19. 大语言模型驱动的自主代理 20. 平台编排 21. 自托管式大语言模型 暂缓 22. 忽略 OWASP 十大安全风险榜单 暂缓 暂缓 评估 评估 试验 试验 采纳 采纳 采纳 1. 设计系统 2. 轻量级的 RFCs 方法 试验 3. 具有可访问性意识的组件测试设计 4. 攻击路径分析 5. 自动合并依赖项更新 PR 6. 针对 FAIR 数据的数据产品思维 7. OIDC for GitHub Actions 8. 使用 Terraform 创建监控和告警 9. ReAct 提示工程0 码力 | 43 页 | 2.76 MB | 1 年前3
Kubernetes开源书 - 周立使得许多其他系统可以构建在Kubernetes上。 Kubernetes不是什么? Kubernetes不是⼀个传统的,全⾯的PaaS系统。 它保留了⽤户的重要选择。 Kubernetes: 不限制⽀持的应⽤类型。不规定应⽤框架(例如 Wildfly ),不限制⽀持的语⾔运⾏时(例如Java,Python, Ruby),不局限于 12-factor applications ,也不区分应⽤程序和服务 。 赖于特定云提供商的功能代码。在未来的版本中,云供应商的特定代码应由云供应商⾃⼰维护,并在运⾏Kubernetes时 与cloud-controller-manager相关联。 以下控制器存在云提供商依赖: Node Controller:⽤于检查云提供商,从⽽确定Node在停⽌响应后从云中删除 Route Controller:⽤于在底层云基础设施中设置路由 Service Controll Addon manager创建并维护addon的资源。详⻅这⾥: here 。 DNS 虽然其他Addon不是严格要求的,但所有Kubernetes集群都应该有 cluster DNS ,许多⽤例都依赖于它。 Cluster DNS是⼀个DNS服务器,它为Kubernetes服务提供DNS记录。 Kubernetes启动的容器会⾃动将该DNS服务器包含在DNS搜索中。 Web UI (Dashboard)0 码力 | 135 页 | 21.02 MB | 1 年前3
⾸云容器产品Kubernetes操作指南-> 选择增加节点类型为master -> 选择计算类型与规格 -> 添加云盘(可不选)-> 设 置添加数量 -> 输⼊登录⽤户密码 -> 核对⽆误后,点击确定进⾏添加 进⼊节点查看⻚⾯ -> 选择对应集群,新添加节点状态由创建中 -> 正常代表添加成功 8 添加worker节点 进⼊集群⻚⾯ -> 选择需要操作的集群 -> 点击集群扩容 核对集群ID -> 选择增加节点类型为worker 选择增加节点类型为worker -> 选择计算类型与规格 -> 添加云盘(可不选)-> 设置 添加数量 -> 输⼊登录⽤户密码 -> 核对⽆误后,点击确定进⾏添加 9 进⼊节点查看⻚⾯ -> 选择对应集群,新添加节点状态由创建中 -> 正常代表添加成功 删除worker节点(master节点不可移除) 进⼊节点查看⻚⾯ -> 选择对应集群,选择要删除的worker节点 -> 点击删除 10 点击删除后,仔细阅读提示后,没问题点击确认执⾏删除操作 动的⽀持 创建⽂件存储 NAS 选择⽂件存储NAS后,选择右上的新建按钮可以创建⼀块新的NAS存储 存储管理 1.简介 2. 操作说明 13 在新⻚⾯中,依次选择可⽤区,输⼊名称,选择类型和容量,最后单击确定 在该⻚⾯,可以看到所配置的存储的价格 可以⽤去的选择要和容器集群所在区域⼀致,不同区域的集群和存储间不能挂载和访问 创建挂载点 新创建的NAS盘,需要挂载后才能使⽤0 码力 | 94 页 | 9.98 MB | 1 年前3
石墨文档Go在K8S上微服务的实践-彭友顺• 错误定位 Generate • protoc -I {error proto file} --go-errors_out={output directory} • 实现我们自定义的error类型,方便断言。 • 根据注解的code信息,在错误码中生成对应的grpc status code • 确保错误码唯一,后续在API层响应用户数据确保唯一错误码,例如: 下单失败(1008) • errors里设置with 配置 对接 Debug • 配置驱动 • 配置补齐 • 配置工具 • Proto的管理 • 错误码管理 • 调试gRPC • 调试信息 • 错误定位 微服务的测试阶段 测试类型 工具生成测试用例 简单高效做单元测试 • 单元测试 • 本地docker-compse • 提交代码,触发gitlab ci • 接口测试 • 接口平台 • 性能测试 • benchmark benchmark • 全链路压测 • 集成测试 • 以前gitlab ci,docker in docker • 目前结合配置中心拓扑图,自动生成jekins编排,ing 微服务的测试阶段 测试类型 工具生成测试用例 简单高效做单元测试 protoc --proto_path=${ROOT}/examples/helloworld --go-test_out=pkg=main,paths=source_relative:0 码力 | 41 页 | 3.20 MB | 1 年前3
Kubernetes 异常配置检测框架节点防火墙软件等修改 iptables、内核参数 • 网络链路长,手动排查成本高 异常影响 • 应用间无法正常通信 • 集群内 Controller 无法正常工作 YUM 安装自动运维工具 自动安装依赖 firewalld 网络未知原因导致异常 Node Pod eth0 调用 iptables 增加阻断规则 FORWARD_IN_ZONES_SOURCE FORWARD_OUT_ZONES s 兼容性检查) • 节点上自定义数据的收集(依赖于自定义插件) 问题上报 • 需要采集和分析结果文件 Kube* CIS Kubernetes Benchmark 集群安全扫描 集群综合检查 执行 bpftrace 检测工具小结 工具 适用场景 局限性 kube-bench 在集群中运行 CIS Benchmark 检测项依赖于 CIS Benchmark 内容 能发现集群核心组件配置错误 Custom Job Node Script Image 1. 根据集群类型、版本、场景生成检测策略 2. 根据策略执行检测任务 3. 检测任务支持脚本或容器镜像 Ver.1 优化点 快速迭代的 Kubernetes 版本 • 月度发版 • 版本间的配置、参数、API 差异 多样集群类型(阿里云容器服务) • 托管版集群、Serverless 集群 • 边缘集群、GPU0 码力 | 31 页 | 9.57 MB | 1 年前3
云计算白皮书作伙伴作为连接云厂商与企业的桥梁,是云厂商长期稳定发展的保 障。过去一年,全球主流云服务商积极汇聚伙伴生态、变革伙伴合 作模式、坚持伙伴优先战略,合作伙伴生态被提升到新高度。一是 云服务商关注到上云企业对 ISV 等合作伙伴依赖突出,通过“赢得 伙伴”的战略赢得市场。随着数字化转型进入深水区,企业上云着 重于把数字技术与企业业务、运营、管理等深入结合,获得端到端 的解决方案和服务,这离不开细分领域解决方案提供商的深度支持。 业务场景多形态。一云多芯作为云计算的全新技术架构,通常指用 一套云操作系统来管理不同类型芯片、架构、接口、技术栈等硬件 服务器集群。在如今算力需求爆炸的 AI 时代,一云多芯为各行各业 践行数字化转型提供了有力支持。一方面,它可以提供统一管理、 云计算白皮书(2023 年) 17 灵活便捷的算力资源,一定程度上解决了不同类型芯片的共存问题; 另一方面,它可以满足单一通用云平台无法支撑的复杂业务形态, 云管理与优化 治理成效。 稳定性层面,云上系统稳定性挑战持续存在,系统稳定性保障 云计算白皮书(2023 年) 20 体系不断完善、技术不断创新。云上系统自带“分布式”属性,各 模块之间依赖关系错综复杂,给服务性能分析、故障定位、根因分 析等带来了诸多困难;云上系统故障率随设备数量的增加而呈指数 级增长,单一节点问题可能会被无限放大,日常运行过程中一定会 伴随“异常”发生;同时,节点分布范围更广,节点数量更多,对0 码力 | 47 页 | 1.22 MB | 1 年前3
k8s操作手册 2.3e.pem ②安装k8s二进制组件 #使用aliyun的源(如果用的是RHEL8系列的系统,也是用的el7的仓库源,因为 k8s组件是用go语言写的,直接二进制文件就可用,不需要特殊的库依赖,于是 和系统弱相关,8或9系列的系统也直接可用这些rpm软件) # cat >> /etc/yum.repos.d/k8s-ali.repo <类型: ClusterIp 只能用于集群内部,iptables,ipvs cluster-ip:port --> real pod ip:port NodePort 通过每个node ip上的静态端口 #只从网络获取 ★列出k8s所有资源类型名称 # kubectl api-resources #列出所有资源类型详名称及缩写 名称 # kubectl api-resources --verbs=list --namespaced -o name #列出所有资源类型 名称 ★LimitRange 0 码力 | 126 页 | 4.33 MB | 1 年前3
运维上海2017-Kubernetes与AI相结合架构、落地解析-赵慧智息监控(包括CPU,Memory, BIO,Networking • 监控预警的阀值设置 • 收集监控日志 存储管理 • 对于所有 Kubernetes Volume 按照业务类型提供统一的管理 • 用户在进行Volume操作的时候 根据业务进行中间层处理,包括 但不限于访问权限,大小申请, 读写操作等 • 根据用户不同的角色进行集群不同的环境选择 • 在业务层面让用户感知为统一的环境 Example 将数组 a 和数组 b 相加并将计算结果放入数组 c 中。 数组运算并行化 – CUDA by Example 当我们有多个 core 的时候 深度学习对于并行化硬件的依赖 - GPU • Core 的多少往往决定真正并行化运算的数量 GPU 硬件使用流程 AI 模型 • AI 模型会决定最终使用资源的多少 • AI 模型的服务性能还与网络相关 短缺 问题 • 需要对不同用户进行资源池划分 模型管理与发布 • 模型发布: • 模型服务的负载均衡 • 硬件资源的规划 • 模型管理: • 模型的版本 • 模型的类型 研发环境与生产环境隔离 • 硬件资源互相隔离 • 网络资源相互连通 资源监控及分配策略 • 用户资源的限制 • - 创建训练任务的限制 • - 创建模型服务的限制 •0 码力 | 77 页 | 14.48 MB | 1 年前3
第1930期:Kubernetes基础介绍还提供完善的管理工具,涵盖开发、部署测试、运维监控等各个环节。 5 www.h3c.com Confidential 秘密 55 Kubernetes基础结构介绍 Kubernetes特性: 自动装箱:构建于容器之上,基于资源依赖和其他约束自动完成容器部署。 自我修复:容器故障后自动重启、节点故障后重新调度容器,以及容器自我修复机制。 水平扩展:通过简单明了实现水平扩展,基于CPU等资源负载率的自动水平扩展。 服务发现和负载 服务发现和负载均衡:实现内部负载均衡可以实现服务访问负载。 自动发布和回滚:可以自动实现版本的发布和回滚。 秘钥和配置管理:对于密码等信息,专门提供了Secert对象为其解耦。 存储编排:支持多种不同类型的存储,包括本地存储、云存储、网络存储等。 批量处理执行:除服务型应用,还支持批处理作业CI(持续集成),如有需要,一样可以实现容器故障后修复。 Kubernetes特点: 可移植: 支持公有云,私有云,混合云,多重云(multi-cloud) K8s集群中的存储卷跟Docker的存储卷有些类似,只不过Docker的存储卷作用范围为一个容器,而K8s的存储卷的生 命周期和作用范围是一个Pod。每个Pod中声明的存储卷由Pod中的所有容器共享。K8s支持非常多的存储卷类型,特别 的,支持多种公有云平台的存储,包括AWS,Google和Azure云;支持多种分布式存储包括GlusterFS和Ceph;也支持 较容易使用的主机本地目录hostPath和NFS。K8s还支持使用Persistent0 码力 | 49 页 | 4.11 MB | 1 年前3
深度解析CNCF社区⾸个基于Kubernetes的边缘计算平台KubeEdge接回传⾄至云端且成本⾼高昂,数据在本地进⾏行行分析和过滤,节省⽹网络带宽。� ➔ 隐私安全:数据涉及到企业⽣生产和经营活动安全,在边缘处理理企业保密信息和个⼈人隐私。� ➔ 本地⾃自治:不不依赖云端的离线处理理能⼒力力和⾃自我恢复能⼒力力。� 低时延 海海量量数据 隐私安全 本地⾃自治 边缘计算应⽤用场景——智慧园区� ➔ 基于边缘计算打造智慧园区,通过视频监控+AI分析实 构建服务⽹网格。� ➔ 提⾼高 Kubedge 基础设施的性能和可靠性。� ➔ 在边缘端提供函数即服务(Function as a Service, FaaS)。� ➔ 在边缘端节点⽀支持更更多类型的设备协议,如 AMQP、 BlueTooth、ZigBee 等等。� ➔ 评估并启⽤用具有数千个边缘节点和数百万设备的超⼤大规模 边缘集群。� ➔ 启⽤用应⽤用的智能调度,扩⼤大边缘节点的规模。�0 码力 | 20 页 | 2.08 MB | 1 年前3
共 31 条
- 1
- 2
- 3
- 4













