 第29 期| 2023 年9 月- 技术雷达产力的良好指标。相反, 行业已经开始关注“工程效能”:我们不应该衡量生产力,而应该衡量我们知道对流程有贡献或有损害的事物。 我们不应该专注于个体的活动,而应该关注系统中的浪费来源以及可以从经验上证明导致开发人员对“生产力” 感知产生影响的条件。新的工具,比如 DX DevEx 360,通过关注开发者体验而不是一些虚假的产出衡量标准解 决了这个问题。然而,许多领导人仍然以模糊的、定性的方式衡 ReAct)。这种方法有助于使大语言模型的响应更具解释性,相对于思维链减少了虚构性内容,从而提高了提示 者获得他们想要的内容的机会。最初,LangChain 是为支持这种提示方式而开发的。基于 ReAct 的自主代理已 被证明是我们团队构建的大语言模型应用中使用最广泛的一种。最近,OpenAI 在其 API 中引入了函数调用以使 ReAct 和类似的提示风格更容易实现,而无需依赖像 LangChain 这样的外部工具。我们仍然处于定义这一学科 认为的最佳实践检查,以及用于 HIPAA、NIST 和 PCI 合规 性的规则包。您可以根据需要添加额外的规则。规则可以导致警告或错误,这两者都包含在工具生成的报告中。 当存在错误时,cdk deploy 命令将无法进行部署。如果错误的原因无法及时修复,仍然可以在错误存在但已被 抑制的情况下进行部署。显然,这应该只在特殊情况下执行。 49. Checkov 试验 Checkov 是一个专门用于基础0 码力 | 43 页 | 2.76 MB | 1 年前3 第29 期| 2023 年9 月- 技术雷达产力的良好指标。相反, 行业已经开始关注“工程效能”:我们不应该衡量生产力,而应该衡量我们知道对流程有贡献或有损害的事物。 我们不应该专注于个体的活动,而应该关注系统中的浪费来源以及可以从经验上证明导致开发人员对“生产力” 感知产生影响的条件。新的工具,比如 DX DevEx 360,通过关注开发者体验而不是一些虚假的产出衡量标准解 决了这个问题。然而,许多领导人仍然以模糊的、定性的方式衡 ReAct)。这种方法有助于使大语言模型的响应更具解释性,相对于思维链减少了虚构性内容,从而提高了提示 者获得他们想要的内容的机会。最初,LangChain 是为支持这种提示方式而开发的。基于 ReAct 的自主代理已 被证明是我们团队构建的大语言模型应用中使用最广泛的一种。最近,OpenAI 在其 API 中引入了函数调用以使 ReAct 和类似的提示风格更容易实现,而无需依赖像 LangChain 这样的外部工具。我们仍然处于定义这一学科 认为的最佳实践检查,以及用于 HIPAA、NIST 和 PCI 合规 性的规则包。您可以根据需要添加额外的规则。规则可以导致警告或错误,这两者都包含在工具生成的报告中。 当存在错误时,cdk deploy 命令将无法进行部署。如果错误的原因无法及时修复,仍然可以在错误存在但已被 抑制的情况下进行部署。显然,这应该只在特殊情况下执行。 49. Checkov 试验 Checkov 是一个专门用于基础0 码力 | 43 页 | 2.76 MB | 1 年前3
 第1930期:Kubernetes基础介绍Kubernetes基础介绍 综合产品支持部——李树兵 2 www.h3c.com Confidential 秘密 22 Kubernetes基础架构介绍 01 03 Kubernetes常见命令介绍 02 Kubernetes基本概念和术语介绍 04 Kubernetes技术在H3Cloud OS中的应用介绍 3 www.h3c.com Confidential 秘密 33 Kubernetes基础架构介绍 Kubernetes基础架构介绍 01 03 02 Kubernetes基本概念和术语介绍 04 Kubernetes技术在H3Cloud OS中的应用介绍 Kubernetes常见命令介绍 4 www.h3c.com Confidential 秘密 44 Kubernetes基础结构介绍 Kubernetes(来自希腊语,意为“舵手”或者“飞行员”又称为k8s),它是谷歌开源的容器集群管理系统,是谷歌多年大规模 Kubernetes常见命令介绍 10 www.h3c.com Confidential 秘密 10 10 k8s基本概念和术语介绍(Master) 主节点(Master): Master是集群的控制节点,每个k8s集群中至少需要一个Master节点来维护整个集群的管理和控制,几乎所有的控制命 令都是发给它,它负责执行具体的动作。它很重要,如果它不可用,那么我们所有的控制命令都会失效。 Master节点上运行一组关键进程:0 码力 | 49 页 | 4.11 MB | 1 年前3 第1930期:Kubernetes基础介绍Kubernetes基础介绍 综合产品支持部——李树兵 2 www.h3c.com Confidential 秘密 22 Kubernetes基础架构介绍 01 03 Kubernetes常见命令介绍 02 Kubernetes基本概念和术语介绍 04 Kubernetes技术在H3Cloud OS中的应用介绍 3 www.h3c.com Confidential 秘密 33 Kubernetes基础架构介绍 Kubernetes基础架构介绍 01 03 02 Kubernetes基本概念和术语介绍 04 Kubernetes技术在H3Cloud OS中的应用介绍 Kubernetes常见命令介绍 4 www.h3c.com Confidential 秘密 44 Kubernetes基础结构介绍 Kubernetes(来自希腊语,意为“舵手”或者“飞行员”又称为k8s),它是谷歌开源的容器集群管理系统,是谷歌多年大规模 Kubernetes常见命令介绍 10 www.h3c.com Confidential 秘密 10 10 k8s基本概念和术语介绍(Master) 主节点(Master): Master是集群的控制节点,每个k8s集群中至少需要一个Master节点来维护整个集群的管理和控制,几乎所有的控制命 令都是发给它,它负责执行具体的动作。它很重要,如果它不可用,那么我们所有的控制命令都会失效。 Master节点上运行一组关键进程:0 码力 | 49 页 | 4.11 MB | 1 年前3
 k8s操作手册 2.3k8s操作手册 前言: 1.蓝色字体表示命令行命令,正式执行时不要复制前面的#号,#号只是提示应 该使用root权限操作 2.绿色字体表示注释,有时注释太多就不用绿色表示了 3.注意:本文档的所有操作请先在测环境进行实践,请不要直接在真实的服务 器中操作! 版权声明: 本文档以开源的形式发布,所有条款如下: (1)无担保:作者不保证文档内容的准确无误,亦不承担由于使用此文档所导致的任何后果 io/coredns:1.7.0 #可以先下载以上7个镜像,传到每台k8s服务器上,再docker load导入;或者使 用内部registry仓库(内部registry镜像仓库里要有以上7个镜像) ★直接使用命令行方式初始化集群 (以下是非HA模式的master初始化,如果要部署高可用集群,则参考第4章) kubeadm init --kubernetes- version=v1.19.4 \ json文件 里配置信任此镜像仓库地址! # cat >> /etc/hosts < k8s操作手册 2.3k8s操作手册 前言: 1.蓝色字体表示命令行命令,正式执行时不要复制前面的#号,#号只是提示应 该使用root权限操作 2.绿色字体表示注释,有时注释太多就不用绿色表示了 3.注意:本文档的所有操作请先在测环境进行实践,请不要直接在真实的服务 器中操作! 版权声明: 本文档以开源的形式发布,所有条款如下: (1)无担保:作者不保证文档内容的准确无误,亦不承担由于使用此文档所导致的任何后果 io/coredns:1.7.0 #可以先下载以上7个镜像,传到每台k8s服务器上,再docker load导入;或者使 用内部registry仓库(内部registry镜像仓库里要有以上7个镜像) ★直接使用命令行方式初始化集群 (以下是非HA模式的master初始化,如果要部署高可用集群,则参考第4章) kubeadm init --kubernetes- version=v1.19.4 \ json文件 里配置信任此镜像仓库地址! # cat >> /etc/hosts <- 命令行方式二选一) # kubeadm config print init-defaults > /etc/kubeadm-init.yaml #输出初始化配 置文件并编辑 # vi 0 码力 | 126 页 | 4.33 MB | 1 年前3
 Kubernetes开源书 -  周立master,node 172.20.0.90 node 172.20.0.91 node 172.20.0.92 node 准备⼯作 关闭selinux 所有机器都必须关闭selinux,执⾏如下命令即可。 ~]# setenforce 0 ~]# sed -i --follow-symlinks 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/sysconfig/selinux 中描述了API的总体规范。 API Reference 中描述了API端点、资源类型和样本。 access doc 讨论了API的远程访问。 Kubernetes API也是系统声明式配置模式的基础。 Kubectl 命令⾏⼯具可⽤于创建、更新、删除以及获取API对象。 Kubernetes也会存储其API资源⽅⾯的序列化状态(⽬前存在 etcd 中)。 Kubernetes本身被分解成了多个组件,通过其API进⾏交互。 的⼯作负载是怎样的?这是您集群的期望状态 。 要使⽤Kubernetes对象——⽆论是创建、修改还是删除它们,您都需要使⽤ Kubernetes API 。 例如,当您使 ⽤ kubectl 命令⾏时,CLI会为您提供必要的Kubernetes API调⽤;您也可直接在⾃⼰的程序中使⽤Kubernetes API。 Kubernetes⽬前提供了⼀个 golang client library0 码力 | 135 页 | 21.02 MB | 1 年前3 Kubernetes开源书 -  周立master,node 172.20.0.90 node 172.20.0.91 node 172.20.0.92 node 准备⼯作 关闭selinux 所有机器都必须关闭selinux,执⾏如下命令即可。 ~]# setenforce 0 ~]# sed -i --follow-symlinks 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/sysconfig/selinux 中描述了API的总体规范。 API Reference 中描述了API端点、资源类型和样本。 access doc 讨论了API的远程访问。 Kubernetes API也是系统声明式配置模式的基础。 Kubectl 命令⾏⼯具可⽤于创建、更新、删除以及获取API对象。 Kubernetes也会存储其API资源⽅⾯的序列化状态(⽬前存在 etcd 中)。 Kubernetes本身被分解成了多个组件,通过其API进⾏交互。 的⼯作负载是怎样的?这是您集群的期望状态 。 要使⽤Kubernetes对象——⽆论是创建、修改还是删除它们,您都需要使⽤ Kubernetes API 。 例如,当您使 ⽤ kubectl 命令⾏时,CLI会为您提供必要的Kubernetes API调⽤;您也可直接在⾃⼰的程序中使⽤Kubernetes API。 Kubernetes⽬前提供了⼀个 golang client library0 码力 | 135 页 | 21.02 MB | 1 年前3
 ⾸云容器产品Kubernetes操作指南-o "vers=4,noresvport" ⾸云容器产品Kubernetes操作指南-o "vers=4,noresvport"- :/nfsshare ~/nas 挂载后,/nas ⽬录即为NAS盘的所有内容,此时可以做任意操作 使⽤后,执⾏下述命令即可卸载本次挂载: sudo umount /nas NAS盘扩容 在⽂件存储NAS⻚⾯点击扩容,即可对该盘进⾏在线扩容 在新⻚⾯中,选择容量并确定即可完成扩容 ⽬前只⽀持扩容操作,不可缩容 io/docs/tasks/configure-pod-container/attach-handler-lifecycle- event/。 启动执⾏:为容器设置预启动命令和参数。 启动后处理:为容器设置启动后的命令。 停⽌前处理:为容器设置预结束命令。 数据卷:⽀持配置本地存储和云存储。 本地存储:⽀持主机⽬录(hostpath)、配置项(configmap)、保密字典(secret)和临时⽬录四种 timeoutSeconds,探测超时时间。默认 1 秒,最⼩ 1 秒。 不健康阈值:探测成功后,最少连续探测失败多少次才被认定为失败。默认是 3,最⼩值是 1。 命令⾏ 通过在容器中执⾏探针检测命令,来检测容器的健康情况。⽀持的参数包括: 命令⾏:⽤于检测容器健康情况的探测命令。 延迟探测时间(秒):即 initialDelaySeconds,容器启动后第⼀次执⾏探测时需要等待多少 秒,默认为 5秒。 执⾏探测频率(秒):即 0 码力 | 94 页 | 9.98 MB | 1 年前3
 Kubernetes 入門執行 Kubelet、Proxy 和 Docker Daemon 三個元件,負責對本節點上的 Pod 的生命 週期進行管理,以及實現服務代理的功能。另外在所有節點上都可以執行 Kubectl 命令列工具,它提供了 Kubernetes 的叢集管理工具集。圖 1.14 描述了 Kubernetes 的系統架構。 圖 1.14 Kubernetes 的系統架構圖 2-6 Kubernetes 在實際營運系統中,我們經常會遇到某個服務需要擴展的情境,也可能會遇到由於 資源緊張或工作負載降低而需要減少服務實例數的情形。此時可以利用命令 kubectl scale rc 來完成這些任務。以 redis-slave RC 為例,已定義的最初抄本數量為 2,透 過執行下面的命令將 redis-slave RC 控制的 Pod 抄本數量從初始的 2 更新為 3: $ kubectl scale rc spec: selector: k8s-app: kube-ui ports: - port: 80 targetPort: 8080 透過 kubectl create 命令完成建置: $ kubectl create -f kube-ui-rc.yaml $ kubectl create -f kube-ui-svc.yaml 啟動成功後,透過 Kubernetes0 码力 | 12 页 | 2.00 MB | 1 年前3 Kubernetes 入門執行 Kubelet、Proxy 和 Docker Daemon 三個元件,負責對本節點上的 Pod 的生命 週期進行管理,以及實現服務代理的功能。另外在所有節點上都可以執行 Kubectl 命令列工具,它提供了 Kubernetes 的叢集管理工具集。圖 1.14 描述了 Kubernetes 的系統架構。 圖 1.14 Kubernetes 的系統架構圖 2-6 Kubernetes 在實際營運系統中,我們經常會遇到某個服務需要擴展的情境,也可能會遇到由於 資源緊張或工作負載降低而需要減少服務實例數的情形。此時可以利用命令 kubectl scale rc 來完成這些任務。以 redis-slave RC 為例,已定義的最初抄本數量為 2,透 過執行下面的命令將 redis-slave RC 控制的 Pod 抄本數量從初始的 2 更新為 3: $ kubectl scale rc spec: selector: k8s-app: kube-ui ports: - port: 80 targetPort: 8080 透過 kubectl create 命令完成建置: $ kubectl create -f kube-ui-rc.yaml $ kubectl create -f kube-ui-svc.yaml 啟動成功後,透過 Kubernetes0 码力 | 12 页 | 2.00 MB | 1 年前3
 GPU Resource Management On JDOS常规的容器服务 ,使用 gpu 的 zone , 自行设定相应的镜像即 可,有完善的周边服务 训练服务 • 提供基于 kubeflow 的分布式训练方案 – 界面化操作,用户提供代码地址和执行命令即可 – 系统内建支持安装 pip 依赖 – 自制存储插件支持分布式文件系统存储用户数据 – 支持官方镜像,不需要 JDOS 提前协助制作镜像 – 提供 tensorboard 作为训练监控实时查看训练状态 – Job 调度 (部门 quota 限制 + 优先级) • 创建训练 – 用户选择集群提供代码地址和执行命令即可 – 选择所用框架(镜像):支持官方,亦可自制 (提供 dockerfile 生成镜像服务) – 选择存储来源:对接了内部的存储 – 填写代码地址,执行的命令等 – 可以选择是否监控训练,提供 tensorboard 任务列表 可以指定 git 的 commit-id0 码力 | 11 页 | 13.40 MB | 1 年前3 GPU Resource Management On JDOS常规的容器服务 ,使用 gpu 的 zone , 自行设定相应的镜像即 可,有完善的周边服务 训练服务 • 提供基于 kubeflow 的分布式训练方案 – 界面化操作,用户提供代码地址和执行命令即可 – 系统内建支持安装 pip 依赖 – 自制存储插件支持分布式文件系统存储用户数据 – 支持官方镜像,不需要 JDOS 提前协助制作镜像 – 提供 tensorboard 作为训练监控实时查看训练状态 – Job 调度 (部门 quota 限制 + 优先级) • 创建训练 – 用户选择集群提供代码地址和执行命令即可 – 选择所用框架(镜像):支持官方,亦可自制 (提供 dockerfile 生成镜像服务) – 选择存储来源:对接了内部的存储 – 填写代码地址,执行的命令等 – 可以选择是否监控训练,提供 tensorboard 任务列表 可以指定 git 的 commit-id0 码力 | 11 页 | 13.40 MB | 1 年前3
 Kubernetes 管理 Docker 容器Minikube 简介 Minikube 可以实现⼀种轻量级的 Kubernetes 集群,通过在本地计算机上创建虚拟机并部署只包含单个节点的简单集群 MacOS 系统安装依赖 安装依赖 # 命令⾏⼯具 brew install kubectl brew install minikube # 如果遇到权限⽂图 sudo chown -R $(whoami) /usr/local/lib/pkgconfig 群集内部 IP 访问。要使 hello-node 容器从 Kubernetes 虚拟⽹络外部访问,须要使⽤ Kubernetes Service 暴露 Pod。 使⽤ kubectl expose 命令将 Pod 暴露到外部环境: kubectl expose deployment hello-node --type=LoadBalancer --port 8080 # 输出:service/hello-node ClusterIP 10.96.0.1 Kubernetes 管理 Docker 容器Minikube 简介 Minikube 可以实现⼀种轻量级的 Kubernetes 集群,通过在本地计算机上创建虚拟机并部署只包含单个节点的简单集群 MacOS 系统安装依赖 安装依赖 # 命令⾏⼯具 brew install kubectl brew install minikube # 如果遇到权限⽂图 sudo chown -R $(whoami) /usr/local/lib/pkgconfig 群集内部 IP 访问。要使 hello-node 容器从 Kubernetes 虚拟⽹络外部访问,须要使⽤ Kubernetes Service 暴露 Pod。 使⽤ kubectl expose 命令将 Pod 暴露到外部环境: kubectl expose deployment hello-node --type=LoadBalancer --port 8080 # 输出:service/hello-node ClusterIP 10.96.0.1- 443/TCP 16h 浏览器访问 Service 可以通过minikube Service 命令访问。 minikube service hello-node 会即刻打开浏览器,显示 “Hello World” 消息。 更新 Nodejs 应⽤镜像和服务 修改 Nodejs 程序并出新镜像: 0 码力 | 5 页 | 675.91 KB | 1 年前3
 CipherTrust Transparent Encryption for Kubernetes虛擬化或雲端環境中,關鍵資訊可能會暴露給第三方。 • 合規風險 - 許多合規性要求有嚴格的存取控制與稽查規 範。然而,許多資安團隊在管理和追蹤容器與映像內留 存資料,控制權受到限制。因此,這些資安團隊發現很 難遵守相關的資安政策與法規命令。 解決方案:CipherTrust Transparent Encryption for Kubernetes CipherTrust Transparent Encryption for Encryption for Kubernetes 效益有 : • 合規性 - CipherTrust Transparent Encryption 的這 項擴充,解決了保護機敏資料的合規要求與法規命令, 例如支付卡、健康照護紀錄或者其他機敏資產。 • 防止受到特權用戶的威脅 - 該解決方案提供資料存取控 制的加密,讓特權用戶如 Docker 或 OpenShift等群組 管理員,能夠像一般用戶執行操作,不會獲得未經授權 Kubernetes 環 境。 • 細粒度存取控制與可視性 - CipherTrust Transparent Encryption for Kubernetes 提供細部的可視性與控 制,滿足最嚴格政策與命令的法規遵循規範。採用 Kubernetes 資安解決方案,企業能依據特定用戶、程 序以及容器內的資源組來建立細粒度存取政策。最後, 該解決方案能夠在容器之間建立隔離,所以只有經過授 權的容器才可以存取機敏資料。0 码力 | 2 页 | 459.23 KB | 1 年前3 CipherTrust Transparent Encryption for Kubernetes虛擬化或雲端環境中,關鍵資訊可能會暴露給第三方。 • 合規風險 - 許多合規性要求有嚴格的存取控制與稽查規 範。然而,許多資安團隊在管理和追蹤容器與映像內留 存資料,控制權受到限制。因此,這些資安團隊發現很 難遵守相關的資安政策與法規命令。 解決方案:CipherTrust Transparent Encryption for Kubernetes CipherTrust Transparent Encryption for Encryption for Kubernetes 效益有 : • 合規性 - CipherTrust Transparent Encryption 的這 項擴充,解決了保護機敏資料的合規要求與法規命令, 例如支付卡、健康照護紀錄或者其他機敏資產。 • 防止受到特權用戶的威脅 - 該解決方案提供資料存取控 制的加密,讓特權用戶如 Docker 或 OpenShift等群組 管理員,能夠像一般用戶執行操作,不會獲得未經授權 Kubernetes 環 境。 • 細粒度存取控制與可視性 - CipherTrust Transparent Encryption for Kubernetes 提供細部的可視性與控 制,滿足最嚴格政策與命令的法規遵循規範。採用 Kubernetes 資安解決方案,企業能依據特定用戶、程 序以及容器內的資源組來建立細粒度存取政策。最後, 該解決方案能夠在容器之間建立隔離,所以只有經過授 權的容器才可以存取機敏資料。0 码力 | 2 页 | 459.23 KB | 1 年前3
 云计算白皮书单纯依靠技 术手段达成,需要完整的建设方法论,具体包含五个方面,如图 7 所示:一是应用架构现代化,依据分而治之、开放设计、统一风格 三重设计原则,通过微服务、Serverless、事件驱动和命令职权分离 等先进架构升级应用范式;二是数据架构现代化,以云原生为底座 优化数据摄取、数据存储、数据分析、数据消费、数据治理等能力, 云计算白皮书(2023 年) 16 充分挖掘数据价值等;三是技术架构现代化,从资源管理、运维保 台、甘肃算力 资源统一调度平台等。 云计算白皮书(2023 年) 30 分发方面,云计算声明式部署方式推动算力资源分发模式新变 革。传统的算力分发方式是面向流程的,以分发命令为核心,分发 结果取决于分发命令的精确程度及执行程度。传统分发方式下,算 力资源主要依靠运维团队手动部署和维护,一个机房的搭建通常需 要 4 人以上的运维团队至少一周的工作量,涉及算力、网络设备等 软硬件的安 软硬件的安装、设备和场地的管理以及安全能力的部署。但传统分 发方式也存在着显著的可扩展性差、效率低的问题,难以支持用户 算力需求突增的场景。伴随着云计算的发展,算力资源也从最初的 物理机部署发展为容器化部署,实现了算力分发从命令式到声明式 的转变,即以分发结果为核心,分发过程交付给容器化部署技术自 动执行,一方面在保证分发结果的同时排除人为操作引入的异常, 极大降低出错概率与人力成本;另一方面将用户的精力从资源运维0 码力 | 47 页 | 1.22 MB | 1 年前3 云计算白皮书单纯依靠技 术手段达成,需要完整的建设方法论,具体包含五个方面,如图 7 所示:一是应用架构现代化,依据分而治之、开放设计、统一风格 三重设计原则,通过微服务、Serverless、事件驱动和命令职权分离 等先进架构升级应用范式;二是数据架构现代化,以云原生为底座 优化数据摄取、数据存储、数据分析、数据消费、数据治理等能力, 云计算白皮书(2023 年) 16 充分挖掘数据价值等;三是技术架构现代化,从资源管理、运维保 台、甘肃算力 资源统一调度平台等。 云计算白皮书(2023 年) 30 分发方面,云计算声明式部署方式推动算力资源分发模式新变 革。传统的算力分发方式是面向流程的,以分发命令为核心,分发 结果取决于分发命令的精确程度及执行程度。传统分发方式下,算 力资源主要依靠运维团队手动部署和维护,一个机房的搭建通常需 要 4 人以上的运维团队至少一周的工作量,涉及算力、网络设备等 软硬件的安 软硬件的安装、设备和场地的管理以及安全能力的部署。但传统分 发方式也存在着显著的可扩展性差、效率低的问题,难以支持用户 算力需求突增的场景。伴随着云计算的发展,算力资源也从最初的 物理机部署发展为容器化部署,实现了算力分发从命令式到声明式 的转变,即以分发结果为核心,分发过程交付给容器化部署技术自 动执行,一方面在保证分发结果的同时排除人为操作引入的异常, 极大降低出错概率与人力成本;另一方面将用户的精力从资源运维0 码力 | 47 页 | 1.22 MB | 1 年前3
共 21 条
- 1
- 2
- 3














