 第29 期| 2023 年9 月- 技术雷达于 GenAI 的工具日益普及,这也引 发了一种新的软件供应链攻击媒介:包幻觉。我们认为在开发过程中使用 GenAI 工具的团队需要重视这类风险。 团队可以通过对依赖进行健康检查化解包幻觉风险:在选择依赖之前查看它的创建日期、下载数量、github 评论 及星标数、贡献者数量、活动历史记录等。一些依赖健康检查可以在包存储仓库和 GitHub 上执行,而像 deps. dev 和 Snyk advisor 在 SQL 数据转换中实 践模块化、可测试性、和可复用性的能力。 dbt 有开源和商业化 SaaS 产品两种版本和健康的生态,包括一个 提供了许多用于单元测试、数据质量、数据可观测性等软件包的社区。这些包中尤为值得注意的是用于监测数 据质量的 dbt-expectations 和用于构建数据转换的单元测试的 dbt-unit-testing。dbt 很好地集成了各种云数 据仓库、数据湖和数据库,包括 cdk-nag 能够识别并报告 AWS CDK 应用程序或 CloudFormation 模板中的安全性和合规性问题。它附带了几个 所谓的规则包:一个通用的 AWS 规则包,包括 AWS 认为的最佳实践检查,以及用于 HIPAA、NIST 和 PCI 合规 性的规则包。您可以根据需要添加额外的规则。规则可以导致警告或错误,这两者都包含在工具生成的报告中。 当存在错误时,cdk deploy 命令将无0 码力 | 43 页 | 2.76 MB | 1 年前3 第29 期| 2023 年9 月- 技术雷达于 GenAI 的工具日益普及,这也引 发了一种新的软件供应链攻击媒介:包幻觉。我们认为在开发过程中使用 GenAI 工具的团队需要重视这类风险。 团队可以通过对依赖进行健康检查化解包幻觉风险:在选择依赖之前查看它的创建日期、下载数量、github 评论 及星标数、贡献者数量、活动历史记录等。一些依赖健康检查可以在包存储仓库和 GitHub 上执行,而像 deps. dev 和 Snyk advisor 在 SQL 数据转换中实 践模块化、可测试性、和可复用性的能力。 dbt 有开源和商业化 SaaS 产品两种版本和健康的生态,包括一个 提供了许多用于单元测试、数据质量、数据可观测性等软件包的社区。这些包中尤为值得注意的是用于监测数 据质量的 dbt-expectations 和用于构建数据转换的单元测试的 dbt-unit-testing。dbt 很好地集成了各种云数 据仓库、数据湖和数据库,包括 cdk-nag 能够识别并报告 AWS CDK 应用程序或 CloudFormation 模板中的安全性和合规性问题。它附带了几个 所谓的规则包:一个通用的 AWS 规则包,包括 AWS 认为的最佳实践检查,以及用于 HIPAA、NIST 和 PCI 合规 性的规则包。您可以根据需要添加额外的规则。规则可以导致警告或错误,这两者都包含在工具生成的报告中。 当存在错误时,cdk deploy 命令将无0 码力 | 43 页 | 2.76 MB | 1 年前3
 k8s操作手册 2.3上的容器运行时和镜像。(支持containerd/docker/crio) ★安装crictl工具 默认随kubeadm一起安装了,在cri-tools-xxxx.x86_64.rpm这个包里,如果想单独 安装,则直接装这个rpm包或者到github上下载此软件 # wget h�ps://github.com/kubernetes-sigs/cri- tools/releases/download/v1 helm就是k8s的应用程序包管理器,helm将k8s应用的相关资源配置文件组织为 Charts Charts就是一个helm程序包, ★安装helm ①helm v3 ★Helm v3不再使用�ller,直接使用helm命令即可 helm开源地址: h�ps://github.com/helm/helm 下载压缩包到linux服务器上,并解压,把解压目录下的helm可执行文件复制 到/usr/bin/目录下添加可执行权限即可 #下载chart包,默认为压缩包,可用-- version=指定版本 # helm install chartName repoName/chartPkgName #安装指定仓库里的chart 包 # helm dependency list chartName.tgz #查看chart的依赖包 # helm install0 码力 | 126 页 | 4.33 MB | 1 年前3 k8s操作手册 2.3上的容器运行时和镜像。(支持containerd/docker/crio) ★安装crictl工具 默认随kubeadm一起安装了,在cri-tools-xxxx.x86_64.rpm这个包里,如果想单独 安装,则直接装这个rpm包或者到github上下载此软件 # wget h�ps://github.com/kubernetes-sigs/cri- tools/releases/download/v1 helm就是k8s的应用程序包管理器,helm将k8s应用的相关资源配置文件组织为 Charts Charts就是一个helm程序包, ★安装helm ①helm v3 ★Helm v3不再使用�ller,直接使用helm命令即可 helm开源地址: h�ps://github.com/helm/helm 下载压缩包到linux服务器上,并解压,把解压目录下的helm可执行文件复制 到/usr/bin/目录下添加可执行权限即可 #下载chart包,默认为压缩包,可用-- version=指定版本 # helm install chartName repoName/chartPkgName #安装指定仓库里的chart 包 # helm dependency list chartName.tgz #查看chart的依赖包 # helm install0 码力 | 126 页 | 4.33 MB | 1 年前3
 基于Kubernetes构建容器云平台的实践
 - UCloud优刻得实验室负责⼈ 叶理灯IPv6地址作为该Kubernetes集群 Service IP的地址段 Bgpd 负责将 Service IPv6 地址段通过 BGP 路路由协议宣告给接⼊入交换机 P o d 返 回 的 包 , 会 先 回 给 S e r v i c e Gateway,由于做了了SNAT,基于连接 追踪(conntrack),再返回给请求的 客户端。 每个接⼊入交换机下,选择两台节点作为Service Kube-proxy负责将发往 Service IP 的流量量转 发到对应的Pod。启动时将 kube-proxy的 masquerade-all 选项打开,这样 kube- proxy 转发给Pod的包会实现源地址转换 (SNAT) Service Gateway包括 bgpd 和 kube-proxy两部分。 Node Pod Pod Pod BGPD Kube-proxy masquerade-all=true 北北京 • 根据Pod1内的路路由规则将IP包通过Pod1 eth0发 送到云主机对应vethpair设备 • 根据云主机Node1的路路由规则将IP包通过云主机 eth0送出 • 根据Node2的路路由规则,将⽬目的地址为Pod2的IP 包发送到Pod2 对于Veth设备 • Pod2内eth0成功接收来⾃自Pod1的IP包 UK8S集群⽹网络⽅方案 Pod1与Pod2通信流程0 码力 | 30 页 | 3.52 MB | 1 年前3 基于Kubernetes构建容器云平台的实践
 - UCloud优刻得实验室负责⼈ 叶理灯IPv6地址作为该Kubernetes集群 Service IP的地址段 Bgpd 负责将 Service IPv6 地址段通过 BGP 路路由协议宣告给接⼊入交换机 P o d 返 回 的 包 , 会 先 回 给 S e r v i c e Gateway,由于做了了SNAT,基于连接 追踪(conntrack),再返回给请求的 客户端。 每个接⼊入交换机下,选择两台节点作为Service Kube-proxy负责将发往 Service IP 的流量量转 发到对应的Pod。启动时将 kube-proxy的 masquerade-all 选项打开,这样 kube- proxy 转发给Pod的包会实现源地址转换 (SNAT) Service Gateway包括 bgpd 和 kube-proxy两部分。 Node Pod Pod Pod BGPD Kube-proxy masquerade-all=true 北北京 • 根据Pod1内的路路由规则将IP包通过Pod1 eth0发 送到云主机对应vethpair设备 • 根据云主机Node1的路路由规则将IP包通过云主机 eth0送出 • 根据Node2的路路由规则,将⽬目的地址为Pod2的IP 包发送到Pod2 对于Veth设备 • Pod2内eth0成功接收来⾃自Pod1的IP包 UK8S集群⽹网络⽅方案 Pod1与Pod2通信流程0 码力 | 30 页 | 3.52 MB | 1 年前3
 腾讯基于 Kubernetes 的企业级容器云实践-罗韩梅◼在某个cgroup没有用满其配额时,其他cgroup可以自动使用其空闲的部分带宽 ◼在多个cgroup分享其他cgroup的空闲带宽时,优先级高的优先; 优先级相同 时, 配额大的占用多,配额小的占用少 ◼尽量减少为了流控而主动丢包 下图是两个进程都拼命争抢网络带宽时的效果。两个进程的 带宽和时延都得不到任何程度的保证。 ◼队列: 不增加队列, 对每个报文直接在正常代码路径上进行决策 ◼Cgroup区分(标记): 在正常处 在正常处理流程中,报文查找到目标socket结构之 后,根据socket的owner process来确定cgroup ◼报文决策: 令牌桶 + 共享令牌池 + 显式借令牌 ◼限速方式: ECN标记 + TCP滑窗 + 丢包 可靠 短信 Email 微信 自定义渠道 4种告警方式——可随时修改 158项告警 87项指标采集 通用 • 不同的应用可以选择不同的网络模式 • 同一主机的不同容器可以选择不同的网络模式 IPIP+Gateway混合Overlay方案 •短链接IPIP包量比Vxlan多14.1% •Gateway比Vxlan多40.5% •方案被Flannel社区合并 Underlay方案 • Bridge方式仅比Host差6%,一般 overlay比Host差20~40% • SRIOV方式比Bridge CPU下降38.3%, 包量+6% 性能 Docker、Docket、Gaiastack0 码力 | 28 页 | 3.92 MB | 1 年前3 腾讯基于 Kubernetes 的企业级容器云实践-罗韩梅◼在某个cgroup没有用满其配额时,其他cgroup可以自动使用其空闲的部分带宽 ◼在多个cgroup分享其他cgroup的空闲带宽时,优先级高的优先; 优先级相同 时, 配额大的占用多,配额小的占用少 ◼尽量减少为了流控而主动丢包 下图是两个进程都拼命争抢网络带宽时的效果。两个进程的 带宽和时延都得不到任何程度的保证。 ◼队列: 不增加队列, 对每个报文直接在正常代码路径上进行决策 ◼Cgroup区分(标记): 在正常处 在正常处理流程中,报文查找到目标socket结构之 后,根据socket的owner process来确定cgroup ◼报文决策: 令牌桶 + 共享令牌池 + 显式借令牌 ◼限速方式: ECN标记 + TCP滑窗 + 丢包 可靠 短信 Email 微信 自定义渠道 4种告警方式——可随时修改 158项告警 87项指标采集 通用 • 不同的应用可以选择不同的网络模式 • 同一主机的不同容器可以选择不同的网络模式 IPIP+Gateway混合Overlay方案 •短链接IPIP包量比Vxlan多14.1% •Gateway比Vxlan多40.5% •方案被Flannel社区合并 Underlay方案 • Bridge方式仅比Host差6%,一般 overlay比Host差20~40% • SRIOV方式比Bridge CPU下降38.3%, 包量+6% 性能 Docker、Docket、Gaiastack0 码力 | 28 页 | 3.92 MB | 1 年前3
 Kubernetes开源书 -  周立incubator/kubespray/releases) ~]# git clone https://github.com/kubernetes-incubator/kubespray.git 安装kubespray需要的包: ~]# cd kubespray ~]# sudo pip install -r requirements.txt 拷⻉ inventory/sample ,命名为 inventory/mycluster Kubernetes为主要⽤于集群内通信的API实现了另⼀种基于Protobuf的序列化格式,在 design proposal 有记录,每个 schema的IDL⽂件都存放在定义该API对象的Go语⾔包中。 API版本 为了更容易地消除字段或重组资源表示,Kubernetes⽀持多种API版本,每种API版本都有不同的API路径,例 如 /api/v1 或 /apis/extensions/v1beta1 息,请参阅 the original design proposal for portals(⻔户⽹站的原始设计⽅案) 。 使⽤userspace proxy会隐藏访问 Service 的数据包的源IP。这使得某些防⽕墙⽆法实现。iptables proxier不会隐藏群 集内的源IP,但它仍会影响到使⽤负载均衡器或node-port的客户端。 译者按:但它仍会影响到使⽤负载均衡器或node-port的客户端是什么意思?0 码力 | 135 页 | 21.02 MB | 1 年前3 Kubernetes开源书 -  周立incubator/kubespray/releases) ~]# git clone https://github.com/kubernetes-incubator/kubespray.git 安装kubespray需要的包: ~]# cd kubespray ~]# sudo pip install -r requirements.txt 拷⻉ inventory/sample ,命名为 inventory/mycluster Kubernetes为主要⽤于集群内通信的API实现了另⼀种基于Protobuf的序列化格式,在 design proposal 有记录,每个 schema的IDL⽂件都存放在定义该API对象的Go语⾔包中。 API版本 为了更容易地消除字段或重组资源表示,Kubernetes⽀持多种API版本,每种API版本都有不同的API路径,例 如 /api/v1 或 /apis/extensions/v1beta1 息,请参阅 the original design proposal for portals(⻔户⽹站的原始设计⽅案) 。 使⽤userspace proxy会隐藏访问 Service 的数据包的源IP。这使得某些防⽕墙⽆法实现。iptables proxier不会隐藏群 集内的源IP,但它仍会影响到使⽤负载均衡器或node-port的客户端。 译者按:但它仍会影响到使⽤负载均衡器或node-port的客户端是什么意思?0 码力 | 135 页 | 21.02 MB | 1 年前3
 Kubernetes 异常配置检测框架• 全链路网络异常收集 • 通过 ebpf 追踪丢包调用栈 Pod Node eth0 eth0 VPC 容器内配置错误 Iptables、路由配置错误 网卡、驱动配置错误 安全组配置错误 VPC 转发配置错误 Autopilot Engine 诊断任务 网络检测 Conntrack 采集 网卡丢包事件 所有包采集 Flow 采集 ebpf 注入 trace0 码力 | 31 页 | 9.57 MB | 1 年前3 Kubernetes 异常配置检测框架• 全链路网络异常收集 • 通过 ebpf 追踪丢包调用栈 Pod Node eth0 eth0 VPC 容器内配置错误 Iptables、路由配置错误 网卡、驱动配置错误 安全组配置错误 VPC 转发配置错误 Autopilot Engine 诊断任务 网络检测 Conntrack 采集 网卡丢包事件 所有包采集 Flow 采集 ebpf 注入 trace0 码力 | 31 页 | 9.57 MB | 1 年前3
 202106 KubeOperator:开源的轻量级 Kubernetes 发行版
v2.0 开源许可协议免费下载; • 助⼒力力企业规划、部署和运营⽣生产级别的 Kubernetes 集群; • ⽀支持 Kubernetes 集群按需伸缩和按需修补。 X-Pack 增强包 + 原⼚厂企业级⽀支持服务 KubeOperator 开源容器器平台功能列列表 Day 0 规划 集群模式 1 个 Master 节点 n 个 Worker 节点模式:适合开发测试⽤用途;3 规划提供相关顾问咨询服务。 紧急救助服务 专家顾问咨询服务 软件升级服务 提供软件补丁、增强功能包等软件升级服务,⽆无缝升级软件版本。 在线⾃自助服务 提供客户⽀支持⻔门户,⽀支持客户在线访问⽹网站并下载相关资料料,及时掌握最新的软件特性、维护经验、使⽤用技 巧等相关知识。 KubeOperator X-Pack 增强包功能 增强功能持续增加中 对接 LDAP/AD 界⾯面⾃自定义 消息中⼼心,0 码力 | 20 页 | 1.62 MB | 1 年前3 202106 KubeOperator:开源的轻量级 Kubernetes 发行版
v2.0 开源许可协议免费下载; • 助⼒力力企业规划、部署和运营⽣生产级别的 Kubernetes 集群; • ⽀支持 Kubernetes 集群按需伸缩和按需修补。 X-Pack 增强包 + 原⼚厂企业级⽀支持服务 KubeOperator 开源容器器平台功能列列表 Day 0 规划 集群模式 1 个 Master 节点 n 个 Worker 节点模式:适合开发测试⽤用途;3 规划提供相关顾问咨询服务。 紧急救助服务 专家顾问咨询服务 软件升级服务 提供软件补丁、增强功能包等软件升级服务,⽆无缝升级软件版本。 在线⾃自助服务 提供客户⽀支持⻔门户,⽀支持客户在线访问⽹网站并下载相关资料料,及时掌握最新的软件特性、维护经验、使⽤用技 巧等相关知识。 KubeOperator X-Pack 增强包功能 增强功能持续增加中 对接 LDAP/AD 界⾯面⾃自定义 消息中⼼心,0 码力 | 20 页 | 1.62 MB | 1 年前3
 石油巨头与Kubernetes, Microservice & DevOps 共舞1114最终版理平台 流⽔线编 排⼯具 代码质 量管控 镜像安 全扫描 运营统 计⼯具 XXXX 指标统计 XXXX 指标统计 XXXX 指标统计 XXXX 指标统计 运营统计 编译打 包 代码质量 管理 多语⾔ 构建 安全管控 构建实 践 测试管理 功能测 试 性能测试 接⼝测 试 产出物管 理 持续构建与测试 ⾃动部 署 配置管理 环境管 理 数据库变 与DevOps⼯具紧密 集成 ü 代码变更管理任务 ü 本地代码扫描保证质量 ü 推荐Git 分⽀管理模型 ü 代码提交触发流⽔线 ü 流⽔线⾃动进⾏单元测 试 ü 流⽔线⾃动进⾏编译打 包 ü 流⽔线⾃动⽣成镜像 ü 流⽔线⾃动部署更新服 务 ü 事务管理⼯具跟踪状态 ü 跟踪团队开发进度 ü 测试case管理⼯具规范管 理 ü ⾃动化测试管理⼯具对测 试case进⾏图形化编排降0 码力 | 33 页 | 7.49 MB | 1 年前3 石油巨头与Kubernetes, Microservice & DevOps 共舞1114最终版理平台 流⽔线编 排⼯具 代码质 量管控 镜像安 全扫描 运营统 计⼯具 XXXX 指标统计 XXXX 指标统计 XXXX 指标统计 XXXX 指标统计 运营统计 编译打 包 代码质量 管理 多语⾔ 构建 安全管控 构建实 践 测试管理 功能测 试 性能测试 接⼝测 试 产出物管 理 持续构建与测试 ⾃动部 署 配置管理 环境管 理 数据库变 与DevOps⼯具紧密 集成 ü 代码变更管理任务 ü 本地代码扫描保证质量 ü 推荐Git 分⽀管理模型 ü 代码提交触发流⽔线 ü 流⽔线⾃动进⾏单元测 试 ü 流⽔线⾃动进⾏编译打 包 ü 流⽔线⾃动⽣成镜像 ü 流⽔线⾃动部署更新服 务 ü 事务管理⼯具跟踪状态 ü 跟踪团队开发进度 ü 测试case管理⼯具规范管 理 ü ⾃动化测试管理⼯具对测 试case进⾏图形化编排降0 码力 | 33 页 | 7.49 MB | 1 年前3
 腾讯云 Kubernetes 高性能网络技术揭秘——使用 eBPF 增强 IPVS 优化 K8s 网络性能-范建明Post routing 函数中,将请求1的lport插入conntrack,成功! • Conntrack Post routing 函数中,将请求2的lport插入conntrack,失败,丢包,导致延迟。 • 解决方法 • eBPF代码在分配lport和插入hash的外围,加了一个大循环,插入失败会重新分配lport。 06 未来的工作 未来的工作 • 适配更多的linux 发行版本0 码力 | 27 页 | 1.19 MB | 9 月前3 腾讯云 Kubernetes 高性能网络技术揭秘——使用 eBPF 增强 IPVS 优化 K8s 网络性能-范建明Post routing 函数中,将请求1的lport插入conntrack,成功! • Conntrack Post routing 函数中,将请求2的lport插入conntrack,失败,丢包,导致延迟。 • 解决方法 • eBPF代码在分配lport和插入hash的外围,加了一个大循环,插入失败会重新分配lport。 06 未来的工作 未来的工作 • 适配更多的linux 发行版本0 码力 | 27 页 | 1.19 MB | 9 月前3
 QCon北京2017/企业软件互联网应用实践/基于 kubernetes 的企业级容器云支持MySQL/Redis等常用组件服务市场 22 2017 Lenovo Internal. All rights reserved. Showcase • 部署示例:配置简单,自服务 选择应用类型/模板 配置应用 上传包 打包镜像并部署 完成部署上线 23 2017 Lenovo Internal. All rights reserved. Showcase • Scale Out横向扩展:简单,快速 {“spec”:{0 码力 | 30 页 | 1.80 MB | 1 年前3 QCon北京2017/企业软件互联网应用实践/基于 kubernetes 的企业级容器云支持MySQL/Redis等常用组件服务市场 22 2017 Lenovo Internal. All rights reserved. Showcase • 部署示例:配置简单,自服务 选择应用类型/模板 配置应用 上传包 打包镜像并部署 完成部署上线 23 2017 Lenovo Internal. All rights reserved. Showcase • Scale Out横向扩展:简单,快速 {“spec”:{0 码力 | 30 页 | 1.80 MB | 1 年前3
共 15 条
- 1
- 2














