 运维上海2017-Kubernetes与AI相结合架构、落地解析-赵慧智深度学习是指通过人工神经网络,通过对数据进行分析学习, 最终得出判断。 • 机器学习最难的地方在于特征的提取,而深度学习认为特征 提取是可以通过人工神经网络学习而得出结论的。深度学习 在非结构化数据方面有很大的优势。 卷积神经网络 - CNN 通过卷基层和池化层的网络结构进行不断的对图像的特征提取 数组运算并行化 – CUDA by Example 将数组 a 和数组 b 相加并将计算结果放入数组 AI 与 Kubernetes 融合与架构解析 AI 云平台的价值 • 为 AI 工程师提供一体化的研发工作环境 • 为 AI 对于硬件资源需求提供弹性伸缩 • 为 AI 模型在生产环境中部署及运行提供保障 AI 模型实现工具及其框架举例 • 不同的框架和工具都有其优点长处。 AI 工程师工作流程 存储对接 • 存储通常都由云平台 通过SaaS服务提供 • 在 在 AI 平台中对于存 储进行统一的管理和 操作 数据预处理 AI 工程师的大部分工作都是在 做数据预处理的部分,而可视 化 UI 则可以大大减少 AI 工程 师的工作量。 AI 工具及其研发框架的整合 模型训练资源池管理 • AI 模型训练会耗费巨大的资源并且长时间占用 • 多个用户在模型训练时需要通过队列的方式来解决资源短缺 问题 • 需要对不同用户进行资源池划分0 码力 | 77 页 | 14.48 MB | 1 年前3 运维上海2017-Kubernetes与AI相结合架构、落地解析-赵慧智深度学习是指通过人工神经网络,通过对数据进行分析学习, 最终得出判断。 • 机器学习最难的地方在于特征的提取,而深度学习认为特征 提取是可以通过人工神经网络学习而得出结论的。深度学习 在非结构化数据方面有很大的优势。 卷积神经网络 - CNN 通过卷基层和池化层的网络结构进行不断的对图像的特征提取 数组运算并行化 – CUDA by Example 将数组 a 和数组 b 相加并将计算结果放入数组 AI 与 Kubernetes 融合与架构解析 AI 云平台的价值 • 为 AI 工程师提供一体化的研发工作环境 • 为 AI 对于硬件资源需求提供弹性伸缩 • 为 AI 模型在生产环境中部署及运行提供保障 AI 模型实现工具及其框架举例 • 不同的框架和工具都有其优点长处。 AI 工程师工作流程 存储对接 • 存储通常都由云平台 通过SaaS服务提供 • 在 在 AI 平台中对于存 储进行统一的管理和 操作 数据预处理 AI 工程师的大部分工作都是在 做数据预处理的部分,而可视 化 UI 则可以大大减少 AI 工程 师的工作量。 AI 工具及其研发框架的整合 模型训练资源池管理 • AI 模型训练会耗费巨大的资源并且长时间占用 • 多个用户在模型训练时需要通过队列的方式来解决资源短缺 问题 • 需要对不同用户进行资源池划分0 码力 | 77 页 | 14.48 MB | 1 年前3
 Kubernetes + OAM 让开发者更简单Deployment Service Node Custom Resource 一组容器 一组 Pod 副本 Pod 的访问入口 节点 自定义对象 声明式 API 对象 基础设施层能力 业务运维 平台工程师 业务研发 扩容策略 发布策略 分批策略 访问控制 流量配置 应用管理平台 (Openshift、Cloudfoundry、阿里内部、腾讯内部 …) 应用 CI/CD 流水线 K8s PaaS 分批策略 访问控制 流量配置 Pod Deployment Service Node Custom Resource 业务运维 业务研发 按需绑定 关键词:用户友好,应用层语义和抽象 平台工程师 Controller 目标二:一个高可扩展的应用管理平台 关键词:可插拔,可扩展,模块化,没有抽象程度锁定 应用 Deployment Knative Service Function Application Model Platform Kubernetes GitOps/持续集成 标准化定义应用组件 标准化配置应用运维能力 标准化管理 k8s 能力插件 业务运维 业务研发 平台工程师 统一、标准、高可扩展的云 原生应用管理平台 Component Trait 能力注册与管理 应用 Component Deployment Function apiVersion:0 码力 | 22 页 | 10.58 MB | 1 年前3 Kubernetes + OAM 让开发者更简单Deployment Service Node Custom Resource 一组容器 一组 Pod 副本 Pod 的访问入口 节点 自定义对象 声明式 API 对象 基础设施层能力 业务运维 平台工程师 业务研发 扩容策略 发布策略 分批策略 访问控制 流量配置 应用管理平台 (Openshift、Cloudfoundry、阿里内部、腾讯内部 …) 应用 CI/CD 流水线 K8s PaaS 分批策略 访问控制 流量配置 Pod Deployment Service Node Custom Resource 业务运维 业务研发 按需绑定 关键词:用户友好,应用层语义和抽象 平台工程师 Controller 目标二:一个高可扩展的应用管理平台 关键词:可插拔,可扩展,模块化,没有抽象程度锁定 应用 Deployment Knative Service Function Application Model Platform Kubernetes GitOps/持续集成 标准化定义应用组件 标准化配置应用运维能力 标准化管理 k8s 能力插件 业务运维 业务研发 平台工程师 统一、标准、高可扩展的云 原生应用管理平台 Component Trait 能力注册与管理 应用 Component Deployment Function apiVersion:0 码力 | 22 页 | 10.58 MB | 1 年前3
 KubeCon2020/微服务技术与实践论坛/Spring Cloud Alibaba 在 Kubernetes 下的微服务治理最佳实践-方剑Spring Cloud Alibaba 在 Kubernetes 下的微服务治理最 佳实践 方剑 阿里云云原生应用平台 高级开发工程师 观看视频回放 • Spring Cloud Alibaba PMC member • Apache RocketMQ Committer • Alibaba Nacos Committer • 阿里云 MSE 云产品核心研发 方剑(洛夜)自我介绍 https://tanzu.vmware.com/content/blog/ monoliths-to-microservices 微服务拆分原则 DevOps 服务框架 Dubbo 可观测性 混沌工程 服务治理 Spring Cloud 多语言微服务 API管理 服务压测 分布式事务 分布式调度 API网关 服务注册发现 负载均衡 服务配置 无损下线 服务容错 服务路由 服务鉴权 限流降级 1-5-10原则 安全变更 4. 读取灰度规则 配置中心 3. 配置灰度规则 http-header: user-id % 100 == 20 • 两种灰度规则 • 按流量百分比路由 • 按请求特征路由:如http header, 方法参数等 • 打通微服务网关 提供者 1 消费者 提供者 2 version=gray 2. 注册环境标签 user-id=121 提供者 3 Deployment10 码力 | 27 页 | 7.10 MB | 1 年前3 KubeCon2020/微服务技术与实践论坛/Spring Cloud Alibaba 在 Kubernetes 下的微服务治理最佳实践-方剑Spring Cloud Alibaba 在 Kubernetes 下的微服务治理最 佳实践 方剑 阿里云云原生应用平台 高级开发工程师 观看视频回放 • Spring Cloud Alibaba PMC member • Apache RocketMQ Committer • Alibaba Nacos Committer • 阿里云 MSE 云产品核心研发 方剑(洛夜)自我介绍 https://tanzu.vmware.com/content/blog/ monoliths-to-microservices 微服务拆分原则 DevOps 服务框架 Dubbo 可观测性 混沌工程 服务治理 Spring Cloud 多语言微服务 API管理 服务压测 分布式事务 分布式调度 API网关 服务注册发现 负载均衡 服务配置 无损下线 服务容错 服务路由 服务鉴权 限流降级 1-5-10原则 安全变更 4. 读取灰度规则 配置中心 3. 配置灰度规则 http-header: user-id % 100 == 20 • 两种灰度规则 • 按流量百分比路由 • 按请求特征路由:如http header, 方法参数等 • 打通微服务网关 提供者 1 消费者 提供者 2 version=gray 2. 注册环境标签 user-id=121 提供者 3 Deployment10 码力 | 27 页 | 7.10 MB | 1 年前3
 第29 期| 2023 年9 月- 技术雷达相关话题展开讨论。这是有史以来第一次,我们需要一个可视化指南来 理清不同 AI 的类别和功能(即使在 JavaScript 生态系统十分混乱的时期,我们也从未采取过这样的做法)。作 为一家开创 CI、CD 等突破性工程实践历史的软件咨询公司,我们对于使用 AI 辅助软件开发特别感兴趣。因此, 本期技术雷达讨论了许多代码辅助工具,如 GitHub Copilot、Tabnine 和 Codeium。我们兴奋于 open-source 作为产出衡量标准。然而,衡量框架 SPACE 中 A(Activity,活 动)的替代方法,例如拉取请求的数量或已解决的问题的数量,仍然不足以成为衡量生产力的良好指标。相反, 行业已经开始关注“工程效能”:我们不应该衡量生产力,而应该衡量我们知道对流程有贡献或有损害的事物。 我们不应该专注于个体的活动,而应该关注系统中的浪费来源以及可以从经验上证明导致开发人员对“生产力” 感知产生影响的条件。新的工具,比如 模型,相较云托管的大语言模型,它支持更多的定制和管控。随着大语言模型日益复杂,我们正在深思如何在 小型设备上运行大语言模型,特别是在边缘设备和资源受限的环境中。我们还提到有望提高性能的 ReAct 提示 工程,以及利用大语言模型驱动的自主代理开发远超简单的问答交互的动态应用。我们也提到一些向量数据库 (包括 Pinecone)由于大语言模型而重新流行起来。大语言模型的底层能力,包括更专业化和自行托管的能力,0 码力 | 43 页 | 2.76 MB | 1 年前3 第29 期| 2023 年9 月- 技术雷达相关话题展开讨论。这是有史以来第一次,我们需要一个可视化指南来 理清不同 AI 的类别和功能(即使在 JavaScript 生态系统十分混乱的时期,我们也从未采取过这样的做法)。作 为一家开创 CI、CD 等突破性工程实践历史的软件咨询公司,我们对于使用 AI 辅助软件开发特别感兴趣。因此, 本期技术雷达讨论了许多代码辅助工具,如 GitHub Copilot、Tabnine 和 Codeium。我们兴奋于 open-source 作为产出衡量标准。然而,衡量框架 SPACE 中 A(Activity,活 动)的替代方法,例如拉取请求的数量或已解决的问题的数量,仍然不足以成为衡量生产力的良好指标。相反, 行业已经开始关注“工程效能”:我们不应该衡量生产力,而应该衡量我们知道对流程有贡献或有损害的事物。 我们不应该专注于个体的活动,而应该关注系统中的浪费来源以及可以从经验上证明导致开发人员对“生产力” 感知产生影响的条件。新的工具,比如 模型,相较云托管的大语言模型,它支持更多的定制和管控。随着大语言模型日益复杂,我们正在深思如何在 小型设备上运行大语言模型,特别是在边缘设备和资源受限的环境中。我们还提到有望提高性能的 ReAct 提示 工程,以及利用大语言模型驱动的自主代理开发远超简单的问答交互的动态应用。我们也提到一些向量数据库 (包括 Pinecone)由于大语言模型而重新流行起来。大语言模型的底层能力,包括更专业化和自行托管的能力,0 码力 | 43 页 | 2.76 MB | 1 年前3
 逐灵&木苏-阿里巴巴 K8S 超大规模实践经验CPU精细化分配 应用互斥/亲和 维度:应用、核心应用 拓扑:单机、AZ 节点负载感知 资源利用率预测• 丰富的调度策略 规模化容器调度 APIServer Scheduler Webhook 离线特征分析 调度策略中心 专家策略 调度规则 CR Update if need 1. cpu分配策略 2. 应用/单机打散策略 3. 应用互斥/亲和策略 4. …… Pod 1. CPU精细化分配 离线数据统计 应用预估峰 CPU值CR Agent Pod Pod Pod Node Agent Pod Pod Pod Node Scheduler云原生应用管理演进路线云原生应用管理的特征 • 标准化 • 开放 • 一次定义,随处运行 https://openappmodel.io 联合推出 开放云原生应用模型OAM 的应用定义与架构模型Thank you ! fansong0 码力 | 33 页 | 8.67 MB | 6 月前3 逐灵&木苏-阿里巴巴 K8S 超大规模实践经验CPU精细化分配 应用互斥/亲和 维度:应用、核心应用 拓扑:单机、AZ 节点负载感知 资源利用率预测• 丰富的调度策略 规模化容器调度 APIServer Scheduler Webhook 离线特征分析 调度策略中心 专家策略 调度规则 CR Update if need 1. cpu分配策略 2. 应用/单机打散策略 3. 应用互斥/亲和策略 4. …… Pod 1. CPU精细化分配 离线数据统计 应用预估峰 CPU值CR Agent Pod Pod Pod Node Agent Pod Pod Pod Node Scheduler云原生应用管理演进路线云原生应用管理的特征 • 标准化 • 开放 • 一次定义,随处运行 https://openappmodel.io 联合推出 开放云原生应用模型OAM 的应用定义与架构模型Thank you ! fansong0 码力 | 33 页 | 8.67 MB | 6 月前3
 Chaos Mesh让应用与混沌在 Kubernetes 上共舞-杨可奥当前 Chaos Mesh 的 maintainer。在混沌工程的实践和实现上拥有一定经验和见 解。除了 Chaos Mesh 之外还维护有多个受欢迎的开源项目,如 pprof-rs。 云 原 生 社 区 M e e t u p 第 一 期 · 上 海 站 杨可奥 Chaos Mesh核心开发者 Chaos Mesh 让应用与混沌在 Kubernetes 上共舞 演讲人:杨可奥 PingCAP PingCAP 云 原 生 社 区 M e e t u p 第 一 期 · 上 海 站 目录 一、混沌工程的动机 二、Kubernetes 上的混沌工程方案 —— Chaos Mesh 三、Chaos Mesh 的结构,以 NetworkChaos 为例 四、Chaos Mesh 使用案例 混沌工程的动机 事故,任何时候都可能发生 AWS 事故,任何时候都可能发生 Github 关于混沌,我们能知道很多 作出假设 ● 进行尝试和实验 ● 观察现象 ● 分析和总结 Chaos Engineering 混沌工程正在受到重视 混沌工程正在受到重视 混沌实验?听上去很简单 混沌实验?听上去很简单 1. 5 分钟入门混沌工程 —— 脚本随机杀进程 2. 10 分钟入门混沌工程 —— 脚本随机杀 Pod 3. … 4. 那网络故障呢?磁盘故障呢?恢复呢?如何控制作用范围? 这是一件复杂的事0 码力 | 30 页 | 1.49 MB | 9 月前3 Chaos Mesh让应用与混沌在 Kubernetes 上共舞-杨可奥当前 Chaos Mesh 的 maintainer。在混沌工程的实践和实现上拥有一定经验和见 解。除了 Chaos Mesh 之外还维护有多个受欢迎的开源项目,如 pprof-rs。 云 原 生 社 区 M e e t u p 第 一 期 · 上 海 站 杨可奥 Chaos Mesh核心开发者 Chaos Mesh 让应用与混沌在 Kubernetes 上共舞 演讲人:杨可奥 PingCAP PingCAP 云 原 生 社 区 M e e t u p 第 一 期 · 上 海 站 目录 一、混沌工程的动机 二、Kubernetes 上的混沌工程方案 —— Chaos Mesh 三、Chaos Mesh 的结构,以 NetworkChaos 为例 四、Chaos Mesh 使用案例 混沌工程的动机 事故,任何时候都可能发生 AWS 事故,任何时候都可能发生 Github 关于混沌,我们能知道很多 作出假设 ● 进行尝试和实验 ● 观察现象 ● 分析和总结 Chaos Engineering 混沌工程正在受到重视 混沌工程正在受到重视 混沌实验?听上去很简单 混沌实验?听上去很简单 1. 5 分钟入门混沌工程 —— 脚本随机杀进程 2. 10 分钟入门混沌工程 —— 脚本随机杀 Pod 3. … 4. 那网络故障呢?磁盘故障呢?恢复呢?如何控制作用范围? 这是一件复杂的事0 码力 | 30 页 | 1.49 MB | 9 月前3
 云计算白皮书热点领域和热点方向,试图在市场上抢得先机。 四是云计算技术不断推陈出新,助力产业高质量发展。随着上 云进程持续加深,企业需求逐步向用云转移,效率、性能、安全等 成为用户关注点,应用现代化、一云多芯、平台工程、云成本优化、 系统稳定性、云原生安全等新技术层出不穷,满足用户多样性场景 需求,助力产业数字化升级。 在此背景下,中国信息通信研究院继《云计算白皮书(2012 年)》 之后第 9 次发布云 标差异控制在有效 区间,从而释放极致算力。 流程层面,平台工程以产品化、自助式的开发者平台,满足多 场景下应用研发需求。平台工程是一种自助式内部开发者平台的技 云计算白皮书(2023 年) 18 术架构和运营管理模式,为云时代的软件工作组织提供应用交付和 管理服务。平台工程师提炼出一套可复用的组件服务和业务流程, 工程化运作成为平台产品,平台产品随着组织变化而演进,其各个 组件可 组件可根据实际使用情况来升级扩展。这类集成产品通常被称为内 部开发者平台,是工程团队已经部署的技术和工具之上的全新一层。 演进路线方面,容器云平台为开发者构建和运行分布式应用带来了 便利,但同时将复杂资源暴露给了开发者,知识门槛高,并且开发 者难以从众多资源中定位业务故障。而容器云平台及传统 PaaS 等经 过平台工程化,可演进为面向开发者的一站式平台,灵活组合 Backstage、Grafana、KubeVela0 码力 | 47 页 | 1.22 MB | 1 年前3 云计算白皮书热点领域和热点方向,试图在市场上抢得先机。 四是云计算技术不断推陈出新,助力产业高质量发展。随着上 云进程持续加深,企业需求逐步向用云转移,效率、性能、安全等 成为用户关注点,应用现代化、一云多芯、平台工程、云成本优化、 系统稳定性、云原生安全等新技术层出不穷,满足用户多样性场景 需求,助力产业数字化升级。 在此背景下,中国信息通信研究院继《云计算白皮书(2012 年)》 之后第 9 次发布云 标差异控制在有效 区间,从而释放极致算力。 流程层面,平台工程以产品化、自助式的开发者平台,满足多 场景下应用研发需求。平台工程是一种自助式内部开发者平台的技 云计算白皮书(2023 年) 18 术架构和运营管理模式,为云时代的软件工作组织提供应用交付和 管理服务。平台工程师提炼出一套可复用的组件服务和业务流程, 工程化运作成为平台产品,平台产品随着组织变化而演进,其各个 组件可 组件可根据实际使用情况来升级扩展。这类集成产品通常被称为内 部开发者平台,是工程团队已经部署的技术和工具之上的全新一层。 演进路线方面,容器云平台为开发者构建和运行分布式应用带来了 便利,但同时将复杂资源暴露给了开发者,知识门槛高,并且开发 者难以从众多资源中定位业务故障。而容器云平台及传统 PaaS 等经 过平台工程化,可演进为面向开发者的一站式平台,灵活组合 Backstage、Grafana、KubeVela0 码力 | 47 页 | 1.22 MB | 1 年前3
 基于 Kubernetes 构建标准可扩展的云原生应用管理平台-孙健波、周正喜Kubernetes 构建标准可扩展的云原生应用管理平台 2 3 有奖品? 我的工作内容? • 构建云原生应用管理平台 @ 阿里巴巴 Kubernetes 工程师 PaaS 工程师 基础设施运维工程师 … YAML 工程师 我们是如何构建的? PaaS Serverless Operator Platform 基于 Kubernetes 我们构建了多种多样的应用管理平台: 电商0 码力 | 27 页 | 3.60 MB | 9 月前3 基于 Kubernetes 构建标准可扩展的云原生应用管理平台-孙健波、周正喜Kubernetes 构建标准可扩展的云原生应用管理平台 2 3 有奖品? 我的工作内容? • 构建云原生应用管理平台 @ 阿里巴巴 Kubernetes 工程师 PaaS 工程师 基础设施运维工程师 … YAML 工程师 我们是如何构建的? PaaS Serverless Operator Platform 基于 Kubernetes 我们构建了多种多样的应用管理平台: 电商0 码力 | 27 页 | 3.60 MB | 9 月前3
 高性能 Kubernetes 元数据存储 KubeBrain 的设计思路和落地效果-许辰KubeBrain 字节跳动高性能 K8s 元信息存储 许辰 字节跳动资深研发工程师 许 辰 字节跳动基础架构工程师  本科和硕士毕业于北京大学计算机系  负责大规模 Kubernetes 系统的构建和优化  KubeBrain/ KubeGateway/ KubeZoo 等多个项目的发起人 • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 背景0 码力 | 60 页 | 8.02 MB | 1 年前3 高性能 Kubernetes 元数据存储 KubeBrain 的设计思路和落地效果-许辰KubeBrain 字节跳动高性能 K8s 元信息存储 许辰 字节跳动资深研发工程师 许 辰 字节跳动基础架构工程师  本科和硕士毕业于北京大学计算机系  负责大规模 Kubernetes 系统的构建和优化  KubeBrain/ KubeGateway/ KubeZoo 等多个项目的发起人 • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 背景0 码力 | 60 页 | 8.02 MB | 1 年前3
 可觀測性 (Observability)
在 Kubernetes Day2
Operation的考量與實踐edit Master title style 2 “ 二哥 2 Wistron DX Lab 緯創數位轉型技術實驗室 • 緯創資通員工 • 社群的參與者 • 技術的佈道師 • 台灣資料工程協會會員 • Kafka 修煉之道講師 Techlearn 個人技術學習與收集 Click to edit Master title style 3 Agenda Day2 Operation 運營團隊需要能夠通過一個統一的儀 表板在一個地方可視化整個系統。 • Complete separation of concerns • 應用程序開發人員應該能夠盡可能地 自助服務,依靠一小群平台工程師來 管理底層操作系統。 • Centralized policy controls • 運營團隊需要一種集中控制集群和工 作負載策略的方法,以確保根據組織 圍繞安全性、合規性和其他最佳實踐 的策略配置0 码力 | 30 页 | 3.01 MB | 1 年前3 可觀測性 (Observability)
在 Kubernetes Day2
Operation的考量與實踐edit Master title style 2 “ 二哥 2 Wistron DX Lab 緯創數位轉型技術實驗室 • 緯創資通員工 • 社群的參與者 • 技術的佈道師 • 台灣資料工程協會會員 • Kafka 修煉之道講師 Techlearn 個人技術學習與收集 Click to edit Master title style 3 Agenda Day2 Operation 運營團隊需要能夠通過一個統一的儀 表板在一個地方可視化整個系統。 • Complete separation of concerns • 應用程序開發人員應該能夠盡可能地 自助服務,依靠一小群平台工程師來 管理底層操作系統。 • Centralized policy controls • 運營團隊需要一種集中控制集群和工 作負載策略的方法,以確保根據組織 圍繞安全性、合規性和其他最佳實踐 的策略配置0 码力 | 30 页 | 3.01 MB | 1 年前3
共 22 条
- 1
- 2
- 3













