 24-云原生中间件之道-高磊行环境TEE(比如IntelSGX,蚂蚁的KubeTEE等)可以保护运行中的数据和 代码,完成了安全闭环。 依赖于硬件和更高阶密码学,可以彻底阻断物理 设备以及软件的攻击,是高级的安全保障技术。 TEE是运行态主动防护的高级手段,对高安全生产 环境建议使用。 成本较高,所以要视业务场景要求取舍。 Mesh零信任 mTLS服务间访问授权,主要针对Pod层WorkLod的访问控制 应用透明,全局管理视角,细粒度安全策略 logging MQ 交易数据库 大数据 营销分析 云原生PaaS平台 • 四大件在云原生场景下带来什么客户 价值? • 四大件在云原生场景下技术架构有什 么创新? 业务异步化|削峰填谷 高级能力-云原生数据库-应用的基石-1-价值和差别 先从一个广告词来看看云原生数据库和一般数据库的差别 项目 传统数据库 Oracle 云原生 数据一体机 存储架构 存算一体: 调整困难、只能满 封闭体系,集成各 类优秀能力较差 集成能力强,多模 态接口,兼容各类 协议 可用性、稳定性 需要强大的旁路运 维能力 简化运维、自动化 容量和故障转移 云原生数据库其特点,使得应用场 景会更加广泛 高级能力-云原生数据库-应用的基石-2-技术架构 Application Application Application Read Read Write DB Server User Space0 码力 | 22 页 | 4.39 MB | 6 月前3 24-云原生中间件之道-高磊行环境TEE(比如IntelSGX,蚂蚁的KubeTEE等)可以保护运行中的数据和 代码,完成了安全闭环。 依赖于硬件和更高阶密码学,可以彻底阻断物理 设备以及软件的攻击,是高级的安全保障技术。 TEE是运行态主动防护的高级手段,对高安全生产 环境建议使用。 成本较高,所以要视业务场景要求取舍。 Mesh零信任 mTLS服务间访问授权,主要针对Pod层WorkLod的访问控制 应用透明,全局管理视角,细粒度安全策略 logging MQ 交易数据库 大数据 营销分析 云原生PaaS平台 • 四大件在云原生场景下带来什么客户 价值? • 四大件在云原生场景下技术架构有什 么创新? 业务异步化|削峰填谷 高级能力-云原生数据库-应用的基石-1-价值和差别 先从一个广告词来看看云原生数据库和一般数据库的差别 项目 传统数据库 Oracle 云原生 数据一体机 存储架构 存算一体: 调整困难、只能满 封闭体系,集成各 类优秀能力较差 集成能力强,多模 态接口,兼容各类 协议 可用性、稳定性 需要强大的旁路运 维能力 简化运维、自动化 容量和故障转移 云原生数据库其特点,使得应用场 景会更加广泛 高级能力-云原生数据库-应用的基石-2-技术架构 Application Application Application Read Read Write DB Server User Space0 码力 | 22 页 | 4.39 MB | 6 月前3
 Volcano加速金融行业大数据分析平台云原生化改造的应用实践based scheduling 领域框架支持不足 • 1:1的operator部署运维复杂 • 不同框架对作业管理、并行计算等要求不通 • 计算密集,资源波动大,需要高级调度能力 资源规划复用、异构计算支持不足 • 缺少队列概念 • 不支持集群资源的动态规划以及资源复用 • 对异构资源支持不足 传统服务 大数据 人工智能 云原生大数据平台 大数据、AI等批量计算场景 云原生化面临的挑战 Horovod, Tensorflow、Spark等。 2. 丰富的高阶调度策略 公平调度、任务拓扑调度、基于SLA调度、作业抢占、回填、弹性调度、 混部等。 3. 细粒度的资源管理 提供作业队列,队列资源预留、队列容量管理、多租户的动态资源共享。 4. 性能优化和异构资源管理 调度性能优化,并结合 Kubernetes 提供扩展性、吞吐、网络、运行时的 多项优化,异构硬件支持x86, Arm, GPU 提高整体资源利用率 集群高负载场景 通过静态划分的资源池保证大数据业务和通用 业务的资源配额 通过Volcano提供的队列保证各类业务资 源配额 资源共享:Queue • 集群级别资源对象,与用户/namespace解耦 • 可用于租户/资源池之间共享资源 • 支持每个队列独立配置Policy,如 FIFO, fair share, priority, SLA等 K8S CLUSTER0 码力 | 18 页 | 1.82 MB | 1 年前3 Volcano加速金融行业大数据分析平台云原生化改造的应用实践based scheduling 领域框架支持不足 • 1:1的operator部署运维复杂 • 不同框架对作业管理、并行计算等要求不通 • 计算密集,资源波动大,需要高级调度能力 资源规划复用、异构计算支持不足 • 缺少队列概念 • 不支持集群资源的动态规划以及资源复用 • 对异构资源支持不足 传统服务 大数据 人工智能 云原生大数据平台 大数据、AI等批量计算场景 云原生化面临的挑战 Horovod, Tensorflow、Spark等。 2. 丰富的高阶调度策略 公平调度、任务拓扑调度、基于SLA调度、作业抢占、回填、弹性调度、 混部等。 3. 细粒度的资源管理 提供作业队列,队列资源预留、队列容量管理、多租户的动态资源共享。 4. 性能优化和异构资源管理 调度性能优化,并结合 Kubernetes 提供扩展性、吞吐、网络、运行时的 多项优化,异构硬件支持x86, Arm, GPU 提高整体资源利用率 集群高负载场景 通过静态划分的资源池保证大数据业务和通用 业务的资源配额 通过Volcano提供的队列保证各类业务资 源配额 资源共享:Queue • 集群级别资源对象,与用户/namespace解耦 • 可用于租户/资源池之间共享资源 • 支持每个队列独立配置Policy,如 FIFO, fair share, priority, SLA等 K8S CLUSTER0 码力 | 18 页 | 1.82 MB | 1 年前3
 云原生微服务最佳实践云原生微服务最佳实践 彦林 阿里云智能高级技术专家 & Nacos 创始人 2022/01/07 云原生微服务最佳实践 微服务简介 最佳实践 用户故事 微服务简介 • 云原生和微服务简介 • 微服务的价值和挑战 • 阿里微服务产品解法和优势 云原生和微服务简介 微服务的价值和挑战 图片源自:http://www.zyiz.net/ 价值 效率(人越来越贵,算力越来越便宜) 库存中心 渠道中心 用户中心 营销中心 会员中心 日志服务 安全 全链路监控 web服务 ES 云数据库 Rredis 版 RDS 云数据库 POLARDB 微服务中心 限流熔断 消息队列 AHAS ARMS SLS Web应⽤防⽕墙 分布式任务LTS 服务注册发现 配置中心 RPC HTTP HTTP HTTP HTTP 调度分配 斯凯奇 云原生网关最佳实践0 码力 | 20 页 | 6.76 MB | 1 年前3 云原生微服务最佳实践云原生微服务最佳实践 彦林 阿里云智能高级技术专家 & Nacos 创始人 2022/01/07 云原生微服务最佳实践 微服务简介 最佳实践 用户故事 微服务简介 • 云原生和微服务简介 • 微服务的价值和挑战 • 阿里微服务产品解法和优势 云原生和微服务简介 微服务的价值和挑战 图片源自:http://www.zyiz.net/ 价值 效率(人越来越贵,算力越来越便宜) 库存中心 渠道中心 用户中心 营销中心 会员中心 日志服务 安全 全链路监控 web服务 ES 云数据库 Rredis 版 RDS 云数据库 POLARDB 微服务中心 限流熔断 消息队列 AHAS ARMS SLS Web应⽤防⽕墙 分布式任务LTS 服务注册发现 配置中心 RPC HTTP HTTP HTTP HTTP 调度分配 斯凯奇 云原生网关最佳实践0 码力 | 20 页 | 6.76 MB | 1 年前3
 22-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊生实践。 与2019年全面云化相比,2020年全面云原生化革命性重构了双11“技术引擎”。从产品和技术两方面来看,产品侧,阿里云通过提 供容器服务ACK、云原生数据库PolarDB/Redis、消息队列RocketMQ、企业级分布式应用服务EDAS、微服务引擎MSE、应用监控服 务ARMS等数十款云原生产品全面支撑双11。技术侧,云原生四大核心技术实现规模和创新的双重突破,成为从技术能力向业务 价值成果转变的样本: 队在技术上不是长 项 依赖于某一种微服 务框架,可能其服 务治理能力不全、 只能绑定在一种语 言进行研发、升级 怎么办? 1 2 • 第二个困难已经被Mesh技术架构解决了 • 第一个困难就需要为研发用户提供高级抽象-IaC 抽象成虚拟服务和目标规则这两种声明性API(Yaml),使得配置非 常形象易懂,并且彻底将左侧需要了解的细节进行了屏蔽和简化, 只需要学习规则,而不需要了解下面很多种实现,大大降低了使0 码力 | 42 页 | 11.17 MB | 6 月前3 22-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊生实践。 与2019年全面云化相比,2020年全面云原生化革命性重构了双11“技术引擎”。从产品和技术两方面来看,产品侧,阿里云通过提 供容器服务ACK、云原生数据库PolarDB/Redis、消息队列RocketMQ、企业级分布式应用服务EDAS、微服务引擎MSE、应用监控服 务ARMS等数十款云原生产品全面支撑双11。技术侧,云原生四大核心技术实现规模和创新的双重突破,成为从技术能力向业务 价值成果转变的样本: 队在技术上不是长 项 依赖于某一种微服 务框架,可能其服 务治理能力不全、 只能绑定在一种语 言进行研发、升级 怎么办? 1 2 • 第二个困难已经被Mesh技术架构解决了 • 第一个困难就需要为研发用户提供高级抽象-IaC 抽象成虚拟服务和目标规则这两种声明性API(Yaml),使得配置非 常形象易懂,并且彻底将左侧需要了解的细节进行了屏蔽和简化, 只需要学习规则,而不需要了解下面很多种实现,大大降低了使0 码力 | 42 页 | 11.17 MB | 6 月前3
 27-云原生赋能 AIoT 和边缘计算、云形态以及成熟度模型之道-高磊高级能力-自动化-AIoT以及赋能业务-边缘计算(Edge Cloud )-1 远端控制 云端分析系统 设备端 自动化解决用户使用体验问题,计算量属于窄带范畴, 所以计算算力重点在于云端,云端计算体系架构成熟, 成本较低,在业务上本地的设备根据模式信号反馈一些 动作,比如下雨关窗帘,是自动化范畴,上传云端的数 据都是属性数据,比如谁什么时候干了什么,后续云端 根据个人喜好数据为用户提供比如按照个人喜好调节温 以将算力卸载在距离业务现场、设备最近的地方,就 是边缘计算的场景,它的价值空间远超AIoT,可以更 大范围为客户赋能,IoT和边缘计算一定走向融合。 定位为基于物模型的计算 定位为基于业务的计算 高级能力-自动化-AIoT以及赋能业务-边缘计算(Edge Cloud )-2 • 为了更好的为客户业 务场景赋能,比如路 口的交通事故识别和 预警等等需要低时延 高算力的场景,需要 实现云边一体纳管, 平台位于云端,而推 理计算位于BOX端,并 且能够适应各类算法 和硬件的要求,形成 一个通用计算平台, 更普遍的为客户场景 赋能。 • 一切围绕如何将算力 输送到业务场景为中 心思想,构建技术体 系。 高级能力-业务双引擎循环驱动-业务数据化、数据业务化 互联网业务、万物互联业务等等造就了海量数据,而海量数据应该也必须能够提炼出价值为业务反向赋能,形成正向业务价值循环 云原生平台(PaaS+Caas+IaaS)0 码力 | 20 页 | 5.17 MB | 6 月前3 27-云原生赋能 AIoT 和边缘计算、云形态以及成熟度模型之道-高磊高级能力-自动化-AIoT以及赋能业务-边缘计算(Edge Cloud )-1 远端控制 云端分析系统 设备端 自动化解决用户使用体验问题,计算量属于窄带范畴, 所以计算算力重点在于云端,云端计算体系架构成熟, 成本较低,在业务上本地的设备根据模式信号反馈一些 动作,比如下雨关窗帘,是自动化范畴,上传云端的数 据都是属性数据,比如谁什么时候干了什么,后续云端 根据个人喜好数据为用户提供比如按照个人喜好调节温 以将算力卸载在距离业务现场、设备最近的地方,就 是边缘计算的场景,它的价值空间远超AIoT,可以更 大范围为客户赋能,IoT和边缘计算一定走向融合。 定位为基于物模型的计算 定位为基于业务的计算 高级能力-自动化-AIoT以及赋能业务-边缘计算(Edge Cloud )-2 • 为了更好的为客户业 务场景赋能,比如路 口的交通事故识别和 预警等等需要低时延 高算力的场景,需要 实现云边一体纳管, 平台位于云端,而推 理计算位于BOX端,并 且能够适应各类算法 和硬件的要求,形成 一个通用计算平台, 更普遍的为客户场景 赋能。 • 一切围绕如何将算力 输送到业务场景为中 心思想,构建技术体 系。 高级能力-业务双引擎循环驱动-业务数据化、数据业务化 互联网业务、万物互联业务等等造就了海量数据,而海量数据应该也必须能够提炼出价值为业务反向赋能,形成正向业务价值循环 云原生平台(PaaS+Caas+IaaS)0 码力 | 20 页 | 5.17 MB | 6 月前3
 36-云原生监控体系建设-秦晓辉controller-manager 在 Kubernetes 架构中,是负责监听 对象状态,并与期望状态做对比,如果状态不一致则进行 调谐,重点关注的是各个controller的运行情况,比如任 务数量,队列深度 • controller-manager出问题的概率相对较小,进程层面没 问题大概率就没问题 • 采集方式可以参考 categraf 仓库的 k8s/deployment.yaml,大盘可以参考 的耗时分布,histogram类型,按 照 url + verb 统计 • workqueue_adds_total 各个 controller 已处理的任务总数 • workqueue_depth 各个 controller 的队列深度,表示一个 controller 中的任务的数量,值越大表示越繁忙 • process_cpu_seconds_total 进程使用的CPU时间的总量,rate 之后就是 CPU 使用率 Kubernetes控制面0 码力 | 32 页 | 3.27 MB | 6 月前3 36-云原生监控体系建设-秦晓辉controller-manager 在 Kubernetes 架构中,是负责监听 对象状态,并与期望状态做对比,如果状态不一致则进行 调谐,重点关注的是各个controller的运行情况,比如任 务数量,队列深度 • controller-manager出问题的概率相对较小,进程层面没 问题大概率就没问题 • 采集方式可以参考 categraf 仓库的 k8s/deployment.yaml,大盘可以参考 的耗时分布,histogram类型,按 照 url + verb 统计 • workqueue_adds_total 各个 controller 已处理的任务总数 • workqueue_depth 各个 controller 的队列深度,表示一个 controller 中的任务的数量,值越大表示越繁忙 • process_cpu_seconds_total 进程使用的CPU时间的总量,rate 之后就是 CPU 使用率 Kubernetes控制面0 码力 | 32 页 | 3.27 MB | 6 月前3
 云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)此,要保障云原生的安全, 云原生安全威胁分析与能力建设白皮书 10 使云原生技术更好的赋能企业数字化发展,需要明确云原生和云原生安全。 1.1.1 云原生 2015 年,Pivotal 的高级产品经理 Matt Stine 发表新书《迁移到云原生 应用架构》,探讨了云原生应用架构的 5 个主要特征:符合 12 因素应用、面 向微服务架构、自服务敏捷架构、基于 API 的协作和抗脆弱性。同一年,Google 置的攻击。 路径 2:攻击者直接对容器或容器运行时发起攻击,通过利用容器或容器运 行时存在的漏洞,实现入侵宿主机的目的。其中低级容器运行时负责创建和运行 容器,而高级容器运行时负责容器镜像额传输和管理等,低级容器运行时和高级 容器运行时只是强调了容器化的不同方面。路径 2 显示针对容器运行时可能存 在的攻击手段,包括:容器运行时攻击、容器提权和逃逸攻击、拒绝服务攻击和 容器网络攻击。 API Application Programming Interface 应用程序编程接口 AUFS Advanced multi-layered Unification Filesystem 高级多层统一文件系统 CD Continuous Deployment 持续部署 CI Continuous Integration 持续集成 CIEM Cloud Infrastructure0 码力 | 72 页 | 2.44 MB | 1 年前3 云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)此,要保障云原生的安全, 云原生安全威胁分析与能力建设白皮书 10 使云原生技术更好的赋能企业数字化发展,需要明确云原生和云原生安全。 1.1.1 云原生 2015 年,Pivotal 的高级产品经理 Matt Stine 发表新书《迁移到云原生 应用架构》,探讨了云原生应用架构的 5 个主要特征:符合 12 因素应用、面 向微服务架构、自服务敏捷架构、基于 API 的协作和抗脆弱性。同一年,Google 置的攻击。 路径 2:攻击者直接对容器或容器运行时发起攻击,通过利用容器或容器运 行时存在的漏洞,实现入侵宿主机的目的。其中低级容器运行时负责创建和运行 容器,而高级容器运行时负责容器镜像额传输和管理等,低级容器运行时和高级 容器运行时只是强调了容器化的不同方面。路径 2 显示针对容器运行时可能存 在的攻击手段,包括:容器运行时攻击、容器提权和逃逸攻击、拒绝服务攻击和 容器网络攻击。 API Application Programming Interface 应用程序编程接口 AUFS Advanced multi-layered Unification Filesystem 高级多层统一文件系统 CD Continuous Deployment 持续部署 CI Continuous Integration 持续集成 CIEM Cloud Infrastructure0 码力 | 72 页 | 2.44 MB | 1 年前3
 1.3 MOSN 在云原生的探索及实践extension for Envoy Application Runtime — Layotto 背景 Service Mesh 解决了微服务治理的痛点,但在实际业务开发 中,缓存、数据库、消息队列、配置管理等, 我们仍然需 要维护一套重量级的 SDK 并且侵入应用代码。 方案 提供 API 抽象层,应用程序中只针对这套标准的 API 编程, 无需考虑实际运行时的后端服务形态。 优点 •0 码力 | 36 页 | 35.61 MB | 1 年前3 1.3 MOSN 在云原生的探索及实践extension for Envoy Application Runtime — Layotto 背景 Service Mesh 解决了微服务治理的痛点,但在实际业务开发 中,缓存、数据库、消息队列、配置管理等, 我们仍然需 要维护一套重量级的 SDK 并且侵入应用代码。 方案 提供 API 抽象层,应用程序中只针对这套标准的 API 编程, 无需考虑实际运行时的后端服务形态。 优点 •0 码力 | 36 页 | 35.61 MB | 1 年前3
 开源多集群应用治理项目Clusternet 在多点生活的云原生实践• 新增一个公有云类型都需要修改 Controller 是否合理? • 当新的需求来临应该怎么扩展? …… 需求 需求: • 最好能兼容现在的逻辑(Helm 发布) • 方便扩展 • 高级特性 …… 社区的力量 https://github.com/clusternet/clusternet • 轻量化部署,不依赖额外的存储和端口 • 兼容所有k8s 资源,包括helm chart以及各种CRD0 码力 | 22 页 | 17.18 MB | 1 年前3 开源多集群应用治理项目Clusternet 在多点生活的云原生实践• 新增一个公有云类型都需要修改 Controller 是否合理? • 当新的需求来临应该怎么扩展? …… 需求 需求: • 最好能兼容现在的逻辑(Helm 发布) • 方便扩展 • 高级特性 …… 社区的力量 https://github.com/clusternet/clusternet • 轻量化部署,不依赖额外的存储和端口 • 兼容所有k8s 资源,包括helm chart以及各种CRD0 码力 | 22 页 | 17.18 MB | 1 年前3
 基于Consul的多Beats接入管控与多ES搜索编排全UI化、一站式处理 14 配置UI化 配置UI化开发思路 嵌套式表单 大表单套小表单,所有表单都是以angular组 件形式开发,保证代码的可复用性与质量 配置分级展现 把复杂配置独立成高级选择,并设置默认值, 并在复杂项给出有效帮助 自定义组件 编写大量自定义小组件,比如cmdb设置,时 间设置等组件提高用户体验,尽量减少直接填 文本 前后端强类型 前端采用基于ts 的angular开发所有数据定义0 码力 | 23 页 | 6.65 MB | 1 年前3 基于Consul的多Beats接入管控与多ES搜索编排全UI化、一站式处理 14 配置UI化 配置UI化开发思路 嵌套式表单 大表单套小表单,所有表单都是以angular组 件形式开发,保证代码的可复用性与质量 配置分级展现 把复杂配置独立成高级选择,并设置默认值, 并在复杂项给出有效帮助 自定义组件 编写大量自定义小组件,比如cmdb设置,时 间设置等组件提高用户体验,尽量减少直接填 文本 前后端强类型 前端采用基于ts 的angular开发所有数据定义0 码力 | 23 页 | 6.65 MB | 1 年前3
共 12 条
- 1
- 2













