 01. MOSN 高性能网络扩展实践 - 王发康extension filter 4 dispatch Data Plane MoE 2 cgo request 5 notify Request goroutine 3.2 async 3.1 start goroutine CGO 6 cgo response Counter Service redis MoE 方案介绍 — GMP 中 P 资源问题 Other response G P M Envoy 线程伪装为 M MOSN 是待运行 G P 从哪来? Go runtime Envoy 通过 CGO 执行 MOSN(GoLang),此时 P 的数量如何管 理?M 从哪来? G P M GMP 为 Envoy 每个 work thread 都预留对 应的 P,保证每个 G 都可以立刻找到 P MoE 方案介绍 — 服务相关元数据如何管理 20%,虽然牺牲部分性能,但解决了用户在其可扩展 性、灵活性、生态上的痛点,另外对性能方面也有优化空间: 经济体互通网关蚂蚁侧场景,当前灰度了少量的线上流量,已经平稳运行了 1 个月左右; • 业务代码优化,如减少对象数量 • 内存管理优化,如 jemalloc 替换 tcmalloc、堆外内存 • runtime 相关优化,如 cgocheck 调优、P 分组管理等 • 交互协议优化,如减少 CGO 交互次数等0 码力 | 29 页 | 2.80 MB | 1 年前3 01. MOSN 高性能网络扩展实践 - 王发康extension filter 4 dispatch Data Plane MoE 2 cgo request 5 notify Request goroutine 3.2 async 3.1 start goroutine CGO 6 cgo response Counter Service redis MoE 方案介绍 — GMP 中 P 资源问题 Other response G P M Envoy 线程伪装为 M MOSN 是待运行 G P 从哪来? Go runtime Envoy 通过 CGO 执行 MOSN(GoLang),此时 P 的数量如何管 理?M 从哪来? G P M GMP 为 Envoy 每个 work thread 都预留对 应的 P,保证每个 G 都可以立刻找到 P MoE 方案介绍 — 服务相关元数据如何管理 20%,虽然牺牲部分性能,但解决了用户在其可扩展 性、灵活性、生态上的痛点,另外对性能方面也有优化空间: 经济体互通网关蚂蚁侧场景,当前灰度了少量的线上流量,已经平稳运行了 1 个月左右; • 业务代码优化,如减少对象数量 • 内存管理优化,如 jemalloc 替换 tcmalloc、堆外内存 • runtime 相关优化,如 cgocheck 调优、P 分组管理等 • 交互协议优化,如减少 CGO 交互次数等0 码力 | 29 页 | 2.80 MB | 1 年前3
 36-云原生监控体系建设-秦晓辉•要么使用注册中心来自动发现,要么就是采集器和被监控对象通过sidecar模式捆绑一体 指标生命周期变短 •微服务的流行,要监控的服务数量大幅增长,是之前的指标数量十倍都不止 •广大研发工程师也更加重视可观测能力的建设,更愿意埋点 •各种采集器层出不穷,都是本着可采尽采的原则,一个中间件实例动辄采集几千个指标 指标数量大幅增长 •老一代监控系统更多的是关注机器、交换机、中间件的监控,每个监控对象一个标识即可,没有维度的设计 Kubelet 的大盘文件 • kubelet_running_pods:运行的Pod的数量,gauge类型 • kubelet_running_containers:运行的容器的数量,gauge类型, container_state标签来区分容器状态 • volume_manager_total_volumes:volume的数量,gauge类型,state标签用 于区分是actual还是desired • • kubelet_runtime_operations_total:通过kubelet执行的各类操作的数量, counter类型 • kubelet_runtime_operations_errors_total:这个指标很关键,通过kubelet执 行的操作失败的次数,counter类型 • kubelet_pod_start_duration_seconds*:histogram类型,描述pod从pending0 码力 | 32 页 | 3.27 MB | 6 月前3 36-云原生监控体系建设-秦晓辉•要么使用注册中心来自动发现,要么就是采集器和被监控对象通过sidecar模式捆绑一体 指标生命周期变短 •微服务的流行,要监控的服务数量大幅增长,是之前的指标数量十倍都不止 •广大研发工程师也更加重视可观测能力的建设,更愿意埋点 •各种采集器层出不穷,都是本着可采尽采的原则,一个中间件实例动辄采集几千个指标 指标数量大幅增长 •老一代监控系统更多的是关注机器、交换机、中间件的监控,每个监控对象一个标识即可,没有维度的设计 Kubelet 的大盘文件 • kubelet_running_pods:运行的Pod的数量,gauge类型 • kubelet_running_containers:运行的容器的数量,gauge类型, container_state标签来区分容器状态 • volume_manager_total_volumes:volume的数量,gauge类型,state标签用 于区分是actual还是desired • • kubelet_runtime_operations_total:通过kubelet执行的各类操作的数量, counter类型 • kubelet_runtime_operations_errors_total:这个指标很关键,通过kubelet执 行的操作失败的次数,counter类型 • kubelet_pod_start_duration_seconds*:histogram类型,描述pod从pending0 码力 | 32 页 | 3.27 MB | 6 月前3
 云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)云原生安全威胁分析与能力建设白皮书 23 需要的系统、环境、配置和应用本身。如果镜像配置不当,将会导致运行的容器 面临攻击的危险,比如镜像未使用特定用户账号进行配置导致运行时拥有的权限 过高,从而引起容器逃逸等安全风险。 2.3 路径 2:容器攻击 容器提供了独立隔离的环境来打包和运行应用程序,容器的隔离和安全措施 使得用户可以在给定主机上同时运行多个容器。通过 Namespace、Cgroup、 2.3.3 拒绝服务攻击 由于容器与宿主机共享 CPU、内存、磁盘空间等硬件资源,且 Docker 本 身对容器使用的资源并没有默认限制,如果单个容器耗尽宿主机的计算资源或存 储资源(例如进程数量、存储空间等),就可能导致宿主机或其他容器的拒绝服 务。 计算型 DoS 攻击:Fork Bomb 是一类典型的针对计算资源的拒绝服务攻击 手段,其可通过递归方式无限循环调用 fork()系统函数,从而快速创建大量进程。 云原生安全威胁分析与能力建设白皮书 50 者利用。 (1)黄金基础镜像 在日常的安全运营工作中,也许会发现镜像内含有大量漏洞。这此些漏洞, 大多来自于基础镜像内,如果基础镜像存在大量漏洞,在生成业务镜像后,漏洞 数量将会成倍的增长。所以需建立黄金镜像仓库,维护需要用到的系统、中间件 等基础镜像,周期性进行维护更新,在有效抑制风险暴漏的同时,也有利于镜像 安全风险的治理。 (2)镜像风险检测 建立黄金镜像0 码力 | 72 页 | 2.44 MB | 1 年前3 云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)云原生安全威胁分析与能力建设白皮书 23 需要的系统、环境、配置和应用本身。如果镜像配置不当,将会导致运行的容器 面临攻击的危险,比如镜像未使用特定用户账号进行配置导致运行时拥有的权限 过高,从而引起容器逃逸等安全风险。 2.3 路径 2:容器攻击 容器提供了独立隔离的环境来打包和运行应用程序,容器的隔离和安全措施 使得用户可以在给定主机上同时运行多个容器。通过 Namespace、Cgroup、 2.3.3 拒绝服务攻击 由于容器与宿主机共享 CPU、内存、磁盘空间等硬件资源,且 Docker 本 身对容器使用的资源并没有默认限制,如果单个容器耗尽宿主机的计算资源或存 储资源(例如进程数量、存储空间等),就可能导致宿主机或其他容器的拒绝服 务。 计算型 DoS 攻击:Fork Bomb 是一类典型的针对计算资源的拒绝服务攻击 手段,其可通过递归方式无限循环调用 fork()系统函数,从而快速创建大量进程。 云原生安全威胁分析与能力建设白皮书 50 者利用。 (1)黄金基础镜像 在日常的安全运营工作中,也许会发现镜像内含有大量漏洞。这此些漏洞, 大多来自于基础镜像内,如果基础镜像存在大量漏洞,在生成业务镜像后,漏洞 数量将会成倍的增长。所以需建立黄金镜像仓库,维护需要用到的系统、中间件 等基础镜像,周期性进行维护更新,在有效抑制风险暴漏的同时,也有利于镜像 安全风险的治理。 (2)镜像风险检测 建立黄金镜像0 码力 | 72 页 | 2.44 MB | 1 年前3
 24-云原生中间件之道-高磊且需要修改镜像的需求时,势必面临很大的业务压力。同时,购买 资源后,应用的部署涉及到依赖部署、服务部署等环节,进一步拖慢应用的发布。 资源弹性扩容不及时 无法满足业务需要 资源使用率低 导致使用成本过高 操作系统和应用部署复杂 拖慢业务发布 云原生化可以解决上面的问题,演进的挑战有: 改造成本高 迁移风险高 组织架构造成额外的成本 主要体现在Yarn的复杂性 主要体现在领域专业性上 应用0 码力 | 22 页 | 4.39 MB | 6 月前3 24-云原生中间件之道-高磊且需要修改镜像的需求时,势必面临很大的业务压力。同时,购买 资源后,应用的部署涉及到依赖部署、服务部署等环节,进一步拖慢应用的发布。 资源弹性扩容不及时 无法满足业务需要 资源使用率低 导致使用成本过高 操作系统和应用部署复杂 拖慢业务发布 云原生化可以解决上面的问题,演进的挑战有: 改造成本高 迁移风险高 组织架构造成额外的成本 主要体现在Yarn的复杂性 主要体现在领域专业性上 应用0 码力 | 22 页 | 4.39 MB | 6 月前3
 16-Nocalhost重新定义云原生开发环境-王炜使得应⽤系统的维护边界适配组织架 构的权责边界。 ⼀般来说,越庞⼤的组织架构,应⽤系统会被拆分地越来越细,“微服务”的数量也变得越来越多。⽽在“微服 务”的拆分的实践中,很容易出现将组织架构的权责边界⼀股脑地对标到“微服务”�的拆分粒度中,这可能导致 “微服务”拆分粒度过细,数量进⼀步剧增的问题。最终,“微服务”之间的调⽤关系就像跨部⻔协作,也变得 越来越复杂,问题在想要新增需求时尤为突出。 “微 组织⽅式,所有的调⽤关系仅限于在⾃身的类和函 数,应⽤对硬件的要求⼀般也不会太⾼。 ⽽开发“微服务”应⽤则⼤不相同,由于相互间的依赖关系,当需要开发某⼀个功能或微服务时,不得不将所 有依赖的服务都启动起来。随着微服务数量的增加,开发应⽤所需要的本地资源越来越多,最终导致本地⽆ 法满⾜开发的配置需求。 云原⽣解放了部署和运维,开发呢? Nocalhost - 重新定义云原⽣开发环境.md 2021/1/20 2 /0 码力 | 7 页 | 7.20 MB | 6 月前3 16-Nocalhost重新定义云原生开发环境-王炜使得应⽤系统的维护边界适配组织架 构的权责边界。 ⼀般来说,越庞⼤的组织架构,应⽤系统会被拆分地越来越细,“微服务”的数量也变得越来越多。⽽在“微服 务”的拆分的实践中,很容易出现将组织架构的权责边界⼀股脑地对标到“微服务”�的拆分粒度中,这可能导致 “微服务”拆分粒度过细,数量进⼀步剧增的问题。最终,“微服务”之间的调⽤关系就像跨部⻔协作,也变得 越来越复杂,问题在想要新增需求时尤为突出。 “微 组织⽅式,所有的调⽤关系仅限于在⾃身的类和函 数,应⽤对硬件的要求⼀般也不会太⾼。 ⽽开发“微服务”应⽤则⼤不相同,由于相互间的依赖关系,当需要开发某⼀个功能或微服务时,不得不将所 有依赖的服务都启动起来。随着微服务数量的增加,开发应⽤所需要的本地资源越来越多,最终导致本地⽆ 法满⾜开发的配置需求。 云原⽣解放了部署和运维,开发呢? Nocalhost - 重新定义云原⽣开发环境.md 2021/1/20 2 /0 码力 | 7 页 | 7.20 MB | 6 月前3
 22-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊移动用户 采购 平台 互联网 平台 数字 营销 敏态IT 互联网/物联网应用 创新应用 PC用户 物联网 物联终端 互联网、 大数据 AI、 IoT 数字化转型  应用价值提升  应用数量增长  应用类型丰富  应用需求多变 企业从信息化到数字化的转型带来大量的应用需求 软件组件 运行环境 部署平台 …… …… 应用丰富及架构演进带来的开发和运维复杂性 Service Mesh 中引入 Serverless:典型如 Google Traffic Director 产品,在提 供 Service Mesh 各种能力的同时,支持按照流量自动伸缩服务的实例数量,从 而融入了部分 Serverless 的特性。 对于 Serverless 和 Service Mesh 的结合,我们展望未来形态:应该会出现一种新 型服务模式,Serverless 和 Service0 码力 | 42 页 | 11.17 MB | 6 月前3 22-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊移动用户 采购 平台 互联网 平台 数字 营销 敏态IT 互联网/物联网应用 创新应用 PC用户 物联网 物联终端 互联网、 大数据 AI、 IoT 数字化转型  应用价值提升  应用数量增长  应用类型丰富  应用需求多变 企业从信息化到数字化的转型带来大量的应用需求 软件组件 运行环境 部署平台 …… …… 应用丰富及架构演进带来的开发和运维复杂性 Service Mesh 中引入 Serverless:典型如 Google Traffic Director 产品,在提 供 Service Mesh 各种能力的同时,支持按照流量自动伸缩服务的实例数量,从 而融入了部分 Serverless 的特性。 对于 Serverless 和 Service Mesh 的结合,我们展望未来形态:应该会出现一种新 型服务模式,Serverless 和 Service0 码力 | 42 页 | 11.17 MB | 6 月前3
 开源多集群应用治理项目Clusternet 在多点生活的云原生实践之后、根据不同业务场景使用不同的 Runtime • 兼容 EKS 和 IDC(Kata) 迭代4-HPA 需求: • 根据 CPU 使用情况来自动扩缩容量 • 兼容 HPA 自动修改 replica 数量的逻辑 反思 • 新增一个无关的(HPA,Sidecar)功能都需要 Controller 适配是否合理? • 新增一个公有云类型都需要修改 Controller 是否合理? • 当新的需求来临应该怎么扩展?0 码力 | 22 页 | 17.18 MB | 1 年前3 开源多集群应用治理项目Clusternet 在多点生活的云原生实践之后、根据不同业务场景使用不同的 Runtime • 兼容 EKS 和 IDC(Kata) 迭代4-HPA 需求: • 根据 CPU 使用情况来自动扩缩容量 • 兼容 HPA 自动修改 replica 数量的逻辑 反思 • 新增一个无关的(HPA,Sidecar)功能都需要 Controller 适配是否合理? • 新增一个公有云类型都需要修改 Controller 是否合理? • 当新的需求来临应该怎么扩展?0 码力 | 22 页 | 17.18 MB | 1 年前3
 基于Consul的多Beats接入管控与多ES搜索编排管控与多ES搜索编排 2 拥抱开源、释放云原生的力量 • 背景与挑战 • 多Beats/Logstash接入管控 • 多ES搜索编排系统 • 日志AIOps探索 3 背景与挑战 产品数量 人员规模 主机规模 100+ 1000 + 10000 + 如何降低日志接入门槛 如何保证日志实时上报 如何保障日志采集不影响业务 如何做配置标准化 如何帮助业务快速排障0 码力 | 23 页 | 6.65 MB | 1 年前3 基于Consul的多Beats接入管控与多ES搜索编排管控与多ES搜索编排 2 拥抱开源、释放云原生的力量 • 背景与挑战 • 多Beats/Logstash接入管控 • 多ES搜索编排系统 • 日志AIOps探索 3 背景与挑战 产品数量 人员规模 主机规模 100+ 1000 + 10000 + 如何降低日志接入门槛 如何保证日志实时上报 如何保障日志采集不影响业务 如何做配置标准化 如何帮助业务快速排障0 码力 | 23 页 | 6.65 MB | 1 年前3
 SBOM 为基础的云原生应用安全治理发布安全 公告称在其软件开发套件和WiFi模块中发现了4个 安全漏洞。、攻击者可利用该漏洞绕过身份验证, 并以最高权限运行恶意代码,有效接管设备。本次 暴出漏洞的芯片至少有65家供应商在使用,生产出 的设备数量超过十万台。 Realtek 的WiFi SDK漏洞 2021年12月,Apache开源组件Log4j被发现两个 相关漏洞,分别为任意代码执行漏洞和拒绝服务攻 击漏洞,攻击者可以通过构造特殊的请求进行任意0 码力 | 30 页 | 2.39 MB | 1 年前3 SBOM 为基础的云原生应用安全治理发布安全 公告称在其软件开发套件和WiFi模块中发现了4个 安全漏洞。、攻击者可利用该漏洞绕过身份验证, 并以最高权限运行恶意代码,有效接管设备。本次 暴出漏洞的芯片至少有65家供应商在使用,生产出 的设备数量超过十万台。 Realtek 的WiFi SDK漏洞 2021年12月,Apache开源组件Log4j被发现两个 相关漏洞,分别为任意代码执行漏洞和拒绝服务攻 击漏洞,攻击者可以通过构造特殊的请求进行任意0 码力 | 30 页 | 2.39 MB | 1 年前3
 1.3 MOSN 在云原生的探索及实践启动一个协 程,执行完阻塞操作后 notify Envoy MOE 方案介绍 — GMP 中 P 资源问题 E n v o y 通 过 C G O 执 行 MOSN(GoLang),此时 P 的数量 如何管理?M 从哪来? 为 Envoy 每个 work thread 都预 留对应的 P,保证每个 G 都可 以立刻找到 P MOE 方案介绍 — 服务相关元数据如何管理 MOSN 和 Envoy0 码力 | 36 页 | 35.61 MB | 1 年前3 1.3 MOSN 在云原生的探索及实践启动一个协 程,执行完阻塞操作后 notify Envoy MOE 方案介绍 — GMP 中 P 资源问题 E n v o y 通 过 C G O 执 行 MOSN(GoLang),此时 P 的数量 如何管理?M 从哪来? 为 Envoy 每个 work thread 都预 留对应的 P,保证每个 G 都可 以立刻找到 P MOE 方案介绍 — 服务相关元数据如何管理 MOSN 和 Envoy0 码力 | 36 页 | 35.61 MB | 1 年前3
共 11 条
- 1
- 2













