 27-云原生赋能 AIoT 和边缘计算、云形态以及成熟度模型之道-高磊高级能力-自动化-AIoT以及赋能业务-边缘计算(Edge Cloud )-1 远端控制 云端分析系统 设备端 自动化解决用户使用体验问题,计算量属于窄带范畴, 所以计算算力重点在于云端,云端计算体系架构成熟, 成本较低,在业务上本地的设备根据模式信号反馈一些 动作,比如下雨关窗帘,是自动化范畴,上传云端的数 据都是属性数据,比如谁什么时候干了什么,后续云端 根据个人喜好数据为用户提供比如按照个人喜好调节温 云端分析系统 设备端 (现场)边缘计算BOX 业务场景复杂,对算力、通信要求很高,计算放置于 云端时效性差,另外无法现场就对业务进行处理,比 如计算路口交通事故预警,给予司机及时提示等,所 以将算力卸载在距离业务现场、设备最近的地方,就 是边缘计算的场景,它的价值空间远超AIoT,可以更 大范围为客户赋能,IoT和边缘计算一定走向融合。 定位为基于物模型的计算 定位为基于业务的计算 高级能力-自动化- 高级能力-自动化-AIoT以及赋能业务-边缘计算(Edge Cloud )-2 • 为了更好的为客户业 务场景赋能,比如路 口的交通事故识别和 预警等等需要低时延 高算力的场景,需要 实现云边一体纳管, 简化运维,降低成本, 客户专注于业务领域。 • 无论是AIoT还是边缘 计算,核心要素是计 算,计算平台的训练 平台位于云端,而推 理计算位于BOX端,并 且能够适应各类算法 和硬件的要求,形成 一个通用计算平台, 更普遍的为客户场景0 码力 | 20 页 | 5.17 MB | 6 月前3 27-云原生赋能 AIoT 和边缘计算、云形态以及成熟度模型之道-高磊高级能力-自动化-AIoT以及赋能业务-边缘计算(Edge Cloud )-1 远端控制 云端分析系统 设备端 自动化解决用户使用体验问题,计算量属于窄带范畴, 所以计算算力重点在于云端,云端计算体系架构成熟, 成本较低,在业务上本地的设备根据模式信号反馈一些 动作,比如下雨关窗帘,是自动化范畴,上传云端的数 据都是属性数据,比如谁什么时候干了什么,后续云端 根据个人喜好数据为用户提供比如按照个人喜好调节温 云端分析系统 设备端 (现场)边缘计算BOX 业务场景复杂,对算力、通信要求很高,计算放置于 云端时效性差,另外无法现场就对业务进行处理,比 如计算路口交通事故预警,给予司机及时提示等,所 以将算力卸载在距离业务现场、设备最近的地方,就 是边缘计算的场景,它的价值空间远超AIoT,可以更 大范围为客户赋能,IoT和边缘计算一定走向融合。 定位为基于物模型的计算 定位为基于业务的计算 高级能力-自动化- 高级能力-自动化-AIoT以及赋能业务-边缘计算(Edge Cloud )-2 • 为了更好的为客户业 务场景赋能,比如路 口的交通事故识别和 预警等等需要低时延 高算力的场景,需要 实现云边一体纳管, 简化运维,降低成本, 客户专注于业务领域。 • 无论是AIoT还是边缘 计算,核心要素是计 算,计算平台的训练 平台位于云端,而推 理计算位于BOX端,并 且能够适应各类算法 和硬件的要求,形成 一个通用计算平台, 更普遍的为客户场景0 码力 | 20 页 | 5.17 MB | 6 月前3
 云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)云原生安全威胁分析与能力建设白皮书 7 前 言 在数字化转型的大潮中,云计算作为实现创新和提高运营效率的关键技术, 成为了新一代信息技术的核心引擎。随着云计算的飞速发展和广泛应用,以及万 千企业数字化转型换挡提速,企业对云计算的使用效能提出新的需求。云原生以 其独特的技术特点,很好地契合了云计算发展的本质需求,正在成为驱动云计算 质变的技术内核。 云原生作为云计算深入发展的产物,已经开始在 5G、人工智能、大数据等 究,致力于推动云原生在通信行业落地实践,全面落实好“大安全”主责主业, 以实际行动践行“国家队、主力军、排头兵”的责任担当。2022 年,我们在“联 通合作伙伴大会”发布了《中国联通云原生安全实践白皮书》,该书系统阐述了 云计算所面临的新型安全问题,介绍了云原生安全防护体系,并给出了云原生安 全防护体系建设实践。 过去一年来,我们持续深耕云原生安全领域,联合多家单位共同编写了《云 原生安全威胁分析与能力建设白皮书》。白皮书从攻击者视角介绍了云原生所面 近年来,云计算技术一直处于高速发展的过程中,并且随着公有云和私有云 的广泛应用,利用云计算作为承载业务运行的基础设施,已经成为了企业的首选。 “十四五”时期,中国的信息化进入加快数字发展、建设数字中国的新阶段,在 数字化转型的浪潮中,云计算作为新型数字基础设施和新一代信息技术的核心引 擎,在推动人工智能、5G、工业互联网、物联网等技术的发展和应用方面发挥 着越来越重要的作用。云计算的普遍应用和相关技术发展,使其已经经历了云计0 码力 | 72 页 | 2.44 MB | 1 年前3 云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)云原生安全威胁分析与能力建设白皮书 7 前 言 在数字化转型的大潮中,云计算作为实现创新和提高运营效率的关键技术, 成为了新一代信息技术的核心引擎。随着云计算的飞速发展和广泛应用,以及万 千企业数字化转型换挡提速,企业对云计算的使用效能提出新的需求。云原生以 其独特的技术特点,很好地契合了云计算发展的本质需求,正在成为驱动云计算 质变的技术内核。 云原生作为云计算深入发展的产物,已经开始在 5G、人工智能、大数据等 究,致力于推动云原生在通信行业落地实践,全面落实好“大安全”主责主业, 以实际行动践行“国家队、主力军、排头兵”的责任担当。2022 年,我们在“联 通合作伙伴大会”发布了《中国联通云原生安全实践白皮书》,该书系统阐述了 云计算所面临的新型安全问题,介绍了云原生安全防护体系,并给出了云原生安 全防护体系建设实践。 过去一年来,我们持续深耕云原生安全领域,联合多家单位共同编写了《云 原生安全威胁分析与能力建设白皮书》。白皮书从攻击者视角介绍了云原生所面 近年来,云计算技术一直处于高速发展的过程中,并且随着公有云和私有云 的广泛应用,利用云计算作为承载业务运行的基础设施,已经成为了企业的首选。 “十四五”时期,中国的信息化进入加快数字发展、建设数字中国的新阶段,在 数字化转型的浪潮中,云计算作为新型数字基础设施和新一代信息技术的核心引 擎,在推动人工智能、5G、工业互联网、物联网等技术的发展和应用方面发挥 着越来越重要的作用。云计算的普遍应用和相关技术发展,使其已经经历了云计0 码力 | 72 页 | 2.44 MB | 1 年前3
 22-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊5 年 就 已 经 存 在 2003年Docker兴起,但云原生架构依然 没有出现,Docker公司还差点死了 1 9 9 6 年 戴 尔 提 出 云 计 算 理 念 2006年亚马逊率先推出 了弹性计算云(EC2) 分水岭 云原生 Docker: 抽象云资源,使 得更容易使用 微服务: 加快业务迭代更新 从支持应用不同维度发展,最终走在了一起 2010年WSO2提出 类云原生的概念 云原生应用相比传统应用的优势 开发运维模式 DevOps 瀑布式开发 部门孤立 服务架构 微服务解耦架构 单体耦合架构 恢复能力 自动化运维 快速恢复 手工运维 恢复缓慢 云原生应用相比传统应用的优势(例子) 来实现计算资源向应用的无缝融合,以极简稳定的、 自动化的方式向上提供业务价值,并直面交付成本问题 企业管理层 业务架构师或者PM 产品|数据|应用|技术架构师 架构咨询团队 企业自己决定 云原生平台+架构咨询团队 构和ACK容器的组合,可以实现1小时扩容1百万个容器,混部利用 率提升50%,万笔交易成本4年下降80%。 • 拥有国内最大计算平台、顶级实时计算能力。大数据平台批处理单日计算数据量达到1.7EB,实时计算峰值每秒30亿条记录; 云原生PolarDB读写性能提高50%+,计算资源利用率提高60%+。 • 云原生中间件首次实现自研、商用、开源的“三位一体”,通过阿里云服务全球客户。云原生中间件服务框架峰值调用量超百亿0 码力 | 42 页 | 11.17 MB | 6 月前3 22-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊5 年 就 已 经 存 在 2003年Docker兴起,但云原生架构依然 没有出现,Docker公司还差点死了 1 9 9 6 年 戴 尔 提 出 云 计 算 理 念 2006年亚马逊率先推出 了弹性计算云(EC2) 分水岭 云原生 Docker: 抽象云资源,使 得更容易使用 微服务: 加快业务迭代更新 从支持应用不同维度发展,最终走在了一起 2010年WSO2提出 类云原生的概念 云原生应用相比传统应用的优势 开发运维模式 DevOps 瀑布式开发 部门孤立 服务架构 微服务解耦架构 单体耦合架构 恢复能力 自动化运维 快速恢复 手工运维 恢复缓慢 云原生应用相比传统应用的优势(例子) 来实现计算资源向应用的无缝融合,以极简稳定的、 自动化的方式向上提供业务价值,并直面交付成本问题 企业管理层 业务架构师或者PM 产品|数据|应用|技术架构师 架构咨询团队 企业自己决定 云原生平台+架构咨询团队 构和ACK容器的组合,可以实现1小时扩容1百万个容器,混部利用 率提升50%,万笔交易成本4年下降80%。 • 拥有国内最大计算平台、顶级实时计算能力。大数据平台批处理单日计算数据量达到1.7EB,实时计算峰值每秒30亿条记录; 云原生PolarDB读写性能提高50%+,计算资源利用率提高60%+。 • 云原生中间件首次实现自研、商用、开源的“三位一体”,通过阿里云服务全球客户。云原生中间件服务框架峰值调用量超百亿0 码力 | 42 页 | 11.17 MB | 6 月前3
 24-云原生中间件之道-高磊Middleware OS Virtualization Servers Storage NetWorking PaaS 硬件与虚拟化厂商提供,如果是HCI架构, 作为总体集成方,会降低安全集成成本 可信计算环境:OS安全、TPM加密、TEE可信环境 云原生安全:镜像安全、镜像仓库安全、容器加固隔离、通信零信任 (Istio零信任、Calico零信任、Cilium零信任、WorkLoad鉴权、WorkLoad 间授权等)、DevSecOps(安全左右移等等,比如代码或者镜像扫描)、 RASP应用安全、数据安全、态势感知与风险隔离 由于云原生托管的应用是碎片化的,环境变化也是碎片化的,而且其业务类型越来越多,比如已经延展到边 缘计算盒子,此时攻击面被放大,在云原生环境下安全是一个核心价值,需要立体纵深式的安全保障。 由于云原生DevOps环境追求效率以及运行态的动态治理能力,导致传统安全实施方法、角色、流程、技术 都发生了很多 信息利用规范化,数字安全合规管理将成为企业的必备能力。与此同时,企业还 应将安全作为“一把手工程”,在部署数字化转型的同时,推进安全前置。 前沿的数字化技术也让产业安全有了更多内涵。5G、AI、隐私计算等技术在构筑数字大楼的同时,不仅带来了全新的安全场景,也成为网络安全攻防 当中的利器;2020年井喷的远程办公,拷问传统安全边界防线,让“零信任”这一有着十年历史的理念再次受到关注,成为企业构建后疫情时代安全体系0 码力 | 22 页 | 4.39 MB | 6 月前3 24-云原生中间件之道-高磊Middleware OS Virtualization Servers Storage NetWorking PaaS 硬件与虚拟化厂商提供,如果是HCI架构, 作为总体集成方,会降低安全集成成本 可信计算环境:OS安全、TPM加密、TEE可信环境 云原生安全:镜像安全、镜像仓库安全、容器加固隔离、通信零信任 (Istio零信任、Calico零信任、Cilium零信任、WorkLoad鉴权、WorkLoad 间授权等)、DevSecOps(安全左右移等等,比如代码或者镜像扫描)、 RASP应用安全、数据安全、态势感知与风险隔离 由于云原生托管的应用是碎片化的,环境变化也是碎片化的,而且其业务类型越来越多,比如已经延展到边 缘计算盒子,此时攻击面被放大,在云原生环境下安全是一个核心价值,需要立体纵深式的安全保障。 由于云原生DevOps环境追求效率以及运行态的动态治理能力,导致传统安全实施方法、角色、流程、技术 都发生了很多 信息利用规范化,数字安全合规管理将成为企业的必备能力。与此同时,企业还 应将安全作为“一把手工程”,在部署数字化转型的同时,推进安全前置。 前沿的数字化技术也让产业安全有了更多内涵。5G、AI、隐私计算等技术在构筑数字大楼的同时,不仅带来了全新的安全场景,也成为网络安全攻防 当中的利器;2020年井喷的远程办公,拷问传统安全边界防线,让“零信任”这一有着十年历史的理念再次受到关注,成为企业构建后疫情时代安全体系0 码力 | 22 页 | 4.39 MB | 6 月前3
 09-harbor助你玩转云原生-邹佳Zou(邹),VMware中国研发中心主任工程师, Harbor开源项目架构师及核心维护者,拥有十多年软件研发及 架构经验,获得PMP资格认证及多项技术专利授权。曾在HPE、 IBM等多家企业担任资深软件工程师和架构师,专注于云计算及 云原生等相关领域的研究与创新。著有《Harbor权威指南》等 书籍。 >> Email: szou@vmware.com >> GitHub ID: steven-zou >> Slack: Docker Client push pull pull 制品的高效分发-复制 [2] 主从模式(/中心-边缘模式) 制品的高效分发-缓存 • 在项目级别提供“缓存”能力 • 已缓存下来的制品与“本地”制品无异 • 相关的管理策略可以应用到缓存的镜像上,比 如配额、扫描等 • 目前仅支持上游Dockerhub*和其它Harbor, 基于漏洞严重程度或者签名状态 通过设置不可变规则来避免特定Tag被覆盖或者误删除 制品安全分发-不可变Tag 资源清理与垃圾回收 [1] 通过Artifact保留策略实现资源清理:根据用户设置的保留策略计算得出需要保留的 资源而删除不需要保留的资源 不释放存储空间/释放配额 注意:不可变Tag一定会被保留 资源清理与垃圾回收 [2] 通过垃圾回收可以清理存储空间中的无用数据,V2.1之前为阻塞式GC,V20 码力 | 32 页 | 17.15 MB | 6 月前3 09-harbor助你玩转云原生-邹佳Zou(邹),VMware中国研发中心主任工程师, Harbor开源项目架构师及核心维护者,拥有十多年软件研发及 架构经验,获得PMP资格认证及多项技术专利授权。曾在HPE、 IBM等多家企业担任资深软件工程师和架构师,专注于云计算及 云原生等相关领域的研究与创新。著有《Harbor权威指南》等 书籍。 >> Email: szou@vmware.com >> GitHub ID: steven-zou >> Slack: Docker Client push pull pull 制品的高效分发-复制 [2] 主从模式(/中心-边缘模式) 制品的高效分发-缓存 • 在项目级别提供“缓存”能力 • 已缓存下来的制品与“本地”制品无异 • 相关的管理策略可以应用到缓存的镜像上,比 如配额、扫描等 • 目前仅支持上游Dockerhub*和其它Harbor, 基于漏洞严重程度或者签名状态 通过设置不可变规则来避免特定Tag被覆盖或者误删除 制品安全分发-不可变Tag 资源清理与垃圾回收 [1] 通过Artifact保留策略实现资源清理:根据用户设置的保留策略计算得出需要保留的 资源而删除不需要保留的资源 不释放存储空间/释放配额 注意:不可变Tag一定会被保留 资源清理与垃圾回收 [2] 通过垃圾回收可以清理存储空间中的无用数据,V2.1之前为阻塞式GC,V20 码力 | 32 页 | 17.15 MB | 6 月前3
 25-云原生应用可观测性实践-向阳YUNSHAN Networks Technology Co., Ltd. All rights reserved. 1. 可观测性的成熟度模型 2. 构建内生的可观测性能力 3. 在混合云、边缘云中的实战 4. Talk is cheap, show me the demo! 目录 simplify the growing complexity © 2021, YUNSHAN Networks YUNSHAN Networks Technology Co., Ltd. All rights reserved. 1. 可观测性的成熟度模型 2. 构建内生的可观测性能力 3. 在混合云、边缘云中的实战 4. Talk is cheap, show me the demo! 目录 simplify the growing complexity © 2021, YUNSHAN Networks YUNSHAN Networks Technology Co., Ltd. All rights reserved. 1. 可观测性的成熟度模型 2. 构建内生的可观测性能力 3. 在混合云、边缘云中的实战 4. Talk is cheap, show me the demo! 目录 simplify the growing complexity © 2021, YUNSHAN Networks0 码力 | 39 页 | 8.44 MB | 6 月前3 25-云原生应用可观测性实践-向阳YUNSHAN Networks Technology Co., Ltd. All rights reserved. 1. 可观测性的成熟度模型 2. 构建内生的可观测性能力 3. 在混合云、边缘云中的实战 4. Talk is cheap, show me the demo! 目录 simplify the growing complexity © 2021, YUNSHAN Networks YUNSHAN Networks Technology Co., Ltd. All rights reserved. 1. 可观测性的成熟度模型 2. 构建内生的可观测性能力 3. 在混合云、边缘云中的实战 4. Talk is cheap, show me the demo! 目录 simplify the growing complexity © 2021, YUNSHAN Networks YUNSHAN Networks Technology Co., Ltd. All rights reserved. 1. 可观测性的成熟度模型 2. 构建内生的可观测性能力 3. 在混合云、边缘云中的实战 4. Talk is cheap, show me the demo! 目录 simplify the growing complexity © 2021, YUNSHAN Networks0 码力 | 39 页 | 8.44 MB | 6 月前3
 云原生微服务最佳实践网关最佳实践 K8s(API-Server) App3(服务网格) VPC2 云原生网关 VPC1 Nacos(业务域1) App2(微服务) 云原生网关 1、网络不通 2、业务边缘部署 3、协议不同 4、安全域不同 5、跨region 云原生网关 云原生网关 Fuction(Serverless) App1(单体应用) 证书管理 认证登录 三方认证 WAF防护 限流熔断0 码力 | 20 页 | 6.76 MB | 1 年前3 云原生微服务最佳实践网关最佳实践 K8s(API-Server) App3(服务网格) VPC2 云原生网关 VPC1 Nacos(业务域1) App2(微服务) 云原生网关 1、网络不通 2、业务边缘部署 3、协议不同 4、安全域不同 5、跨region 云原生网关 云原生网关 Fuction(Serverless) App1(单体应用) 证书管理 认证登录 三方认证 WAF防护 限流熔断0 码力 | 20 页 | 6.76 MB | 1 年前3
 Volcano加速金融行业大数据分析平台云原生化改造的应用实践Volcano加速金融行业大数据分析平台 云原生化改造的应用实践 汪 洋, 华为云 Volcano 社区核心贡献者 大数据平台云原生面临的挑战 传统大数据平台云原生化改造成为必然趋势 大数据分析、人工智能等批量计算场景深度应用于金融场景 作业管理缺失 • Pod级别调度,无法感知上层应用 • 缺少作业概念、缺少完善的生命周期的管理 • 缺少任务依赖、作业依赖支持 调度策略局限 • 不支持Gang- 不同框架对作业管理、并行计算等要求不通 • 计算密集,资源波动大,需要高级调度能力 资源规划复用、异构计算支持不足 • 缺少队列概念 • 不支持集群资源的动态规划以及资源复用 • 对异构资源支持不足 传统服务 大数据 人工智能 云原生大数据平台 大数据、AI等批量计算场景 云原生化面临的挑战 Volcano 架构 项目概况: • 业界首个云原生批量计算平台 • 2019年6 2019年6月开源,2020年进入CNCF,目前是CNCF孵化级项目 • 2.9k star,500+ 全球贡献者 • 50+ 企业生产落地 关键特性: 1. 统一的作业管理 提供完善作业生命周期管理,统一支持几乎所有主流的计算框架,如 Pytorch, MPI, Horovod, Tensorflow、Spark等。 2. 丰富的高阶调度策略 公平调度、任务拓扑调度、基于SLA调度、作业抢占、回填、弹性调度、 混部等。0 码力 | 18 页 | 1.82 MB | 1 年前3 Volcano加速金融行业大数据分析平台云原生化改造的应用实践Volcano加速金融行业大数据分析平台 云原生化改造的应用实践 汪 洋, 华为云 Volcano 社区核心贡献者 大数据平台云原生面临的挑战 传统大数据平台云原生化改造成为必然趋势 大数据分析、人工智能等批量计算场景深度应用于金融场景 作业管理缺失 • Pod级别调度,无法感知上层应用 • 缺少作业概念、缺少完善的生命周期的管理 • 缺少任务依赖、作业依赖支持 调度策略局限 • 不支持Gang- 不同框架对作业管理、并行计算等要求不通 • 计算密集,资源波动大,需要高级调度能力 资源规划复用、异构计算支持不足 • 缺少队列概念 • 不支持集群资源的动态规划以及资源复用 • 对异构资源支持不足 传统服务 大数据 人工智能 云原生大数据平台 大数据、AI等批量计算场景 云原生化面临的挑战 Volcano 架构 项目概况: • 业界首个云原生批量计算平台 • 2019年6 2019年6月开源,2020年进入CNCF,目前是CNCF孵化级项目 • 2.9k star,500+ 全球贡献者 • 50+ 企业生产落地 关键特性: 1. 统一的作业管理 提供完善作业生命周期管理,统一支持几乎所有主流的计算框架,如 Pytorch, MPI, Horovod, Tensorflow、Spark等。 2. 丰富的高阶调度策略 公平调度、任务拓扑调度、基于SLA调度、作业抢占、回填、弹性调度、 混部等。0 码力 | 18 页 | 1.82 MB | 1 年前3
 云原生图数据库解谜、容器化实践与 Serverless 应用实操tpiperatgod laminar.fun OpenFunction 社区 Maintainer ⻘云科技研发⼯程师 Overview 了解 K8s 上的 Serverless 计算平台搭建实践:OpenFunction K8s 上的图数据库基于 KubeBuilder 的 Operator 实现,解谜图数据库的知识与应⽤ 上⼿ K8s 上的云原⽣图数据库、从零到⼀构建 Serverless Serverless 新愿景 新⼀代开源函数计算平台 - 契机 云原⽣ Serverless 领域的最新进展为构建新⼀代 FaaS 平台提供了可能 现有开源 Serverless 或 FaaS 平台并不能满⾜构建现代云原⽣ FaaS 平台的要求 - 开放的云原⽣框架 - 涌现的优秀项⽬ - ⽇新⽉异的业务模式 Function Lifecycle 新⼀代开源函数计算平台 - 契机 Function With Dapr 5 种语⾔ x 1 个抽象 Message Queue (⽤ 1 种⽅式即 HTTP/GRPC 对接 10 个 MQ) = 5 种实现 OpenFunction 新⼀代开源函数计算平台 OpenFunction 架构图 ➤ core.openfunction.io Functions | Servings | Builders ➤ events.openfunction0 码力 | 47 页 | 29.72 MB | 1 年前3 云原生图数据库解谜、容器化实践与 Serverless 应用实操tpiperatgod laminar.fun OpenFunction 社区 Maintainer ⻘云科技研发⼯程师 Overview 了解 K8s 上的 Serverless 计算平台搭建实践:OpenFunction K8s 上的图数据库基于 KubeBuilder 的 Operator 实现,解谜图数据库的知识与应⽤ 上⼿ K8s 上的云原⽣图数据库、从零到⼀构建 Serverless Serverless 新愿景 新⼀代开源函数计算平台 - 契机 云原⽣ Serverless 领域的最新进展为构建新⼀代 FaaS 平台提供了可能 现有开源 Serverless 或 FaaS 平台并不能满⾜构建现代云原⽣ FaaS 平台的要求 - 开放的云原⽣框架 - 涌现的优秀项⽬ - ⽇新⽉异的业务模式 Function Lifecycle 新⼀代开源函数计算平台 - 契机 Function With Dapr 5 种语⾔ x 1 个抽象 Message Queue (⽤ 1 种⽅式即 HTTP/GRPC 对接 10 个 MQ) = 5 种实现 OpenFunction 新⼀代开源函数计算平台 OpenFunction 架构图 ➤ core.openfunction.io Functions | Servings | Builders ➤ events.openfunction0 码力 | 47 页 | 29.72 MB | 1 年前3
 Apache Pulsar,云原生时代的消息平台 - 翟佳
⾃我介绍 • 开源项⽬爱好者: • Apache Pulsar PMC成员 • Apache BookKeeper PMC成员 • EMC -> StreamNative • 华中科⼤ -> 中科院计算所 • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar 的⽣态和社区 streamnative.io Apache Pulsar 简介 - 跨地域复制 • 解除存储计算耦合 • 运维痛点:替换机器、服务扩容、数据 rebalance • 减少⽂件系统依赖 • 性能难保障: 持久化(fsync)、⼀致性(ack: all)、多Topic • IO不隔离:消费者读Backlog的时候会影响其他⽣产者和消费者 streamnative.io Apache Pulsar 特性 • 云原⽣架构: • 存储计算分离 • 分层 + 分⽚ • Pulsar 简介 • Pulsar 的云原⽣架构 • 企业级流存储: BookKeeper streamnative.io Pulsar: 云原⽣的架构 —— 分层 + 分⽚ • 存储和计算分离 • 节点对等 • 独⽴扩展 • 灵活扩容 • 快速容错 streamnative.io Broker 容错 ⽆感知容错 零数据catchup streamnative.io Bookie容错0 码力 | 39 页 | 12.71 MB | 6 月前0.03 Apache Pulsar,云原生时代的消息平台 - 翟佳
⾃我介绍 • 开源项⽬爱好者: • Apache Pulsar PMC成员 • Apache BookKeeper PMC成员 • EMC -> StreamNative • 华中科⼤ -> 中科院计算所 • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar 的⽣态和社区 streamnative.io Apache Pulsar 简介 - 跨地域复制 • 解除存储计算耦合 • 运维痛点:替换机器、服务扩容、数据 rebalance • 减少⽂件系统依赖 • 性能难保障: 持久化(fsync)、⼀致性(ack: all)、多Topic • IO不隔离:消费者读Backlog的时候会影响其他⽣产者和消费者 streamnative.io Apache Pulsar 特性 • 云原⽣架构: • 存储计算分离 • 分层 + 分⽚ • Pulsar 简介 • Pulsar 的云原⽣架构 • 企业级流存储: BookKeeper streamnative.io Pulsar: 云原⽣的架构 —— 分层 + 分⽚ • 存储和计算分离 • 节点对等 • 独⽴扩展 • 灵活扩容 • 快速容错 streamnative.io Broker 容错 ⽆感知容错 零数据catchup streamnative.io Bookie容错0 码力 | 39 页 | 12.71 MB | 6 月前0.03
共 18 条
- 1
- 2













