 12-从数据库中间件到云原生——Apache ShardingSphere 架构演进-秦金卫数据库中间件:从框架技术到分布式的数据库中间件技术 3.分布式数据库:从数据库中间件技术发展到分布式数据库 4.数据库网格:数据库与微服务、云原生的发展关系 5.数据库解决方案:如何基于 ShardingSphere 生态创建数据库解决方案 1.数据库框架 1.数据库框架 摩尔定律失效 分布式崛起 1.数据库框架 随着数据量的增大,读写并发的增加,系统可用性要求的提升,单机 服务网格 ServiceMesh 数据库网格 DatabaseMesh 云原生 Cloud-Native 5.数据库解决方案 Apache ShardingSphere 5.数据库解决方案 Apache ShardingSphere 是一套开源的分布式数据库中间件解决方案组成的生 态圈,它由 JDBC、Proxy 和 Sidecar(规划中)这 3 款相互独立,却又能够 混合部署配合使用的产品组成。 混合部署配合使用的产品组成。 它们均提供标准化的数据分片、分布式事务和 数据库治理功能,可适用于如 Java 同构、异构语言、云原生等各种多样化的 应用场景。 5.数据库解决方案 Level 3:Sharding-Proxy中间件(3.x+) Level 2:Sharding-JDBC框架(1.x+) Level 1:MySQL数据库提供的能力 Level 4:Sharding-Scaling(4.x+)0 码力 | 23 页 | 1.91 MB | 6 月前3 12-从数据库中间件到云原生——Apache ShardingSphere 架构演进-秦金卫数据库中间件:从框架技术到分布式的数据库中间件技术 3.分布式数据库:从数据库中间件技术发展到分布式数据库 4.数据库网格:数据库与微服务、云原生的发展关系 5.数据库解决方案:如何基于 ShardingSphere 生态创建数据库解决方案 1.数据库框架 1.数据库框架 摩尔定律失效 分布式崛起 1.数据库框架 随着数据量的增大,读写并发的增加,系统可用性要求的提升,单机 服务网格 ServiceMesh 数据库网格 DatabaseMesh 云原生 Cloud-Native 5.数据库解决方案 Apache ShardingSphere 5.数据库解决方案 Apache ShardingSphere 是一套开源的分布式数据库中间件解决方案组成的生 态圈,它由 JDBC、Proxy 和 Sidecar(规划中)这 3 款相互独立,却又能够 混合部署配合使用的产品组成。 混合部署配合使用的产品组成。 它们均提供标准化的数据分片、分布式事务和 数据库治理功能,可适用于如 Java 同构、异构语言、云原生等各种多样化的 应用场景。 5.数据库解决方案 Level 3:Sharding-Proxy中间件(3.x+) Level 2:Sharding-JDBC框架(1.x+) Level 1:MySQL数据库提供的能力 Level 4:Sharding-Scaling(4.x+)0 码力 | 23 页 | 1.91 MB | 6 月前3
 Volcano加速金融行业大数据分析平台云原生化改造的应用实践交互式服务、常驻服务、离线分析业务统一平台调度; • Job级别的调度管理,包括生命周期、依赖关系等; • 支持业界主流计算框架,如Spark、TensorFlow等; • 多用户公平分配资源,快速响应高优先级作业 解决方案: • K8s + Volcano 统一调度所有工作负载; • Queue动态资源共享,DRF、优先级抢占 用户收益: • 大数据作业从Yarn平滑迁移至K8s; • 云原生DAP平台服 要求调度系统提供公平机制,满足公司内多团队资源共享,保 证各自业务的SLA • 要求系统提供Gang-scheduling解决基本死锁问题 • 要求调度系统统一支持AI、大数据、Batch Job 解决方案: • Volcano 统一支持AI、数据ETL和离线Batch job • Volcano提供的队列调度、公平调度策略,满足用户的多租户 资源共享的诉求 用户收益: • 使用 Volcano,生产环境稳定支持30w task Pending task Nodes node 1 node 2 node 3 Scheduler user Job-3 Job-4 Job-5 SLA 避免大作业饿死 解决方案:通过SLA配置作业的最长等待时间,降低大作业饿死的可能性 apiVersion: batch.volcano.sh/v1alpha1 kind: Job metadata: name: test-job0 码力 | 18 页 | 1.82 MB | 1 年前3 Volcano加速金融行业大数据分析平台云原生化改造的应用实践交互式服务、常驻服务、离线分析业务统一平台调度; • Job级别的调度管理,包括生命周期、依赖关系等; • 支持业界主流计算框架,如Spark、TensorFlow等; • 多用户公平分配资源,快速响应高优先级作业 解决方案: • K8s + Volcano 统一调度所有工作负载; • Queue动态资源共享,DRF、优先级抢占 用户收益: • 大数据作业从Yarn平滑迁移至K8s; • 云原生DAP平台服 要求调度系统提供公平机制,满足公司内多团队资源共享,保 证各自业务的SLA • 要求系统提供Gang-scheduling解决基本死锁问题 • 要求调度系统统一支持AI、大数据、Batch Job 解决方案: • Volcano 统一支持AI、数据ETL和离线Batch job • Volcano提供的队列调度、公平调度策略,满足用户的多租户 资源共享的诉求 用户收益: • 使用 Volcano,生产环境稳定支持30w task Pending task Nodes node 1 node 2 node 3 Scheduler user Job-3 Job-4 Job-5 SLA 避免大作业饿死 解决方案:通过SLA配置作业的最长等待时间,降低大作业饿死的可能性 apiVersion: batch.volcano.sh/v1alpha1 kind: Job metadata: name: test-job0 码力 | 18 页 | 1.82 MB | 1 年前3
 1.3 MOSN 在云原生的探索及实践喜欢开源,乐于分享。 https://github.com/wangfakang MOSN 开源交流群2 目 录 MOSN 云原生演进历程 01 MOSN 网络层扩展思考和选型 02 对应解决方案和实践介绍 03 MOSN 开源进展同步 04 MOSN 云原生演进历程 MOSN 简介 — 演进历程 MOSN 从 Service Mesh 技术调研,到产品孵化,历经重重困难,最终通过双 Lua 生态好、能 复用现有的 SDK,对于处理上层业务更合适 扩展方案评估 Envoy 社区讨论 MOE 背景介绍 — 方案评估 结论 综合稳定性、性能、成本、社区生态等因素评估,MOE 解决方案无论在当前阶段还是未来都具备一定优势 NanoVisor Cilium NginxUnit Dragonboat Badger Go with OpenCV etc CGO 是 Go 官方出品 一次调用开销在 0.08 ~ 1.626 us,另 外 CGO 调用开销呈线 性增长;CGO 中增加 Go 自身计算逻辑时, 其 Go 的计算消耗也 呈线性增长 CGO 开销调研 MOE 解决方案及实践介绍 MOE 方案介绍 — 整体架构 proxy_golang API spec proxy_golang_request • params headers body trailers0 码力 | 36 页 | 35.61 MB | 1 年前3 1.3 MOSN 在云原生的探索及实践喜欢开源,乐于分享。 https://github.com/wangfakang MOSN 开源交流群2 目 录 MOSN 云原生演进历程 01 MOSN 网络层扩展思考和选型 02 对应解决方案和实践介绍 03 MOSN 开源进展同步 04 MOSN 云原生演进历程 MOSN 简介 — 演进历程 MOSN 从 Service Mesh 技术调研,到产品孵化,历经重重困难,最终通过双 Lua 生态好、能 复用现有的 SDK,对于处理上层业务更合适 扩展方案评估 Envoy 社区讨论 MOE 背景介绍 — 方案评估 结论 综合稳定性、性能、成本、社区生态等因素评估,MOE 解决方案无论在当前阶段还是未来都具备一定优势 NanoVisor Cilium NginxUnit Dragonboat Badger Go with OpenCV etc CGO 是 Go 官方出品 一次调用开销在 0.08 ~ 1.626 us,另 外 CGO 调用开销呈线 性增长;CGO 中增加 Go 自身计算逻辑时, 其 Go 的计算消耗也 呈线性增长 CGO 开销调研 MOE 解决方案及实践介绍 MOE 方案介绍 — 整体架构 proxy_golang API spec proxy_golang_request • params headers body trailers0 码力 | 36 页 | 35.61 MB | 1 年前3
 中国移动磐舟DevSecOps平台云原生安全实践件著作权等研发成果,建立了领先和成熟的研发体系。 ü 可信云容器解决 方案认证 ü 2021年云安全守卫者 计划优秀案例 ü DevOps解决方案最高等 级先进级的现场认证 ü 2021年通信行业云计算领域风云团队奖 ü 创新解决方案证书 最高等级认证 优秀案例 专业认证 获奖情况 人 1,00000000000 系统 国家 稳定 发展 健康 财富 安全 创新 安全的重要性0 码力 | 22 页 | 5.47 MB | 1 年前3 中国移动磐舟DevSecOps平台云原生安全实践件著作权等研发成果,建立了领先和成熟的研发体系。 ü 可信云容器解决 方案认证 ü 2021年云安全守卫者 计划优秀案例 ü DevOps解决方案最高等 级先进级的现场认证 ü 2021年通信行业云计算领域风云团队奖 ü 创新解决方案证书 最高等级认证 优秀案例 专业认证 获奖情况 人 1,00000000000 系统 国家 稳定 发展 健康 财富 安全 创新 安全的重要性0 码力 | 22 页 | 5.47 MB | 1 年前3
 22-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊总体而言就是下面这几个方面的事情: • 生命周期(Lifecycle) • 网络(Networking) • 状态(State) • 捆绑(Binding) 每种需求存在的问题和局限性,导致传统解决方案如企业服 务总线(ESB)及其变体(如消息中间件,轻量级的集成框架 等)不再适用。随着微服务的发展,以及容器和 Kubernetes 的普及和广泛使用,云原生开始影响这些需求的实现方式。 未来趋 Service A Service B API API 外部访问哪一个? 如果仅仅从GW作为唯一路口,由于没有经过Istio GW,那么流 量跟踪是不完整的,在平台上显示的可观察性是缺少数据的。 解决方案 GW Istio GW GW不访问微服务直接转发流量给Istio GW Istio GW Istio Envoy 另一种办法,干脆直接用Istio GW替代 Ingress GW,但是不是所有微服务都需要0 码力 | 42 页 | 11.17 MB | 6 月前3 22-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊总体而言就是下面这几个方面的事情: • 生命周期(Lifecycle) • 网络(Networking) • 状态(State) • 捆绑(Binding) 每种需求存在的问题和局限性,导致传统解决方案如企业服 务总线(ESB)及其变体(如消息中间件,轻量级的集成框架 等)不再适用。随着微服务的发展,以及容器和 Kubernetes 的普及和广泛使用,云原生开始影响这些需求的实现方式。 未来趋 Service A Service B API API 外部访问哪一个? 如果仅仅从GW作为唯一路口,由于没有经过Istio GW,那么流 量跟踪是不完整的,在平台上显示的可观察性是缺少数据的。 解决方案 GW Istio GW GW不访问微服务直接转发流量给Istio GW Istio GW Istio Envoy 另一种办法,干脆直接用Istio GW替代 Ingress GW,但是不是所有微服务都需要0 码力 | 42 页 | 11.17 MB | 6 月前3
 24-云原生中间件之道-高磊险 应用透明,全局管理视角,细粒度安全策略,针 对Node层面构建安全 采用IpTables,有一定的性能消耗 Cilium零信任 采用eBPF,为Mesh打造具备API感知和安全高效的网络层安全解决方案, 克服了Calico SDN安全和性能方面的不足 应用透明,全局管理视角,细粒度安全策略,针 对Node层面构建安全,端到端安全需要和以上安 全方案集成。 说说应用基本依赖的四大件:数据库、存储、中间件和大数据 方式接入消息服务,且能轻易地满足云边端一体化、跨IDC、跨云等互 通需求,真正成为应用层的通信基础设施。 多样性 云原生消息服务将致力于建设大而全的消息生态,来涵盖丰富的业务场景,提供各式各样的解决方案,从而满足不同用户的多样性需求。云原生 消息队列要求建设多个子产品线来支撑丰富的业务需求,比如消息队列RocketMQ,Kafka,微消息队列等。 标准化 容器镜像这项云原生的核心技术轻易地实现0 码力 | 22 页 | 4.39 MB | 6 月前3 24-云原生中间件之道-高磊险 应用透明,全局管理视角,细粒度安全策略,针 对Node层面构建安全 采用IpTables,有一定的性能消耗 Cilium零信任 采用eBPF,为Mesh打造具备API感知和安全高效的网络层安全解决方案, 克服了Calico SDN安全和性能方面的不足 应用透明,全局管理视角,细粒度安全策略,针 对Node层面构建安全,端到端安全需要和以上安 全方案集成。 说说应用基本依赖的四大件:数据库、存储、中间件和大数据 方式接入消息服务,且能轻易地满足云边端一体化、跨IDC、跨云等互 通需求,真正成为应用层的通信基础设施。 多样性 云原生消息服务将致力于建设大而全的消息生态,来涵盖丰富的业务场景,提供各式各样的解决方案,从而满足不同用户的多样性需求。云原生 消息队列要求建设多个子产品线来支撑丰富的业务需求,比如消息队列RocketMQ,Kafka,微消息队列等。 标准化 容器镜像这项云原生的核心技术轻易地实现0 码力 | 22 页 | 4.39 MB | 6 月前3
 09-harbor助你玩转云原生-邹佳使用Helm Chart和外部高可用服务(数据库,缓存和存储)部署HA的仓库服务 构建高可用(HA)仓库服务 [3] Harbor Operator提供基于K8s集群的all-in-one HA解决方案(也支持使用外部共享服务) Kubernetes Cluster User Defined Namespace Operator Namespace(s) CR: HarborCluster0 码力 | 32 页 | 17.15 MB | 6 月前3 09-harbor助你玩转云原生-邹佳使用Helm Chart和外部高可用服务(数据库,缓存和存储)部署HA的仓库服务 构建高可用(HA)仓库服务 [3] Harbor Operator提供基于K8s集群的all-in-one HA解决方案(也支持使用外部共享服务) Kubernetes Cluster User Defined Namespace Operator Namespace(s) CR: HarborCluster0 码力 | 32 页 | 17.15 MB | 6 月前3
 SBOM 为基础的云原生应用安全治理过度的数据暴露 API4 资源缺失和速度限制 API5 功能级别授权已损坏 API6 批量分配 API7 安全性错误配置 API8 注入 API9 资源管理不当 API10 日志和监控不足 解决方案: • API资产梳理(暴露面、风险分析) • API链路调用威胁阻断 • OWASP API安全 TOP 10(权限控制、注入等) RASP——应用出厂免疫 轻量级探针端 + 统一管控中心0 码力 | 30 页 | 2.39 MB | 1 年前3 SBOM 为基础的云原生应用安全治理过度的数据暴露 API4 资源缺失和速度限制 API5 功能级别授权已损坏 API6 批量分配 API7 安全性错误配置 API8 注入 API9 资源管理不当 API10 日志和监控不足 解决方案: • API资产梳理(暴露面、风险分析) • API链路调用威胁阻断 • OWASP API安全 TOP 10(权限控制、注入等) RASP——应用出厂免疫 轻量级探针端 + 统一管控中心0 码力 | 30 页 | 2.39 MB | 1 年前3
 01. MOSN 高性能网络扩展实践 - 王发康Lua 生态好、能复用现有的 SDK,对于上层 业务处理更合适 扩展方案评估 Envoy 社区讨论 MoE 背景介绍 — 方案分析 结论 综合稳定性、性能、成本、社区生态等因素评估,MoE 解决方案无论在当前阶段还是未来都具备一定优势 NanoVisor Cilium NginxUnit Dragonboat Badger Go with OpenCV etc CGO 是 Go 官方出品0 码力 | 29 页 | 2.80 MB | 1 年前3 01. MOSN 高性能网络扩展实践 - 王发康Lua 生态好、能复用现有的 SDK,对于上层 业务处理更合适 扩展方案评估 Envoy 社区讨论 MoE 背景介绍 — 方案分析 结论 综合稳定性、性能、成本、社区生态等因素评估,MoE 解决方案无论在当前阶段还是未来都具备一定优势 NanoVisor Cilium NginxUnit Dragonboat Badger Go with OpenCV etc CGO 是 Go 官方出品0 码力 | 29 页 | 2.80 MB | 1 年前3
 25-云原生应用可观测性实践-向阳simplify the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 开箱即用的解决方案 Metrics, tracing, and logging 2017.02.21 Peter Bourgon simplify the growing complexity0 码力 | 39 页 | 8.44 MB | 6 月前3 25-云原生应用可观测性实践-向阳simplify the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 开箱即用的解决方案 Metrics, tracing, and logging 2017.02.21 Peter Bourgon simplify the growing complexity0 码力 | 39 页 | 8.44 MB | 6 月前3
共 12 条
- 1
- 2













