24-云原生中间件之道-高磊克服了Calico SDN安全和性能方面的不足 应用透明,全局管理视角,细粒度安全策略,针 对Node层面构建安全,端到端安全需要和以上安 全方案集成。 说说应用基本依赖的四大件:数据库、存储、中间件和大数据 下单服务 交易支付 支付网关 锁定库存 库存数据库 前台类目 商品查询 BFF 商品数据库 文件存储 logging MQ 交易数据库 大数据 营销分析 业务赋能 典型微服务应用 Flexvolume 驱动将应 用服务与底层存储进行衔接,其设计之初 即为 Kubernetes 生态所服务,对容器化应 用的适配非常友好。 高级能力-云原生中间件-应用的基石-MQ为例 云原生消息服务是云原生的通信基础设施 消息中间件在云原生的应用场景,主要是为微服务和EDA架构提供核心的解耦、异步和削峰的能力,在云原生体系 架构中消息服务还发挥着数据通道、事件驱动、集成与被集成等重要作用。云原生倡导面向性能设计,基于消息队 性,从而不需要去建设备份链 路来提高应用的可用性,降低架构的复杂度。只有做到与云一样的可用性,云在服务就在,才能称为真正的云原生服务。 低成本 (Serverless化) 在过去,每家公司自建消息中间件集群,或是自研的、或是开源的,需要投入巨大的研发、运维成本。云原生时代的消息服务借助Serverless等弹 性技术,无需预先Book服务器资源,无需容量规划,采取按量付费这种更经济的模式将大幅度降低成本。0 码力 | 22 页 | 4.39 MB | 6 月前3
Greenplum 分布式数据库内核揭秘VMware, Inc. Agenda 2 - Greenplum 分布式数据库简介 - Greenplum 集群化概述 - 分布式数据存储与多态存储 - 分布式查询优化器与执行器 - Greenplum 中文社区 3 Confidential │ ©2021 VMware, Inc. Greenplum 分布式数据库简介 Features Confidential │ ©2021 算和并行优化功能,兼容 SQL 标准。拥有独 特的高效的 ORCA 优化器,具有强大、高效的 PB 级数据存储、处理和实时分析能力,同时支持 OLTP 型业务的混合负载。 Greenplum 分布式数据库简介 5 Confidential │ ©2021 VMware, Inc. Greenplum 集群化概述 Coordinator/Segment, Primary/Mirror Confidential Greenplum 分布式数据存储与多态存储 Hash/Randomly/Replicated Confidential │ ©2021 VMware, Inc. 8 数据存储分布化是分布式数据库要解决的第一个问题。 通过将海量数据分散到多个节点上,一方面大大降低了单个节点处理的数据量,另一方面也为处理 并行化奠定了基础,两者结合起来可以极大的提高系统的性能。譬如在 100 个节点的集群上,每0 码力 | 31 页 | 3.95 MB | 1 年前3
Go在数据库中间件的应用Go在数据库中间件的应用 基础架构组/刘延允 liuyun827@foxmail.com 2017年9月 1 关于我 • 刘延允——酷狗音乐,基础架构组 • 数据库变更通知服务 • 酷狗消息队列 • 酷狗数据库中间件 • 主要工作:分布式存储、高可用、数据库 • 两年通信设备开发经验,四年互联网 • 五年C/C++使用经验,一年Golang 2 CONTENTS • 程序开发的需求 程序开发的需求 • Golang特性 • Go开发mysql中间件 • 整体方案 • 分表路由 • 故障切换 • 平滑扩容 • 系统运维 3 程序开发的需求 • 语言特性精炼,容易入门 • 开发效率高,代码逻辑清晰 • 运行性能强,节省机器资源 • 部署维护方便 • 生态圈完善 4 Golang特性 • Go语法简练;没有学习压力 • 开发效率高;语言描述能力接近于脚本语言0 码力 | 17 页 | 4.02 MB | 1 年前3
Go 构建大型开源分布式数据库技术内幕Go 搭建大型开源分布式数据库技术内幕 shenli@PingCAP 关于我 ● 申砾 (Shen Li) ● TiDB 技术负责人 ● 网易有道 / 360搜索 / PingCAP ● Infrastructure software engineer 为什么需要一个新的数据库? 从单机数据库到 NewSQL ● 关系型数据库 ● NoSQL ● 中间件 ● NewSQL Processing) ● 24/7 availability, even in case of datacenter outages ● Open source, of course 如何构建分布式数据库? 原则 ● 分层 ● Make it right and make it fast. ● 测试很重要 ● 简单易用 ● 和社区结合 架构 TiKV TiKV TiKV TiKV0 码力 | 44 页 | 649.68 KB | 1 年前3
12-从数据库中间件到云原生——Apache ShardingSphere 架构演进-秦金卫从【数据库中间件】到【云原生】 ——Apache ShardingSphere 架构演进 Apache Dubbo/ShardingSphere PMC 秦金卫(kimmking) 2020-12-04 20:00 云 原 生 学 院 # 1 2 目录 1.数据库框架:从数据库的性能与容量到数据库框架技术的产生 2.数据库中间件:从框架技术到分布式的数据库中间件技术 3.分布式数据库:从数据库中间件技术发展到分布式数据库 分布式数据库:从数据库中间件技术发展到分布式数据库 4.数据库网格:数据库与微服务、云原生的发展关系 5.数据库解决方案:如何基于 ShardingSphere 生态创建数据库解决方案 1.数据库框架 1.数据库框架 摩尔定律失效 分布式崛起 1.数据库框架 随着数据量的增大,读写并发的增加,系统可用性要求的提升,单机 MySQL面临: 1、容量有限,难以扩容 2、读写压力,QPS过大,特别是分析类需求会影响到业务事务 2.数据库中间件 2.数据库中间件 作为中间件,独立部署,对业 务端透明。 任何语言平台的系统都可以接 入,可以使用mysql命令或者 IDE操作。 对业务系统侵入性小。 透明化的引入中间件,像一个数据库一样提供服务能力。 2.数据库中间件 1、框架本身的一些问题; 2、需要单独的资源部署,以及维护; 3、接入端需要实现数据库协议,对非开源数据库无法支持。 数据库中间件使用的约束:0 码力 | 23 页 | 1.91 MB | 6 月前3
高可用与一致性:构建强一致性分布式数据库 TiDB-沈泰宁构建强⼀一致性分布式数据库 TiDB 沈泰宁 R & D Engineer @ PingCAP ⾃自我介绍 ⾃自我介绍 • 沈泰宁 • R&D Engineer @ PingCAP • Maintainer • rust-prometheus • grpc-rs • … ⽬目录 • What is TiDB? • How to test? What is TiDB? Single0 码力 | 45 页 | 4.63 MB | 1 年前3
运维上海2017-分布式数据库系统TiDB在Kubernetes平台的自动化运维实践-邓栓0 码力 | 32 页 | 3.47 MB | 1 年前3
Apache ShardingSphere(Incubating) 云架构演化zhangliang@apache.org) 京东数科-潘娟(email: panjuan@apache.org ) Book Apache 完全开源 Apache的首个分布式数据库中间件 京东主导,多公司参与 应用广泛,已知70+公司的应用案例 发展历程 2015.10 项目启劢 2016.01 正式开源 2016.08 star突破1000 NewSQL 键值数据库 文档数据库 列族数据库 图数据库 …… 分布式数据库 分布式数据库中间件 云数据库 MySQL Oracle PostgreSQL SQLServer …… 分布式数据库中间优势 底层数据库成熟性 增量持续革新 接入与运维成本低 数据库中间件应具备的能力 1 数据分片 2 3 分布式事务 App1 S1 App2 App3 M2 sync read S2 S3 M1 M3 write 引入中间件 App1 M1 App2 App3 S2 M2 M3 S1 S3 数据库中间件 write sync read 拆分策略定制化 行表达式:t_order_$->{uid % 8} 内置规则:hash0 码力 | 37 页 | 3.00 MB | 1 年前3
Apache ShardingSphere 中文文档 5.0.0. 259 已上线业务改造 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260 7.4.3 中间件加密服务优势 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263 7.4.4 加密算法解析 . . . . 用系统,使得架构师更加自由地调整适合与当前业务的最佳系统架构。 1.1. 简介 4 Apache ShardingSphere document, v5.0.0 1.2 解决方案 解决方案/功能 分布式数据库 数据安全 • 数据库网关 * • 全链路压测 * 数据分片 数据加密 异构数据库支持 影子库 读写分离 行级权限(TODO) SQL 方 言 转 换 (TODO) 可观测性 分布式事务 Language)负责资源和规则的查询和展现; • RAL(Resource & Rule Administration Language)负责 Hint、事务类型切换、分片执行计划查询 等管理功能。 3.3.3 目标 打破中间件和数据库之间的界限,让开发者像使用数据库一样使用 Apache ShardingSphere,是 DistSQL 的设计目标。 3.3.4 注意事项 DistSQL 只能用于 Sharding0 码力 | 385 页 | 4.26 MB | 1 年前3
Apache ShardingSphere 中文文档 5.0.0-alpha. . . . 76 解决方案详解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 中间件加密服务优势 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84 加密算法解析 . . . . . . . . 同级目录下生成代码,容易误提交,如何避免? . . . . . . . . . . . . 292 viii 1 概览 星评增长时间线 贡献者增长时间线 Apache ShardingSphere 是一套开源的分布式数据库解决方案组成的生态圈,它由 JDBC、Proxy 和 Sidecar (规划中)这 3 款既能够独立部署,又支持混合部署配合使用的产品组成。它们均提供标准化的数据水平 扩展、分布式事务和分布式治理等功能,可适用于如 致可分为尾数取模、哈希、范围、标签、时间等。由用户方配置的分片策略则更加灵活,可以根据使用方 需求定制复合分片策略。如果配合数据自动迁移来使用,可以做到无需用户关注分片策略,自动由数据 库中间层分片和平衡数据即可,进而做到使分布式数据库具有的弹性伸缩的能力。在 ShardingSphere 的 线路规划中,弹性伸缩将于 4.x 开启。 分片路由 用于根据分片键进行路由的场景,又细分为直接路由、标准路由和笛卡尔积路由这 30 码力 | 301 页 | 3.44 MB | 1 年前3
共 329 条
- 1
- 2
- 3
- 4
- 5
- 6
- 33













