12-从数据库中间件到云原生——Apache ShardingSphere 架构演进-秦金卫摩尔定律失效 分布式崛起 1.数据库框架 随着数据量的增大,读写并发的增加,系统可用性要求的提升,单机 MySQL面临: 1、容量有限,难以扩容 2、读写压力,QPS过大,特别是分析类需求会影响到业务事务 3、可用性不足,宕机问题 1.数据库框架 1.数据库框架 计算机领域的任何问题都可以通过增加一个中间层来解决。 数据库框架技术:在业务侧增强数据 库的能力。 直接在业务代码使用。 支持常见的数据库和JDBC。 轻量级,不需要额外的资源和机器。 1.数据库框架 1、改造对业务系统具有较大侵入性; 2、对于复杂的SQL,可能不支持; 3、对于跨库和跨分片的数据,需要额外机制保障一致性; 4、缺乏较好的数据平滑迁移和过渡方案; 5、Java Only(或其他)。 数据库框架使用的约束: 2.数据库中间件 2.数据库中间件 作为中间件,独立部署,对业 务端透明。 任何语言平台的系统都可以接 GaussDB PolarDB OceanBase TiDB Cockroach DB …… 3.分布式数据库 1.水平扩展性 2.计算存储分离 3.分布式事务 4.多副本机制 5.SQL接入支持 6.云原生支持 容量 性能 一致性 可高用 易用性 伸缩性 代替单机数据库(注意,主要解决容量问题)。 3.分布式数据库 1、需要较多的机器资源; 2、对于替换数据库技术的公司,代价较大,放弃多年积累;0 码力 | 23 页 | 1.91 MB | 6 月前3
consul 命令行此标志用于控制服务器是否处于“引导”模式。重要的是,在此模式下,每个数据中 只能运行一台服务器。从技术上讲,允许自举模式的服务器作为Raft领导者自行选举。重要的是只有 个节点处于这种模式; 否则,无法保证一致性,因为多个节点能够自我选择。在引导群集后,建议不 使用此标志。 ● -bootstrap-expect:此标志提供数据中心中预期的服务器数。不应提供此值,或者该值必须与群 中的其他服务器一致。提供 -server:此标志用于控制代理是处于服务器模式还是客户端模式。提供时,代理将充当Consul服 器。每个Consul集群必须至少有一个服务器,理想情况下每个数据中心不得超过5个。所有服务器都 与Raft一致性算法,以确保事务以一致,可线性化的方式发生。事务修改集群状态,该状态在所有服 器节点上维护,以确保节点故障时的可用性。服务器节点还与其他数据中心中的服务器节点一起参与 AN八卦池。服务器充当其他数据中心的网关,并根据需要转发流量。0 码力 | 5 页 | 346.62 KB | 1 年前3
22-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊标准化能力-分布式操作系统核心-容器服务 向上提供抽象化自愈IT运营视角 高效稳定应用资源供给 价值主张 架构 云原生底座=控制器+调度器的组合+Docker=根据环境的变化而动+基于封装 一致性的大规模分发 服务编排基本原理: • 以度量为基础,以NodeSelector算法来 决定在哪儿部署容器服务 • 运行时以期望与实际的差别进行动态调 整到期望的状态 标准化能力-分布式操作系统核心-容器服务-基本技术原理 据、AI、运维场 景等等。 标准化能力-工程能效-DevOps-研发平台和应用传送带 • 提高协作效率和质量(关注的不是部署效率、而是协作研发效率) • 减少变更带来的风险:制品一致性、配置一致性、环境一致性 • 打通研发与运维:谁定义谁负责,平台提供业务OPS工具,减少研发和运维视角割裂带来的高成本 • 可以作为研发人员的唯一工作台,将底层技术收敛到统一平台上,减少企业研发管理成本。 运行态0 码力 | 42 页 | 11.17 MB | 6 月前3
基于Consul的多Beats接入管控与多ES搜索编排资源设置 提交策略 Kibana查日 志 集中管理配置 • 规模化自动化部署Agent • 按业务逻辑划分机器组 • 集中配置,关联机器组 • Agent离线实时感知 • 配置一致性离线分析 • 多beats同时管控 11 当前收益 快 稳 准 • 快速接入(5min) • 配置UI化标准化 • 配置变更实时感知 • 部署全自动化 • 多Beats支持 • Beats运行时cpu/mem可控 Beats运行时cpu/mem可控 • Agent监控视图 • 离线/容量/延时监控 • 分布式集群管理 • 异常快速定位 • 关联公司CMDB • 资源权限管理 • 配置灰度控制发布 • 配置一致性检测 • 日志覆盖率 12 案例:如何管控整个日志数据流相关资源性能与容量? 资源限制 cgroup cpulimit 定时检测 kill nice值 beats优化 缓存设置0 码力 | 23 页 | 6.65 MB | 1 年前3
24-云原生中间件之道-高磊资源成本 等等都需要同时满足(和传统CAP相悖) • 接入层需要能够根据规则的路由,以及兼容各类协议接 口以及数据模型,并能根据应用的规模来自动拓展。 • 实现HTAP(OLTP+OLAP),将在线事务|分析混合计算模型 基础上,实现多模数据模型,使得集成成本经一步降低。 • 计算层,与存储彻底剥离开来,实际是微服务化架构, 可以自由伸缩,并自动故障转移,采用读写分离,适应 高负荷的场景。另外也需要进一步将计算和内存分离出0 码力 | 22 页 | 4.39 MB | 6 月前3
27-云原生赋能 AIoT 和边缘计算、云形态以及成熟度模型之道-高磊合云的属性和特性,也同时具备了支撑 现在应用程序更好在不同云形态部署、 运行的能力。 • 云之间同步服务元数据为相同的服务治 理提供基础,同步镜像,为同一服务拓 展算力提供基础,同步Data,为隔离底 层云分布,在业务上的一致性上提供基 础。 • SLB会根据算力资源需要进行切流。 • 混合云本质是一种资源运用形式,资源 使用地位不对等,以私有云为主体。 控制台 控制台 高级能力-多云(资源角度) 调研机构Gartn0 码力 | 20 页 | 5.17 MB | 6 月前3
23-云原生观察性、自动化交付和 IaC 等之道-高磊如果没有做好配置更改记录,可能带来另外一些重复性操作的风险。另外,随着 虚拟化和云平台的引入,企业的基础设施变得很复杂,也引入了很多工具和平台, 虽然能在基础设施的提供和管理上增加部分效率,但是对于环境的一致性保证以 及在数分钟内实现特定场景下基础设施就绪是很难实现的。因此需要一种全新的 管理方法,而IaC借助了软件开发中的代码管理经验,通过代码描述基础设施的配 置及变更,再执行代码完成配置和变更。 K8S0 码力 | 24 页 | 5.96 MB | 6 月前3
共 7 条
- 1













