PingCAP TiDB&TiKV Introduction OLTPMap Reduce HDFS TiDB TiKV NewSQL | TiDB Google Spanner / F1 - The First NewSQL ● 全球级别分布式 / 跨数据中心复制 ○ Paxos ● ACID 事务支持 ○ 两阶段提交 ● 无锁快照读 / 无锁只读事务 ○ MVCC ● External Consistency ○ TrueTime API ● SQL 基于 2013 年 Google Spanner / F1 论文 ● 基于 2014 年 Stanford 工业级分布式一致性协议实现 Raft 论文 概括: 无限水平线性扩展、高并发高吞吐、跨数据中心多活、MySQL 兼容的真正意义上的分布式数据库 ● 我们是全球仅有的在该领域进行技术创新的两家公司之一(对标美国 CockroachDB) ● 完全从头打造,并非基于 MySQL 或数据库中间件进行改造、封装 并发、高吞吐的处理能力 ,卓越的集群处理能力。同时提供跨行事务处理能力。 我们的数据库能解决什么问题 - 2 ● 高可用、跨数据中心多活 分布式算法 Raft 自动完成多副本写入、数据分片(region)的拆分、聚合、重分布 ,从而保证数据高可用,天然支持跨数据中心多活且可配置。 ● 底层数据打通,集中管控 通过增加节点即可获得无限数据存储能力,从架构层面轻松支持多个业务系统 底层数据打通,便0 码力 | 21 页 | 613.54 KB | 6 月前3
Nacos架构&原理
此简单需求,随着业务规模变大也会变的非常复杂。如何能将数据准确的在 3 秒钟之内推送到每⼀ 个计算节点,这是当时提出的⼀个要求,围绕这个要求,系统要做大量的研发和改造,类似的这种 关键的技术挑战点还非常非常的多。本书就是将面对复杂的分布式计算场景,海量并发的业务场景, 对软负载⼀个系统的进行阐述,通过 Nacos 开源分享阿里软负载最佳实践,希望能够帮助到各位开 发者,各位系统架构师,少走弯路。 阿里巴巴云原生应用平台负责人 性,可观测性等分布式系统指标影 响整个分布式系统的运行。历史上,这个系统在阿里也触发过大故障,经历过数次血与火的考验。 在阿里数次架构升级中,Nacos 都做了大量的功能迭代,用来支持阿里的异地多活,容灾演练,容 器化,Serverless 化。Nacos 经过阿里内部锤炼十年以上,各项指标已经及其先进,稳定,为服务 好全球开发者,Nacos 经过数十名工程师持续努力,以开源形式和大家见面,相信 ⼀次配 置要将全部实例重启,不仅增加了系统的不稳定性,也提高了维护的成本。 那么如何能够做到服务不重启就可以修改配置?所有就产生了四个基础诉求: 需要支持动态修改配置 需要动态变更有多实时 变更快了之后如何管控控制变更风险,如灰度、回滚等 敏感配置如何做安全配置 Nacos 架构 < 22 概念介绍 配置(Configuration) 在系统开发过程中通常会将⼀0 码力 | 326 页 | 12.83 MB | 9 月前3
TiDB中文技术文档晰的了解 TiDB DDL 的内部实现机制 TiDB 服务监听 host 默认: “0.0.0.0” TiDB 服务会监听这个 host 0.0.0.0 默认会监听所有的网卡 address。如果有多块网卡,可以指定对外提供服务的网卡,譬如 192.168.100.113 Log 文件 默认: “” 如果没设置这个参数,log 会默认输出到 “stderr”,如果设置了, log 就会输出到对应的文件里面,在每 语句中的表名,如果表 名被重命名,则显示重命名。index 表示索引名。range 表示扫描的数据范围。out of order 表示 index scan 是否按照顺序返回。注意在 TiDB 中,多列或者非 int 列构成的主键是当作唯一索引处理的。 Selection 表示 SQL 语句中的选择条件,通常出现在 WHERE/HAVING/ON 子句中。 Projection 对应 SQL 语句中的 MVCC 管理版本,当更新/删除数据时,不会做真正的数据删除,只会添加一个新版本数据,所以可以保 留历史数据。历史数据不会全部保留,超过一定时间的历史数据会被彻底删除,以减小空间占用以及避免历史版本过 多引入的性能开销。 我们使用周期性运行的 GC (Garbage Collection, 垃圾回收)来进行清理,关于 GC 的详细介绍清参阅 TiDB 垃圾回收 (GC) 这里我们需要重点关注的是 tikv_gc_life_time0 码力 | 444 页 | 4.89 MB | 6 月前3
23-云原生观察性、自动化交付和 IaC 等之道-高磊ISV研发团队 标准化能力-微服务PAAS-OAM-万花筒PAAS-2 阿里和微软在19年发布了一个叫做OAM的规范,这是基于10年云原生道路锤炼得到的自动化交付方案 构建镜像 多区域分发 配置 ApplicationConfiguration Component 微服务 数据库 MQ Cache Trait 灰度 监控告警 弹性扩缩容 高可用 负载均衡 Trait描述了应用在具体部署环境中的运维特征,比如应用的水平扩展的策略和 Ingress 规则,它们在不同的部署环境里却往往有着截然不同的实现方式。 举一 个例子,同样是 Ingress,它在公有云上和本地数据中心的实现完全不同:前者 一般是 SLB 这样的云服务,而后者则可能是一个专门的硬件。这也就意味着针 对两个环境的 Ingress 运维工作,将会有天壤之别。 但与此同时,无论是在哪 个环境里,这个 Ingress OAM使得整体PAAS在通用化的情况下,向多种客户环境交付赋能。 OAM应用实例 从基础设施,到容器运行环境,再到应用都可以加入编排,想要在K8s上编排一切并不是容易的事情,通常一个应用,除了本身的容器之外还有许 多的依赖,常见的依赖有RDS,LB,MNS(SNS,SQS)等这类非容器资源。OAM在使用一体的“编排”语言即可将容器资源和非容器资源定义在一起。 比如要使用AWS的块存储 后续如果某个应用需要存储,可以直接引用。0 码力 | 24 页 | 5.96 MB | 6 月前3
27-云原生赋能 AIoT 和边缘计算、云形态以及成熟度模型之道-高磊• 低代码平台与企业技术 栈的融合能力成为一个 重要的考验指标 • 有的企业系统已经运行 了几十年,拥有自己的 UI 体系、数据库体系和 中台体系,完全更改是 不现实的,低代码平台 要做的是与这么多技术 融合,帮助企业更好地 改进。 • 降本增效是最初级的成 果,如果能够深入企业 业务当中,低代码平台 可以带来的东西会更多。 将业务沉淀抽象化(比如 中台化),向上呈现。 • 低代码平台可以把不同 高级能力-分布式云(交付角度) 分布式云(Distributed Cloud)就是分布在不同地理位置的云,是公有云“进化”的最新形态 中心Region 传统公有云 分布式云 覆盖热点区域的 边缘数据中心 客户本地机房的边缘节点或者 边缘计算盒子 粗犷上云 低时延 高弹性 强合规 云边一体纳管 高级能力-去中心化云(服务角度) 中心Region 数据是一种资产,互联网巨头数据 垄断无法实现数据权益的流动性;因此在面对数字经济 新纪元的到来,需要一个去中心化的云计算平台来解决 这些问题,预计到2022年,每10个字节的数据中,将有 7个字节的数据是没有数据中心的。 综合IDC、麦肯锡报告、华为报告,在2019年,全球中 心化云计算市场规模为2602亿美元,云存储市场为 491.3亿美元;而与之对应的去中心化云存储市场约30 亿美元,去中心化云计算市场约100亿美元。未来,100 码力 | 20 页 | 5.17 MB | 6 月前3
TiDB v8.5 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 566 5.3.7 跨数据中心部署拓扑· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1095 8.5.3 基于多副本的单集群容灾方案 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1326 10.3.4 定位消耗系统资源多的查询· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 13330 码力 | 5095 页 | 104.54 MB | 10 月前3
TiDB v8.4 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 562 5.3.7 跨数据中心部署拓扑· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 842 8.5.3 基于多副本的单集群容灾方案 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1071 10.3.4 定位消耗系统资源多的查询· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 10780 码力 | 5072 页 | 104.05 MB | 10 月前3
TiDB v8.2 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 503 5.3.8 跨数据中心部署拓扑· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 779 8.5.3 基于多副本的单集群容灾方案 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1007 10.3.4 定位消耗系统资源多的查询· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 10130 码力 | 4987 页 | 102.91 MB | 10 月前3
2024 中国开源开发者报告https://huggingface.co/spaces/ zh-ai-community/zh-model-rel ease-heatmap 21 / 111 其中,Qwen 系列凭借灵活的多尺寸选项,强大的多语言支持以及友好的模型授权功能, 赢得了社区开发者的高度评价。DeepSeek 通过引入多头潜在注意力(Multi-head Latent Attention, MLA)技术,在 中国开源模型的发展不仅体现在技术突破上,还在生态建设中展现出巨大的活力。中国开源 模型从竞争激烈的“百模大战”逐步迈向多元化和深度细分,国内社区在今年发布了大量高质量 开源模型,尤其是多模态理解与生成模型: 多模态理解:Qwen2-VL、Ovis、InternVL2、DeepSeek JanusFlow、GOT-OCR2_0; 图片生成:PixArt、Lumina、Kolors、Hunyua 础要素并不为权力机构垄断,大多要从市场上获得。 26 / 111 大模型作为一项令人激动的技术,商业化场景覆盖了对企业(2B)与对个人(2C)两个 大方向。 大模型赛道在海外是“一超多强”,在国内则是“多头并举”,两种典型的竞争格 局都全了。 以上,大模型赛道的元素非常丰富,各种商业化方法的排列组合都不缺,为我们的分析与推 演提供了可贵的素材。对软件商业化问题感兴趣的朋友一定要长期关注这个赛道。只有这样的对0 码力 | 111 页 | 11.44 MB | 8 月前3
sealos 以 kubernetes 为内核的云操作系统作 者 环界云计算创始人 公司代表作品: Sealos 云操作系统 Laf 函数计算 FastGPT AI 知识库 Sealos 介绍 以 kubernetes 为内核的云操作系统 整个数据中心抽象成一台服务器,一切皆应用,让用云像用个人电脑一样简单! Kubernetes是云操作系统内核,整个集群是一个整体 Sealos是云操作系统发行版本 Linux发行版,如redhat Linux mysql/pgsql/mongo/redis 数据 库 • 写代码像写博客一样简单 • AI 自动编码,毫秒级上线,0 运 维 数据库管理 mysql/pgsql/mongo/ redis 等多种数据库 数据库多主架构高 可用 数据库备份恢复, 故障自愈 数据库管理工具, 监控告警 Userlnterface API/CLI/GUI Cilium Gvisor/Containerd OpenEBS LVM 对象存储 计算 储存 网络 kubernetes SaaS服务 30min 1人 一键打包 整体交付 一次建构 到处运行 使用sealos 技术实现 行业 痛点 在公网不可信的环境中提供多 租户共享一个kubernetes集群 的能力, ,如etcd存储, k8s apiserver,对象存储,数 据库等 技术 方案 优势 利用 等技术可做到计算安 全隔离,存储隔离且获得本地0 码力 | 29 页 | 7.64 MB | 9 月前3
共 147 条
- 1
- 2
- 3
- 4
- 5
- 6
- 15













