新一代云原生分布式存储—Curve 上 李小翠 网易数帆存储团队分布式存储介绍 01 存储的发展 | 分布式存储的分类 | 分布式存储的要素 02 03 04 Ceph 架构简介 | 场景介绍 | 使用中的问题 Curve 架构简介 | 数据对比 | 应用情况 FAQ 答疑存储的发展 互联网时代，数据大爆炸 大型主机 成本高 单点问题 扩容困难 各存储设备通过网络互联 各存储设备通过网络互联 大规模 弹性扩容 底层构建在分布式存储之上 云的概念 成本：共用基础设施 弹性：随意扩缩容 速度：更快的构建发布业务 底层构建在分布式存储之上 云原生的概念： 易用性：跨平台，超融合，弹性 小型主机 容量有限分布式存储的分类 按照各种应用场景所需的存储接口分类 对象 存储 文件 存储 块存储 接口为简单的 Get、PUT、DEL 和其他扩展 对指定地址空间进行随机读写 传统意义的块存储：磁盘分布式存储的要素 如何构建分布式文件系统？ 以分布式块存储为例。 •提供大容量的块设备 •可以在指定地址空间内随机读写 write(offset, len) •服务质量要求：数据不能丢、服务随时可用、弹性扩缩容 要什么 •成百上千台存储节点 •磁盘故障、机器故障、网络故障概率性发生 有什么 分布式存储系统需要满足接口需求，并且有持续监控、错误检测、容错与自动恢复的能力

优刻得科技股份有限公司 版权所有 分布式 分布式NewSQL数据库 数据库 TiDB 产品⽂档 2 9 11 12 12 12 12 12 13 14 14 14 14 15 15 16 16 18 ⽬录 ⽬录 ⽬录 ⽬录 概览 概览 什么是 什么是TiDB 产品优势 产品优势 ⾼度兼容 MySQL 动态扩展 分布式事务 HTAP 真正⾦融级⾼可⽤ 适⽤场景 适⽤场景 对数据⼀致性及⾼可靠 Real-time HTAP 场景 数据汇聚、⼆次加⼯处理的场景 真正⾦融级⾼可⽤ UCloud 云上 云上 TiDB 架构⽰意图 架构⽰意图 TiDB TiDB Serverless ⽬录 分布式NewSQL数据库 TiDB Copyright © 2012-2021 UCloud 优刻得 2/120 20 20 21 24 24 25 28 28 28 28 28 29 30 30 32 33 34 Serverless 删除 实例 实例 创建TiDB集群 查看TiDB实例列表 查看TiDB实例详情 删除TiDB实例 ⽤户 ⽤户 添加⽤⼾及权限 重置⽤⼾密码 删除⾮root⽤⼾ ⽬录 分布式NewSQL数据库 TiDB Copyright © 2012-2021 UCloud 优刻得 3/120 38 39 40 40 41 41 43 43 43 46 49 49 52 53 55 57 57

Curve 分布式存储设计 程义 — Curve Maintainer XAgenda 第二 第三 第四 第一 Curve的由来 Curve的设计目标 Curve块存储 和 Curve文件存储 Curve社区Curve的由来 1. 代码复杂/代码量大 2. 运维难度高 3. 无法满足高的性能需求Curve的设计目标 1. Curve云原生软件定义存储 2. Curve块存储 4. 高性能，易运维，云原生Curve块存储 1. 高性能分布式共享数据库场景 2. Curve块存储提供底层分布式共享存储 3. Polardb for PostgreSQL提供上层高性能数 据库服务 4. 性能测试 1. benchmarkSQL 每分钟事务数提升39% 2. pgbench 延迟降低21% TPS提升26% 研究现状Curve块存储 1. 分布式块存储服务 iSCSI协议 4. 容器云块存储(CSI) 应用场景Curve块存储 1. 高可用性/高可靠性 (易运维) 2. RAFT一致性协议 3. CopySet分配算法 4. 拓扑结构 5. 高性能 6. chunkfilepool (降低写放大) 7. data stripe (增大并发) 8. zerocopy 9. 云原生 核心设计Curve块存储 1. physical pool用于实现对机

PingCAP 划时代的 NewSQL 分布式关系型数据库 技术团队 刘奇 | CEO Co-Founder 前京东 / 豌豆荚资深架构师，知名开源分 布式缓存项目 Codis 作者, 国内 Go 语言 社区知名技术领袖之一 黄东旭 | CTO Co-Founder 前微软亚洲研究院 / 网易有道 / 豌豆荚 全栈工程师，架构师， Codis 共同作者, Open Source Hacker，业界知名程序员 LinkedIn 搜索架构师 / Twitter 早期 员工, Tech Lead，分布式搜索数据库 SenseiDB 创始人. CEO/CTO 是分布式计算领域的旗帜性人物和开源社区领袖，同时是国际知名开源项目 Codis 作者。 Codis 是基于 Redis 的分布式集群解决方案， 为用户提供在线弹性伸缩和高性能的缓存服务，该项目 目前已广泛被各大互 联网公司（百度/小米/滴滴/猎豹 等）采用。 背景：应用最为广泛的数据库；能 很好的解决复杂的数据运算及表 间处理；多用于银行、电信等传 统行业复杂业务逻辑场景中，以 Oracle 为代表 • 挑战：成本高，随着数据量增加， 只能通过购买更贵更好的服务器 ；无法线性扩容，海量数据下处 理能力大幅下降 单机关系型（SQL） 分布式非关系型（NoSQL） 分布式关系型（NewSQL） • 背景：随着搜索 / 社交的发展，数 据量爆发增长，传统数据库高成 本，无法线性扩容问题日益突显

2021/07/03 基于 TiDB 的云原生数据库实践 演讲人：王天宜 PingCAP 云 原 生 社 区 M e e t u p 第 四 期 成 都 站 目录 为什么云原生数据库要拥抱 Kubernetes 什么是云原生数据库 TiDB 在 AWS 上的最佳实践 1 CONTENTS 2 3 一、什么是云原生数据库 什么是云原生 2021/07/03 Cloud 为云而生，在云上以最佳形式运行 - 云平台的弹性 + 分布式的优势 云原生的特点 2021/07/03 频繁发布 快速交付 快速反馈 降低发布风险 开发、测试、生产环境高度统 一 自动化部署管道、CI 工具 快速部署到生产环境 开发、运维协同工作 应用通过 rest API 通信 可以被独立部署、更新、 scale 和重启 什么是云原生数据库 2021/07/03 二、为何拥抱

新一代分布式存储系统 Curve 李小翠Curve 是高性能、高可用、高可靠的分布式存储系统 • 高性能、低延迟 • 可支撑储场景：块存储、对象存储、云原生数据库、EC等 • 当前实现了高性能块存储，对接OpenStack和 K8s 网易内部线上无故障稳定运行一年多，线上异常演练 • 已开源 • github主页： https://opencurve.github.io/ • github代码仓库： 多个存储软件：SDFS、NEFS、NBS • 已有的开源软件：Ceph • 不能胜任性能、延迟敏感的场景 • 异常场景抖动较大（比如慢盘场景） • 去中心节点设计在集群不均衡的情况下需要人工运维 • 基于通用分布式存储构建上层存储服务背景 01 02 03 04 总体设计 系统特性 近期规划基本架构 • 元数据节点 MDS 管理元数据信息 收集集群状态信息，自动调度基本架构 • 元数据节点 MDS 1.244 3.2 3.1 0.998 4K随机写 4K随机读 61.12 % 67.8% 测试环境：6台服务器*20块SATA SSD，E5-2660 v4，256G，3副本场景 高性能高性能 • quorum机制：raft • 轻量级快照 • io路径上的优化 • filepool落盘零放大 • 轻量级线性一致性读 • io路径上用户空间零拷贝 10卷4K随机读写IOPS

能做什么？ 要怎么做？ 效果如何？ 一 能做什么？ 数据挖掘 数据分析 数据采集 数据处理 数据可视化 AIGC 数据应用 通过编写爬虫代码、访问数据库、读取文件、调用API等方式，采 集社交媒体数据、数据库内容、文本数据、接口数据等。 通过数据清洗、数据集成、数据变换、特征工程等方式，实 现数据纠错、数据整合、格式转换、特征提取等。 对数据进行诊断、预测、关联、聚类分析，常用于问题 对数据进行诊断、预测、关联、聚类分析，常用于问题 定位、需求预测、推荐系统、异常检测等。 对数据进行分类、社交网络分析或时序模式挖掘，常用 于客户细分、信用评分、社交媒体营销、股价预测等。 将数据转化为统计图、热力图、网络关系图、词云、树形 图等，用于揭示数据中蕴含的模式、趋势、异常和洞见。 本质：以多agent实现从数据采集到可视全流程 模型特点 Claude 3.5 sonnet  平衡性能：在模型大小和 性能之间取得平衡，适合 5均能基于分析结果提供多种可视化图表绘制方案，但都需要依靠运行 Python代码才能完成绘图任务，部分代码会出现错误 Open AI o3mini 能够直接调用DALLE，根据分析结果和任务需求高效绘制各类可视化图 表，部分较为复杂的图表可能出现数据错误或无法生成的情况。 Claude 3.5 sonnet 暂时不能直接绘制出可视图表，需要将绘图 代码复制到本地运行。 Kimi k1.5 结合数据样本和分析结果，提供多种可视化

2024 中国开源开发者报告重点聚焦大模型，本章节以大模 型 LLM 开发技术栈作为切入点，将深入探讨以下中国 AI 大模型领域的代表性开源项目社区。 这些开源项目社区覆盖了深度学习框架、向量数据库、AI辅 助编程、LLM 应用开发框架、模型微调、推理优化、LLM Agent，以及检索增强生成（RAG）等多个关键技术栈。 为了更全面客观地展示中国大模型 LLM 开发技术栈的开源 社区生态，我们使用了 / 111 OSS Compass Insight 生产力-协作开发指数 本部分图表仅用于数据展示，不涉及先后排名 作为国内及业内领先的 AI 开发基础设施，本部分图表 中的开发框架、向量数据库、 开发平台、大模型均表现出 色，代表着它们的代码提交 频率、参与者、代码合并比 率等协作开发工作保持着较 高的水平。 17 / 111 OSS Compass Insight 本部分图表仅用于数据展示，不涉及先后排名 (EMQ) 市场&开发者 社区总监一职。 2004 年，顾钧从北京大学计算机系本科毕业，其后在工商银行、IBM、 摩根士丹利、华为和 Zilliz 等多家知名企业工作。 曾联合发起全球首个开源向量数据库项目 Milvus，并帮助 Milvus 社区 在两年间迅速拓展到两千家企业用户。 29 / 111 大模型撞上“算力墙”，超级应用的探寻之路 文/傅聪 近日，大模型教父 Sam Altman

许进 7 > 推荐序 推荐序 阿里巴巴合伙人 - 蒋江伟（小邪） 随着企业加速数字化升级，越来越多的系统架构采用了分布式的架构，主要目的是为了解决集中化 和互联网化所带来的架构扩展性和面对海量用户请求的技术挑战。这里面其中有⼀个关键点是软负 载。因为整个分布式架构需要有⼀个软负载来协作各个节点之间的服务在线离线状态、数据⼀致性、 以及动态配置数据的推送。这里面最简单的需求就是将⼀个配置准时的推送到不同的节点。即便如 复杂。如何能将数据准确的在 3 秒钟之内推送到每⼀ 个计算节点，这是当时提出的⼀个要求，围绕这个要求，系统要做大量的研发和改造，类似的这种 关键的技术挑战点还非常非常的多。本书就是将面对复杂的分布式计算场景，海量并发的业务场景， 对软负载⼀个系统的进行阐述，通过 Nacos 开源分享阿里软负载最佳实践，希望能够帮助到各位开 发者，各位系统架构师，少走弯路。 阿里巴巴云原生应用平台负责人 - 洪峰考验，沉淀了高性能、 高可用、可扩展的核心能力，2018 年开源后引起了开发者的广泛关注和大量使用。本书也将介绍 Nacos 偏 AP 分布式系统的设计、全异步事件驱动的高性能架构和面向失败设计的高可用设计理念 等。相信开发者阅读后不仅可以更深入了解 Nacos，也有助于提高分布式系统的设计研发能力。 阿里巴巴中间件负责人 - 胡伟琪（白慕） 阿里巴巴在 10 多年分布式应用架构实践过

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 83 3 快速上手 83 3.1 TiDB 数据库快速上手指南· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 96 3.3.2 查看、创建和删除数据库 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 97 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 221 4.4.1 GUI 数据库工具· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·