efficiently ○ copy files efficiently ● Part 2: ○ psutil ● 第1部分 ○基础的 Unix 概念 ○基础的 Socket 操作 ○高效的传输文件 ○高效的复制文件 ● 第2部分 ○ psutil UNIX concepts (oversimplified) [简单聊聊 Unix 的相关概念] System call / 系统调用 ● A way 系统调用 I/O ● open() ● read() ● write() Processes / 进程 ● fork() ● kill() ● wait() Filesystem / 文件系统 ● chmod() ● mkdir() ● getcwd() Communication / 通信 ● pipe() ● splice() ● mmap() Kernel / 内核 sys 0m1,099s File descriptors 文件描述符 File descriptors / 文件描述符 ● it's a reference to "something" (usually a file) ● it can be mixed with system calls ● 是对文件/套接字等资源的引用 ● 可以和系统调用连用 Print >>> import

Go在数据库中间件的应用 基础架构组/刘延允 liuyun827@foxmail.com 2017年9月 1 关于我 • 刘延允——酷狗音乐，基础架构组 • 数据库变更通知服务 • 酷狗消息队列 • 酷狗数据库中间件 • 主要工作：分布式存储、高可用、数据库 • 两年通信设备开发经验，四年互联网 • 五年C/C++使用经验，一年Golang 2 CONTENTS • 程序开发的需求 平滑上下线Mysql。 • 主备自动切换(主-主模式)。 • 分表设计——按照Hash分表 • 分表设计——按照范围分表(年、月、日、整形) • 数据库表在多个mysql实例间平滑扩容 • 大表拆分为多个子表情况下的平滑扩容 7 系统整体方案 • 现存问题 • 数据库访问基本采用直连方式 • 无法满足数据访问平台化要求 • 配置管理方式落后，运维压力大 • 为什么采用Go来实现 • go诸多优点，可用性高

GPT 与数据库的生态整合 王琦智 PingCAP TiDB 开发者生态高级工程师 目 录 自然语言到 SQL 01 自然语言到图表 02 GPTs 调用数据库 API 03 总结 04 自然语言到SQL OSS Insight 自然语言到图表 Thoughts to insights made easy(with AI) GPTs 调用数据库 API Thank You

第三届中国Rust开发者大会 CnosDB时序数据库的Rust实践 Yongtao Liu CnosDB 研发工程师 Rust China Conf 2023 CnosDB 是一款基于 Rust 开发的 开源的分布式时序数据库 1. CnosDB 架构与选型 2. 为何从 Go 切换到 Rust 3. 使用 Rust 经验分享 4. 反哺社区 linker=$gcc_prefix-gcc 指示rustc采用的C链接器程序 cross 提供了 “零设置” 的交叉编译 rust crate 它提供了一个环境、交叉工具链和交叉编译库，可以生成最便携的二进制文件 3.4 Rust 交叉编译 1. IO 异步化  平台兼容性  隔离阻塞 IO 异步化 2. io_uring  性能有40%提高 3.5 异步 IO

搜索基础架构 从百度文件系统 看大型分布式系统设计 自我介绍 • 颜世光, 专注于大规模分布式系统 • 代表作品 - 百度第三代Spider系统 - 百度文件系统BFS - 万亿量级实时数据库Tera - 集群调度系统Galaxy • 个人主页&Blog - https://github.com/bluebore - http://bluebore.cn 提纲 • 百度文件系统简介 • 分布式系统设计实践 单个集群通常几千台机器 • 百度文件系统(BFS)、集群调度系统（Galaxy）、分布式协 调服务（Nexus）是核心服务 • 实时任务与批量任务混合部署 Galaxy master BFS master Nexus lock service 分布式软件栈中的BFS The Baidu Stack 网络通信框架Sofa-pbrpc 分布式文件系统 BFS 集群调度系统 Galaxy Nexus 分布式数据库 Tera 分布式计算框架 Shuttle Apps(Spider/Index/Search) 数据中心操作系统(DCOS) • 进程调度&内存管理 - Galaxy - 应用部署和任务调度 • 锁和信号量 - Nexus - 分布式锁 - 分布式通知 • 文件系统 - The Baidu File System - 持久化存储 百度文件系统架构 设计一个分布式系统要考虑的

Go 搭建大型开源分布式数据库技术内幕 shenli@PingCAP 关于我 ● 申砾 (Shen Li) ● TiDB 技术负责人 ● 网易有道 / 360搜索 / PingCAP ● Infrastructure software engineer 为什么需要一个新的数据库？ 从单机数据库到 NewSQL ● 关系型数据库 ● NoSQL ● 中间件 ● NewSQL Processing) ● 24/7 availability, even in case of datacenter outages ● Open source, of course 如何构建分布式数据库？ 原则 ● 分层 ● Make it right and make it fast. ● 测试很重要 ● 简单易用 ● 和社区结合 架构 TiKV TiKV TiKV TiKV Raft

新一代分布式高性能图数据库的构建 北京海致星图科技有限公司 2023-06-18 沈游人 数据库与大数据专场 海致简介—企业级知识图谱开创者 专业顶尖技术团队支撑 超 700 人团队，其中 80% 为技术人员，创始团队在完成全球第一个中文知 识图谱网站研发后，探索知识图谱技术在企业领域的应用。 2021 年，海致院 士专家工作站成立，站内清华大学计算机博士生占比达 90% 以上。 高性能图计算是高性能计算、图计算两项技术融合产生的新的技术方向，满足人们对更大规模、更复 杂数据的实时处理和存储需求，是计算机领域竞争新战略制高点。 产学结合、协同创新，打造全球领先的国产自研图数据库 AtlasGraph ，培育世界级的图计算软硬件 生态体系，保持对全球科技竞争的战略均衡。 海致高性能图计算院士专家工作站 海致获得“ 2021 年 CCF 科学技术奖科技进步卓越奖” CCF 操作 生活中无处不在的图 图分析技术分类 图查询 • 使用图数据库的查询语言进行点边搜索 图算法 • 中心性算法 • 社区算法 • 路径算法 • … 图深度学习 • 图嵌入 • 图卷积 • 图注意力网络 • 图自编码器 图查询及其应用场景 图查询 • 使用图数据库的查询语言进行点边的关联查询，可以快速完成传统数据库难以完成的 多度点边关 联 当前图的典型应用场景 路径识别 群体挖掘

构建强⼀一致性分布式数据库 TiDB 沈泰宁 R & D Engineer @ PingCAP ⾃自我介绍 ⾃自我介绍 • 沈泰宁 • R&D Engineer @ PingCAP • Maintainer • rust-prometheus • grpc-rs • … ⽬目录 • What is TiDB? • How to test? What is TiDB? Single

目录 1. Introduction 1.1 2. CmlPHP简介 1.2 3. 初始化一个项目 1.3 4. 入口文件 1.4 5. 项目目录说明 1.5 6. 开发指引 1.6 1. 配置 1.6.1 1. normal.php 1.6.1.1 2. common.php 1.6.1.2 3 数据更新 1.6.6.6 7. 获取上一次更新影响的行数 1.6.6.7 8. 数据删除 1.6.6.8 9. 简 单 的 单 字 段 自 增 ( 多 字 段 参 考 update) 1.6.6.9 10. 简 单 的 单 字 段 自 减 ( 多 字 段 参 考 update) 1.6.6.10 11. 聚合操作 1.6.6.11 12. 事务 21. 队列服务 1.6.21 22. 权限管理 1.6.22 23. 数据验证 1.6.23 24. 验证码 1.6.24 25. 文件上传 1.6.25 26. 数据库迁移 1.6.26 7. 部署 1.7 1. 伪静态配置 1.7.1 1. Apache 1.7.1.1 2. Nginx 1.7

BCOS以联盟链的实际需求为出发点，兼顾性能、安全、可运维性、易用性、可扩展性， 支持多种SDK，并提供了可视化的中间件工具，大幅缩短建链、开发、部署应用的时间。此外，FISCO BCOS通过信通院可信区块链评测功能、性能两项评测，单链TPS可达两万。 1.1 关 关 关键 键 键特 特 特性 性 性 1.2 架 架 架构 构 构 FISCO BCOS 在2.0中，创新性提出“一体两翼多引擎”架构，实现系统吞吐能力的横向扩展，大幅提升性 BCOS还实现了一整套安全解决方案： • 网 网 网络 络 络准 准 准入 入 入机 机 机制 制 制：限制节点加入、退出联盟链，可将指定群组的作恶节点从群组中删除，保障了系 统安全性。 • 黑 黑 黑白 白 白名 名 名单 单 单机 机 机制 制 制：每个群组仅可接收相应群组的消息，保证群组间网络通信的隔离性；CA黑名单机 制可及时与作恶节点断开网络连接，保障了系统安全。 • 权 权 权限 限 限管 管 管理 理 理机 机 Ansible for FISCO BCOS 自 自 自动 动 动化 化 化生 生 生成 成 成企 企 企业 业 业级 级 级部 部 部署 署 署文 文 文件 件 件：本项目由为区块链开源项目 FISCO-BCOS 提供了自动化生成企业级配置文件的 ansible playbook。2 群组 3 机构 6 节点的环境，可以在 30 秒 内（除下载时间）生成配置，极大简化了部署难度，避免了手工配置容易发生的错误。