TiDB: HBase分布式事务与SQL实现 About me ● TiDB & Codis founder ● Golang expert ● Distributed database developer ● Currentlly, CEO and co-founder of PingCAP liuqi@pingcap.com https://github.com/pingcap/tidb say ? “Nothing is hotter than SQL-on-Hadoop, and now SQL-on- HBase is fast approaching equal hotness status” Form HBaseCon 2015 We want more ! SQL + Transaction(ACID) TiDB Features Let’s talk about SQL How does TiDB map SQL to KV User table RowID(hidden column) name email 1 bob bob@gmail.com Inside TiDB，each table, column has an unique ID How to map SQL to KV Let assume

第三届中国Rust开发者⼤会 ⽤ egg 孵化你的 SQL 优化器 王润基 RisingWave 内核开发⼯程师 ? Parser Binder Optimizer Executor SQL AST Logical Plan Physical Plan Table Catalog Storage RisingLight 查询引擎的整体结构 SELECT name, url url FROM t1 JOIN t2 WHERE t1.id = t2.id AND name = ‘Bob’ SQL Logical Plan Physical Plan Projection name, url Filter t1.id = t2.id name = “Bob” Join Scan t1(id, name) Scan t2(id, url) Filter #1 = “Bob” Hash Join #0 = #2 Scan $1.1, $1.2 Scan $2.1, $2.2 Projection #1, #3 ⼀个 SQL 语句优化的例⼦ 基于规则的优化 (RBO) 基于代价的优化 (CBO) 谓词下推 Join Filter A B Join Filter A B Filter Join A Join

阿里云 AnalyticDB for PostgreSQL - 打造更简单易用的Cloud SQL Data Warehouse 个人介绍 缪长风 ⚫ 2010年初加入支付宝，负责Oracle RAC和Greenplum数据仓库 ⚫ 有幸参与了Oracle RAC到 Greenplum再到Hadoop以及最终到 ODPS的架构演进工作。 ⚫ 2012年起，转至阿里巴巴大数据团队，负责Hbase/OTS业务支 构筑在线企业数据仓库。 • 应用易开发、适配 支持SQL 2003，部分兼容Oracle语法， 支持PL/SQL 存储过程，OLAP窗口函数，事务及数据库标准隔离级别 完备功能和生态，实现应用快速迁移或适配 • PB级数据秒级响应 MPP水平扩展架构，PB级数据查询秒级响应；向量化计算，及列存储智能索引，领先传统数据库引擎性能 3x； 新一代SQL优化器，实现复杂分析语句免调优 • 支持多模分析 库内置100+ 机器学习算法库，实现数据智能探索；高性 能向量检索算法，支持视频/图像检索 以图搜图 AnalyticDB for PostgreSQL 产品架构 协调节点 OSS 分布式云存储服务 SQL Client/BI Tools 协调节点（Master Node） • 接收请求，制定分布式执行计划 计算组（Compute Groups） • 全并行分析计算 • 数据双副本存储 • 定期自动备份

可视化查询创建工具助你创建,编辑和运行查询, 而不必担心语法和正确命令的用法。透过关键字建 议和减少重复输入相同的代码, 自动完成代码和自定义的代码段功能可让编码更加快速我们的调 试组件能快速寻找和更正 PL/SQL 和 PL/PGSQL 编码时的错误, 你可设置断点, 逐步运行程序, 查看 和修改变量值, 以及检查调用堆栈。 智能数据库设计器 使用我们的专业对象设计器创建、修改和管理所有数据库对象。精密的数据库设计和模型创建工具 提供全面的功能, 可生成大量高质的测试数据。你可以根据业务规则和约束快速创建具有参照完整 性的真实数据集。 六二 AB 强大的本地备份或 决方案和用于 MongoDump、Oracle 数据泵或 SQL Server 备份实用工具 的直观界面能引导你完成整个备份进程, 并减少发生错误的机会。为可重复的部署进序 (如数据库备 份.MapReduce 工作和芜本运行) 设轩于特定时间或日期生动运行。无论你身处何地

准备导出 查看已经导出的文件 导入 Mysql 分别导入 user.sql / detail.sql / email.sql / login.sql / pwd.sql / sign.sql / staff.sql 测试登陆

Windows环境下使用SQLite 解压 命令行下打开此程序 SQLite Shell SQLite Shell是一个命令行工 具，可以用它来创建和存取 SQLite数据库。 SQLite Shell支持SQL标准命 令，以及SQLite扩展的命令 SQLite的GUI工具 https://sqlitebrowser.org/ 下载DB Browser安装程序 https://sqlitebrowser SQLite数据放到单独的一个文件中，只要能访问到这个文件并 且具备读写权限，App就能向其中存取数据。 SQLite Shell是官方提供的命令行工具，可以通过它访问 SQLite数据库文件，执行各种SQL命令，可用于学习与掌握 SQLite，但在实际开发中其实很少用它。 创建数据库 sqlite3 数据库文件名 在SQLite数据库中，每个数据库保存在一个独立的文件中，使 用“sqlite3” 使用insert命令插入数据，select命令查询插入的数据。 对于无效的SQL命令，SQLite会拒绝执行并报告错误， 然后回滚可能执行了一半的修改，以保证数据库始终处 于一种有效的状态。 删除与修改数据 使用delete命令删除记录，使用update命令更新特定记录中 的指定字段值 数据修改己成功！ 小结 SQLite是典型的关系型数据库，虽然它的功能不如SQL Server、 Oracle之类商用数据库那样强大，但基本的数据处理功能都支持。

问题背景 ◊ 常规做法 ◊ 数据备份 ◊ Repair Kit ◊ 组合方案 SQLite 恢复 ◊ .dump 命令 ◊ 来自 SQLite 命令行工具 ◊ 整个 DB 输出为 SQL 语句 常规做法 .dump 输出 ◊ 打开损坏 DB 后使用 ◊ 遇到错误前一直输出 ◊ 遇到错误，跳到下一个表 .dump 用于恢复 ◊ 成功率仅 ~30% ◊ 打不开 DB ◊ 列 说明 type B-tree 类型（table / index） name 表名 / 索引名 tbl_name 索引对应的表名 root_page B-tree 根节点 Page 号 sql CREATE TABLE / CREATE INDEX 语句 初始化流程 打开文件 读取 Salt，根据密钥生成 Key 解码 Page 1，读取 Header 解析 sqlite_master，生成 Key 解码 Page 1，读取 Header 解析 sqlite_master，生成 Schema Salt 【用于正确解密】 Page Size 【正确划分Page】 root_page、SQL 【正确访问表数据】 ◊ 序列化备份关键数据 ◊ 时机： Schema 改变时 ◊ 内容： KDF Salt、PageSize、sqlite_master ◊ 开销： 12 kB、10 ms

4.表单 4.1 处理表单的输入 4.2 验证表单的输入 4.3 预防跨站脚本 4.4 防止多次递交表单 4.5 处理文件上传 4.6 小结 5.访问数据库 5.1 database/sql接口 5.2 使用MySQL数据库 5.3 使用SQLite数据库 5.4 使用PostgreSQL数据库 5.5 使用beedb库进行ORM开发 5.6 NOSQL数据库操作 5.7 小结 6.session和数据存储 Socket编程 8.2 WebSocket 8.3 REST 8.4 RPC 8.5 小结 9.安全与加密 9.1 预防CSRF攻击 9.2 确保输入过滤 9.3 避免XSS攻击 9.4 避免SQL注入 9.5 存储密码 9.6 加密和解密数据 9.7 小结 10.国际化和本地化 10.1 设置默认地区 10.2 本地化资源 10.3 国际化站点 4 10.4 小结 11.错误处理，调试和测试 别名操作的话调用包函数时前缀变成了我们的前缀，即f.Println("hello world") 3. _操作 这个操作经常是让很多人费解的一个操作符，请看下面这个import import ( "database/sql" _ "github.com/ziutek/mymysql/godrv" ) _操作其实是引入该包，而不直接使用包里面的函数，而是调用了该包里面的init函数。 links links