TiDB中文技术文档Bit-value Literals Boolean Literals Date 和 Time 字面值 十六进制的字面值 NULL Values 数值字面值 字符串字面值 TiDB 用户文档 高级功能 历史数据回溯 垃圾回收 (GC) TiDB Ansible 常见运维操作 TiDB 运维文档 Try TiDB - 3 - 本文档使用 书栈(BookStack.CN) 构建 TiDB 运维文档 软硬件环境需求 实用工具语句 TiDB SQL 语法图 JSON 支持 Connectors 和 API TiDB 事务隔离级别 错误码与故障诊断 与 MySQL 兼容性对比 TiDB 内存控制 高级功能 历史数据回溯 垃圾回收 (GC) TiDB 运维文档 软硬件环境需求 部署集群 Ansible 部署方案(强烈推荐) 离线 Ansible 部署方案 Docker 部署方案 Docker Compose 部署方案 可以包括 . 作为小数点分隔,数字前可以有 - 或者 + 来表示正数或者负数。 精确数值字面值可以表示为如下格式: 1, .2, 3.4, -5, -6.78, +9.10 . 科学记数法也是被允许的,表示为如下格式: 1.2E3, 1.2E-3, -1.2E3, -1.2E-3 。 更多细节。 NULL 代表数据为空,它是大小写不敏感的,与 \N (大小写敏感) 同义。 需要注意的是0 码力 | 444 页 | 4.89 MB | 6 月前3
百度智能云 Apache Doris 文档百度智能云文档 SQL手册 44 Keywords Keywords 最佳实践 最佳实践 1. 从指定位置重新消费数据 某些情况下,用户希望能够重新指定消费位置并重新消费数据,比如一些数据回溯等场景。此时可以先将当前需要修改的例 行导入作业暂停。然后通过这个命令修改offset,再重启这个作业即可。 DDL CREATE-FILE CREATE FILE CREATE FILE - 1 范围:-2^127 + 1 ~ 2^127 - 1 FLOAT(4字节) FLOAT(4字节) 支持科学计数法 支持科学计数法 DOUBLE(12字节) DOUBLE(12字节) 支持科学计数法 支持科学计数法 DECIMAL[(precision, scale)] (16字节) DECIMAL[(precision, scale)] (16字节) 1 ~ 27 scale: 0 ~ 9 scale: 0 ~ 9 其中整数部分为 1 ~ 18 其中整数部分为 1 ~ 18 不支持科学计数法 不支持科学计数法 DATE(3字节) DATE(3字节) 范围:0000-01-01 ~ 9999-12-31 范围:0000-01-01 ~ 9999-12-31 DATETIME(8字节)0 码力 | 203 页 | 1.75 MB | 1 年前3
Apache Doris 在美团外卖数仓中的应用实践com 所得的应用场景,美团平台使用Kylin作为公司的主要MOLAP引擎。MOLAP是预计算生产,在增 量业务,预设维度分析场景下表现良好,但在变化维的场景下生产成本巨大。例如,如果使用最 新商家类型回溯商家近三个月的表现,需要重新计算三个月的Cube,需花费几个小时,来计算近 TB的历史数据。另外,应对非预设维度分析,MOLAP模型需要重新进行适配计算,也需要一定的 迭代工作。 明细数据的交互 业务生产方式中,历史数据的回溯失去了参考意义。在所有展现组织机构数据的业务场景中,组 织机构的变化是一个绕不开的技术问题。此外,商家品类、类型等其它维度也存在变化维的问题 。如下图所示: 数据生产面临的挑战 数据爆炸,每日使用最新维度对历史数据进行回溯计算。在Kylin的MOLAP模式下存在如下问题: 历史数据每日刷新,失去了增量的意义。 每日回溯历史数据量大,10亿+的历史数据回溯。 数据计算耗时3 数据计算耗时3小时+,存储1TB+,消耗大量计算存储资源,同时严重影响SLA的稳定性。 预计算的大量历史数据实际使用率低下,实际工作中对历史的回溯80%集中在近1个月左 右,但为了应对所有需求场景,业务要求计算近半年以上的历史。 不支持明细数据的查询。 解决方案:引入MPP引擎,数据现用现算 既然变化维的历史数据预计算成本巨大,最好的办法就是现用现算,但现用现算需要强大的并行 计算能力。OLAP的实现有MO0 码力 | 8 页 | 429.42 KB | 1 年前3
TiDB v7.6 中文手册提供了更加强大和精确的闪回功能 FLASHBACK CLUSTER,不仅支持回溯到过去指定的时间点, 还可以通过 FLASHBACK CLUSTER TO TSO 精确地指定要恢复的TSO 时间戳,实现更加灵活的数据恢复。例 如,与 TiCDC 结合使用时,该功能允许下游 TiDB 集群在暂停数据同步、开启预上线读写测试后,快速且 优雅地回溯到暂停同步时的 TSO 时间戳,并继续通过 TiCDC 同步数据,从而简化了预上线验证流程和数 +----+--------------+---------+ 4.8.1.2.1 开启事务 要显式地开启一个新事务,既可以使用 BEGIN 语句,也可以使用 START TRANSACTION 语句,两者效果相同。语 法: BEGIN; START TRANSACTION; TiDB 的默认事务模式是悲观事务,你也可以明确指定开启乐观事务: BEGIN OPTIMISTIC; 开启悲观事务: BEGIN PESSIMISTIC; 都是开源项目,你可以享受到零供应商锁定的好处。 4.13.3.3 部署架构 将 ProxySQL 与 TiDB 集成的最直接方式是在应用层和 TiDB 之间添加 ProxySQL 作为独立中介。但是,这种方式无 法保证可扩展性和容错性,而且可能因为网络跳转而增加延迟。为避免这些问题,一种替代部署架构是将 ProxySQL 作为附属容器部署,如下图所示: 444 图 31: proxysql-client-side-tidb-cloud0 码力 | 4666 页 | 101.24 MB | 1 年前3
2. Clickhouse玩转每天千亿数据-趣头条业务背景 • 集群现状 • 我们遇到的问题 业务背景 基于storm的实时指标的计算存在的问题 1:指标口径(SQL) -> 实时任务 2:数据的回溯 3:稳定性 业务背景 什么是我们需要的? 1:实时指标SQL化 2:数据方便回溯,数据有问题,方便恢复 3:运维需要简单 4:计算要快,在一个周期内,要完成所有的指标的计算 集群现状 100+台32核128G 部分复杂累时查询30S内完成0 码力 | 14 页 | 1.10 MB | 1 年前3
TiDB v6.1 中文手册Performance Overview 面板,提供系统级别的总体性能诊断入口。 Performance Overview 是 TiDB 监控 Grafana 可视化组件中的一个新增面板,基于数据库时间分析法和颜色 优化法,按照自上而下的性能分析方法论对 TiDB 的性能指标做了重新梳理,为 TiDB 用户提供一个系统 级别的总体性能诊断入口。通过 Performance Overview 面板,你可以直观地看到整个系统的性能瓶颈在哪 MySQL 协议兼容,因此,需要初始化一个 MySQL 协议的数据源 db, err := sql.Open("mysql", dsn),以此连接到 TiDB。并在其后,调用 dao.go 中的一系列方 法,用来管理数据对象,进行增删改查等操作。 package main import ( "database/sql" "fmt" _ "github.com/go-sql-driver/mysql" +----+--------------+---------+ 4.8.1.2.1 开启事务 要显式地开启一个新事务,既可以使用 BEGIN 语句,也可以使用 START TRANSACTION 语句,两者效果相同。语 法: BEGIN; START TRANSACTION; TiDB 的默认事务模式是悲观事务,你也可以明确指定开启乐观事务: BEGIN OPTIMISTIC; 开启悲观事务: BEGIN PESSIMISTIC;0 码力 | 3572 页 | 84.36 MB | 1 年前3
TiDB v8.0 中文手册MARKER 选项, 支持标 记日志 信息。 44 变量名 修改类型 描述 div_ �→ precision �→ _ �→ increment �→ 新增 用于指 定使用 运算符 / 执行除 法操作 时,结 果增加 的小数 位数。 该功能 与 MySQL 保持一 致。 tidb_dml_ �→ type 新增 设置 DML 语 句的执 行方式, 可选值 为 " �→ standard �→ 没有监听对应端口的问题 #51473 @hawkingrei – 修复在 determinate 模式下 (tidb_opt_objective='determinate'),如果查询不包含谓词,可能无 法加载统计信息的问题 #48257 @time-and-fate – 修复 init-stats 流程可能导致 TiDB panic 以及 load stats 流程直接退出的问题 #51581 @hawkingrei +----+--------------+---------+ 4.8.1.2.1 开启事务 要显式地开启一个新事务,既可以使用 BEGIN 语句,也可以使用 START TRANSACTION 语句,两者效果相同。语 法: BEGIN; START TRANSACTION; TiDB 的默认事务模式是悲观事务,你也可以明确指定开启乐观事务: BEGIN OPTIMISTIC; 开启悲观事务: BEGIN PESSIMISTIC;0 码力 | 4805 页 | 101.28 MB | 1 年前3
TiDB v8.1 中文手册+----+--------------+---------+ 4.8.1.2.1 开启事务 要显式地开启一个新事务,既可以使用 BEGIN 语句,也可以使用 START TRANSACTION 语句,两者效果相同。语 法: BEGIN; START TRANSACTION; TiDB 的默认事务模式是悲观事务,你也可以明确指定开启乐观事务: BEGIN OPTIMISTIC; 开启悲观事务: BEGIN PESSIMISTIC; 都是开源项目,你可以享受到零供应商锁定的好处。 4.13.3.3 部署架构 将 ProxySQL 与 TiDB 集成的最直接方式是在应用层和 TiDB 之间添加 ProxySQL 作为独立中介。但是,这种方式无 法保证可扩展性和容错性,而且可能因为网络跳转而增加延迟。为避免这些问题,一种替代部署架构是将 ProxySQL 作为附属容器部署,如下图所示: 433 图 31: proxysql-client-side-tidb-cloud 部分,保证后缀为同样 长度。 594 6.4.7.3 第 2 步:创建目标表结构 CSV 文件自身未包含表结构信息。要将 CSV 数据导入 TiDB,就必须为数据提供表结构。可以通过以下任一方法 创建表结构: • 方法一:使用 TiDB Lightning 创建表结构。 编写包含 DDL 语句的 SQL 文件如下: – 文件名格式为 ${db_name}-schema-create.sql,其内容需包含0 码力 | 4807 页 | 101.31 MB | 1 年前3
TiDB v8.4 中文手册crypter �→ .key 不 需要配置。 56 配置文件 或组件 配置项 修改类型 描述 BR --log. �→ crypter �→ . �→ method 新增 设置日志 备份数据 的加密算 法,支持 aes128- �→ ctr、 aes192- �→ ctr 和 aes256- �→ ctr 三 种算法, 缺省值为 plaintext, 表示不加 密。 BR --master- +----+--------------+---------+ 4.9.1.2.1 开启事务 要显式地开启一个新事务,既可以使用 BEGIN 语句,也可以使用 START TRANSACTION 语句,两者效果相同。语 法: BEGIN; START TRANSACTION; TiDB 的默认事务模式是悲观事务,你也可以明确指定开启乐观事务: BEGIN OPTIMISTIC; 开启悲观事务: BEGIN PESSIMISTIC; 都是开源项目,你可以享受到零供应商锁定的好处。 4.14.3.3 部署架构 将 ProxySQL 与 TiDB 集成的最直接方式是在应用层和 TiDB 之间添加 ProxySQL 作为独立中介。但是,这种方式无 法保证可扩展性和容错性,而且可能因为网络跳转而增加延迟。为避免这些问题,一种替代部署架构是将 ProxySQL 作为附属容器部署,如下图所示: 504 图 32: proxysql-client-side-tidb-cloud0 码力 | 5072 页 | 104.05 MB | 10 月前3
TiDB v8.5 中文手册crypter �→ .key 不 需要配置。 61 配置文件 或组件 配置项 修改类型 描述 BR --log. �→ crypter �→ . �→ method 新增 设置日志 备份数据 的加密算 法,支持 aes128- �→ ctr、 aes192- �→ ctr 和 aes256- �→ ctr 三 种算法, 缺省值为 plaintext, 表示不加 密。 BR --master- +----+--------------+---------+ 4.9.1.2.1 开启事务 要显式地开启一个新事务,既可以使用 BEGIN 语句,也可以使用 START TRANSACTION 语句,两者效果相同。语 法: BEGIN; START TRANSACTION; TiDB 的默认事务模式是悲观事务,你也可以明确指定开启乐观事务: BEGIN OPTIMISTIC; 开启悲观事务: BEGIN PESSIMISTIC; 都是开源项目,你可以享受到零供应商锁定的好处。 4.14.3.3 部署架构 将 ProxySQL 与 TiDB 集成的最直接方式是在应用层和 TiDB 之间添加 ProxySQL 作为独立中介。但是,这种方式无 法保证可扩展性和容错性,而且可能因为网络跳转而增加延迟。为避免这些问题,一种替代部署架构是将 ProxySQL 作为附属容器部署,如下图所示: 508 图 32: proxysql-client-side-tidb-cloud0 码力 | 5095 页 | 104.54 MB | 10 月前3
共 47 条
- 1
- 2
- 3
- 4
- 5













