cluster - Deployment - Upgrading - Scaling - Handle network, hardware failures, etc. - Backup/Restore/Data migration - ... TiDB Operator TiDB PingCAP.com Kubernetes Pattern - Declarative Model - or deny it. TiDB Operator 实现 PingCAP.com TiDB Operator Implementation - The tidb-controller-manager - Initialization - Watch objects (Tidb Cluster CR) - Reconcilation - on change of watched CR objects tidb-controller-manager - Flowchart Initialization Watch Objects Start Workers Reconcilation PingCAP.com tidb-controller-manager - Initialization PingCAP.com tidb-controller-manager - Watch Objects

Coprocessor Statistics TiKV DDL Worker GC Worker BG Job Worker Schema Manager Privilege Manager Feedback SQL Data Data Data Data Packet Command Data AST Distributed system testing ● Errors can happen anywhere `d` timestamp NULL DEFAULT NULL ) Row format in TiDB In old days: // Datum is a data box holds different kind of data. // It has better performance and is easier to use than `interface{}`. type Datum Non-effective to do vectorizable serial computation ● So how to optimize it? Apache Arrow ● Binary data format ● Array lengths ● Null count ● Null bitmaps ● Offsets buffer ● Values Array ● More details

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 72 2.3.1 Data types, functions, and operators· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 73 2.3 features· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 74 2.3.5 Data definition language (DDL) · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 75 1 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 78 2.3.10 Data import and export · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 60 2.3.1 Data types, functions, and operators· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 60 2.3 features· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 62 1 2.3.5 Data definition language (DDL) · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 63 2 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 66 2.3.10 Data import and export · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 64 2.3.1 Data types, functions, and operators· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 64 2.3 features· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 66 2.3.5 Data definition language (DDL) · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 67 2 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 70 2.3.10 Data import and export · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 86 2.3.1 Data types, functions, and operators· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 87 2.3 features· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 88 2.3.5 Data definition language (DDL) · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 89 2 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 92 2.3.10 Data import and export · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 90 2.3.1 Data types, functions, and operators· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 91 2.3 features· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 93 2.3.5 Data definition language (DDL) · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 94 2 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 97 2.3.10 Data import and export · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 85 2.3.1 Data types, functions, and operators· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 86 2.3 features· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 88 2.3.5 Data definition language (DDL) · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 89 2 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 92 2.3.10 Data import and export · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 61 2.3.1 Data types, functions, and operators· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 62 2.3 features· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 63 2.3.5 Data definition language (DDL) · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 64 2 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 67 2.3.10 Data import and export · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 61 2.3.1 Data types, functions, and operators· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 61 2.3 features· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 63 2.3.5 Data definition language (DDL) · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 64 1 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 67 2.3.10 Data import and export · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·