Go runtime related problems in TiDB production environment About me ● Arthur Mao(毛康力), Senior Engineer@PingCAP ● TiDB core developer (top3 contributor) ● GitBook about golang internals (@tiancaiamao) not exhausted, but where is the bottleneck? Description ● The table is wide in the customer environment ○ CPU usage is higher with less columns ● The deployment does not consider NUMA ○ CPU usage is

Engineer ClickHouse in Production ClickHouse DBMS › Blazing fast › Linearly scalable › Flexible SQL dialect › Store petabytes of data › Fault-tolerant › 1000+ companies using in production › Open-source › Hundreds Database (ClickHouse!) https://github.com/donnemartin/system-design-primer 8 / 97 ClickHouse in Production: Yandex.Metrika › Third web analytics service in the world › Most popular analytics service in processed less than 5 minutes › More than 1000 servers running ClickHouse 9 / 97 ClickHouse in Production: Yandex.Metrika Site visitor Embedded JS HTTP Server Message Broker Daemons Pipeline mt-nano

3.9.6 Core Concept . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 Production Database . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 Shadow Database case . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327 Test environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327 Test engine . . . . Test case configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 328 Environment configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329 Run the test engine

3.9.6 Core Concept . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 Production Database . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 Shadow Database case . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354 Test environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354 Test engine . . . . Test case configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355 Environment configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356 Run the test engine

8.9.6 Core Concept . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 Production Database . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 Shadow Database case . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 491 Test environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 491 Test engine . . . . Test case configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 492 Environment configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493 Run the test engine

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 114 3.1.2 Simulate production deployment on a single machine· · · · · · · · · · · · · · · · 119 3.1.3 What’s next · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 137 3.4.3 Environment preparation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 137 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 635 4.13 Cloud Native Development Environment · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 638 4.13.1 Gitpod · · · · · ·

4.9.4 Core Concept . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 Production Database . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 Shadow Database DB configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293 Shadow DB environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294 Shadow algorithm example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 346 7.8.4 [Proxy] In Windows environment, could not find or load main class org.apache.shardingsphere.proxy.Bootstrap, how to solve it

8.9.6 Core Concept . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 Production Database . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 Shadow Database case . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 462 Test environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 462 Test engine . . . . Test case configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 463 Environment configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 464 Run the test engine

. 64 Shadow DB Switch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 Production DB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 Shadow DB . . DB configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283 Shadow DB environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284 Shadow algorithm example . XA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304 7.7.4 4. [Proxy] In Windows environment, could not find or load main class org.apache.shardingsphere.proxy.Bootstrap, how to solve it

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 119 3.1.2 Simulate production deployment on a single machine· · · · · · · · · · · · · · · · 124 3.1.3 What’s next · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 142 3.4.3 Environment preparation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 142 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 640 4.13 Cloud Native Development Environment · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 643 4.13.1 Gitpod · · · · · ·