Go runtime related problems in TiDB production environment About me ● Arthur Mao(毛康力), Senior Engineer@PingCAP ● TiDB core developer (top3 contributor) ● GitBook about golang internals (@tiancaiamao) not exhausted, but where is the bottleneck? Description ● The table is wide in the customer environment ○ CPU usage is higher with less columns ● The deployment does not consider NUMA ○ CPU usage is

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 137 3.4.3 Environment preparation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 137 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 635 4.13 Cloud Native Development Environment · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 638 4.13.1 Gitpod · · · · · · architecture · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 706 5.2 TiDB Environment and System Configuration Check · · · · · · · · · · · · · · · · · · · · · 709 5.2.1 Mount the data

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 142 3.4.3 Environment preparation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 142 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 640 4.13 Cloud Native Development Environment · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 643 4.13.1 Gitpod · · · · · · architecture · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 711 5.2 TiDB Environment and System Configuration Check · · · · · · · · · · · · · · · · · · · · · 714 5.2.1 Mount the data

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 121 3.4.3 Environment preparation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 121 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 555 4.12 Cloud Native Development Environment · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 557 4.12.1 Gitpod · · · · · · architecture · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 625 5.2 TiDB Environment and System Configuration Check · · · · · · · · · · · · · · · · · · · · · 628 5.2.1 Mount the data

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 109 3.4.3 Environment preparation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 109 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 542 4.12 Cloud Native Development Environment · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 545 4.12.1 Gitpod · · · · · · architecture · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 613 5.2 TiDB Environment and System Configuration Check · · · · · · · · · · · · · · · · · · · · · 616 5.2.1 Mount the data

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 104 3.4.3 Environment preparation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 105 requirements · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 119 4.2 TiDB Environment and System Configuration Check · · · · · · · · · · · · · · · · · · · · · 119 4.2.1 Mount the data · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 421 8.2.3 Related system variables· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 423 8.2.4 Memory

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 115 3.4.3 Environment preparation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 115 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 554 4.12 Cloud Native Development Environment · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 557 4.12.1 Gitpod · · · · · · architecture · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 625 5.2 TiDB Environment and System Configuration Check · · · · · · · · · · · · · · · · · · · · · 628 5.2.1 Mount the data

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 112 3.4.3 Environment preparation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 112 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 551 4.12 Cloud Native Development Environment · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 554 4.12.1 Gitpod · · · · · · architecture · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 622 5.2 TiDB Environment and System Configuration Check · · · · · · · · · · · · · · · · · · · · · 625 5.2.1 Mount the data

requirements · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 99 4.2 TiDB Environment and System Configuration Check · · · · · · · · · · · · · · · · · · · · · 99 4.2.1 Mount the data · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 385 8.2.3 Related system variables· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 388 8.2.4 Memory · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1262 12.4 System Variables · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 109 3.4.3 Environment preparation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 109 requirements · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 123 4.2 TiDB Environment and System Configuration Check · · · · · · · · · · · · · · · · · · · · · 123 4.2.1 Mount the data · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 515 8.2.3 Related system variables· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 517 8.2.4 Memory