Go runtime related problems in TiDB production environment About me ● Arthur Mao(毛康力), Senior Engineer@PingCAP ● TiDB core developer (top3 contributor) ● GitBook about golang internals (@tiancaiamao) not exhausted, but where is the bottleneck? Description ● The table is wide in the customer environment ○ CPU usage is higher with less columns ● The deployment does not consider NUMA ○ CPU usage is

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 114 3.1.2 Simulate production deployment on a single machine· · · · · · · · · · · · · · · · 119 3.1.3 What’s next · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 137 3.4.3 Environment preparation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 137 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 635 4.13 Cloud Native Development Environment · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 638 4.13.1 Gitpod · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 119 3.1.2 Simulate production deployment on a single machine· · · · · · · · · · · · · · · · 124 3.1.3 What’s next · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 142 3.4.3 Environment preparation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 142 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 640 4.13 Cloud Native Development Environment · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 643 4.13.1 Gitpod · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 99 3.1.2 Simulate production deployment on a single machine· · · · · · · · · · · · · · · · 104 3.1.3 What’s next · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 121 3.4.3 Environment preparation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 121 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 555 4.12 Cloud Native Development Environment · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 557 4.12.1 Gitpod · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 88 3.1.2 Simulate production deployment on a single machine· · · · · · · · · · · · · · · · 92 3.1.3 What’s next · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 109 3.4.3 Environment preparation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 109 requirements · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 123 4.2 TiDB Environment and System Configuration Check · · · · · · · · · · · · · · · · · · · · · 123 4.2.1 Mount the data

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 107 3.1.2 Simulate production deployment on a single machine· · · · · · · · · · · · · · · · 111 3.1.3 What’s next · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 129 3.4.3 Environment preparation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 129 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 561 4.12 Cloud Native Development Environment · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 564 4.12.1 Gitpod · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 86 3.1.2 Simulate production deployment on a single machine· · · · · · · · · · · · · · · · 91 3.1.3 What’s next · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 109 3.4.3 Environment preparation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 109 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 542 4.12 Cloud Native Development Environment · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 545 4.12.1 Gitpod · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 73 3.1.2 Simulate production deployment on a single machine· · · · · · · · · · · · · · · · 77 3.1.3 What’s next · · · · · · requirements · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 99 4.2 TiDB Environment and System Configuration Check · · · · · · · · · · · · · · · · · · · · · 99 4.2.1 Mount the data features of TiDB in different versions. It is NOT recommended to use these features in the production environment. 2.4.1 Performance • Randomly sample about 10000 rows of data to quickly build statistics

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 84 3.1.2 Simulate production deployment on a single machine· · · · · · · · · · · · · · · · 88 3.1.3 What’s next · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 104 3.4.3 Environment preparation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 105 requirements · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 119 4.2 TiDB Environment and System Configuration Check · · · · · · · · · · · · · · · · · · · · · 119 4.2.1 Mount the data

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 113 3.1.2 Simulate production deployment on a single machine· · · · · · · · · · · · · · · · 118 3.1.3 What’s next · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 134 3.4.3 Environment preparation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 135 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 475 4.12 Cloud Native Development Environment · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 481 4.12.1 Gitpod · · · · · ·