Pepabo, Inc. 2019.07.25 GopherCon 2019 Optimization for number of goroutines using feedback control Principal engineer Yusuke MIYAKE @monochromegane Pepabo R&D Institute, GMO Pepabo, Inc. https://blog Selection of performance metrics 2. Finding how to control rapidly and continuously Performance metrics Performance metrics �29 • Independent resource type which task use. • e.g.: CPU usage, Throughput number of goroutines based on the metrics • Continuously • Rapidly • Accurately • Feedback control meets these conditions. • Tracking a given set-point using errors from the set-point. • Applying

that take a user-suppiled lambda to generate the data needed to render our desired compile-time resource! These are e�ectively templated functions, but we will use the cleaner auto parameter syntax for

Stream Processing and Analytics Vasiliki (Vasia) Kalavri
 vkalavri@bu.edu Spring 2020 4/09: Flow control and load shedding ??? Vasiliki Kalavri | Boston University 2020 Keeping up with the producers what if the queue grows larger than available memory? • block the producer (back-pressure, flow control) 2 ??? Vasiliki Kalavri | Boston University 2020 Load management approaches 3 ! Load shedder stabilize. • Requires a persistent input source. • Suitable for transient load increase. Scale resource allocation: • Addresses the case of increased load and additionally ensures no resources are

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · 754 5.4.2 Step 2. Deploy TiUP on the control machine · · · · · · · · · · · · · · · · · · · · · · 754 5.4.3 Step 3. Initialize cluster topology TiCDC to Kafka become higher and higher?1206 7.7.12 When TiCDC replicates data to Kafka, can I control the maximum size of a single message in TiDB? · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1400 8.6 Use Resource Control to Achieve Resource Isolation · · · · · · · · · · · · · · · · · · · · · · 1402 8.6.1 Scenarios for resource control· · · · · · · · · · · · · · · · · ·

· · · · · · · · 1101 9 8.6 Use Resource Control to Achieve Resource Isolation · · · · · · · · · · · · · · · · · · · · · · 1103 8.6.1 Scenarios for resource control· · · · · · · · · · · · · · · · · · · · · · · · 1105 8.6.4 Parameters for resource control · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1106 8.6.5 How to use resource control · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1107 8.6.6 Disable resource control · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1118 8.6.7 View RU consumption· · · · · · · ·

· · · · · · · · · · · 974 8.5 Use Resource Control to Achieve Resource Isolation · · · · · · · · · · · · · · · · · · · · · · 976 8.5.1 Scenarios for resource control· · · · · · · · · · · · · · · · · · · · · · · · 978 8.5.4 Parameters for resource control · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 979 8.5.5 How to use resource control · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 980 8.5.6 Disable resource control · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 990 8.5.7 View RU consumption· · · · · · · · · ·

· · · · · · · · · · · 961 8.5 Use Resource Control to Achieve Resource Isolation · · · · · · · · · · · · · · · · · · · · · · 963 8.5.1 Scenarios for resource control· · · · · · · · · · · · · · · · · · · · · · · · 965 8.5.4 Parameters for resource control · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 966 8.5.5 How to use resource control · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 967 8.5.6 Disable resource control · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 977 8.5.7 View RU consumption· · · · · · · · · ·

· · · · · · · · · · 1016 8.6 Use Resource Control to Achieve Resource Isolation · · · · · · · · · · · · · · · · · · · · · · 1018 8.6.1 Scenarios for resource control· · · · · · · · · · · · · · · · · · · · · · · · 1020 8.6.4 Parameters for resource control · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1021 8.6.5 How to use resource control · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1022 8.6.6 Disable resource control · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1032 8.6.7 View RU consumption· · · · · · · ·

· · · · · · · · · · 1021 8.6 Use Resource Control to Achieve Resource Isolation · · · · · · · · · · · · · · · · · · · · · · 1023 8.6.1 Scenarios for resource control· · · · · · · · · · · · · · · · · · · · · · · · 1025 8.6.4 Parameters for resource control · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1026 8.6.5 How to use resource control · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1027 8.6.6 Disable resource control · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1037 8.6.7 View RU consumption· · · · · · · ·

· · · · · · · · · · 1013 8.6 Use Resource Control to Achieve Resource Isolation · · · · · · · · · · · · · · · · · · · · · · 1015 8.6.1 Scenarios for resource control· · · · · · · · · · · · · · · · · · · · · · · · 1017 8.6.4 Parameters for resource control · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1018 8.6.5 How to use resource control · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1019 8.6.6 Disable resource control · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1029 8.6.7 View RU consumption· · · · · · · ·