Operations and Elementary Functions 26 5.1 Arithmetic Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 5.2 Boolean Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 5.3 Bitwise Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 5.4 Updating operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 5.5 Vectorized "dot" operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 5.6 Numeric Comparisons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Operations and Elementary Functions 26 5.1 Arithmetic Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 5.2 Boolean Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 5.3 Bitwise Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 5.4 Updating operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 5.5 Vectorized "dot" operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 5.6 Numeric Comparisons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Dialect • Design • Operators • Results on Intel Cascade Lake© 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Quantized Operators in Framework • New operators like TF quantized_conv2d quantized_conv2d • Underlying calculations are different than FP32 conv2d • Sometimes operators are aggressively fused • TFLite fuses quantized_conv2d, bias, relu and requantize 𝑟𝑒𝑎𝑙_𝑣𝑎𝑙𝑢𝑒 = 𝒔𝒄𝒂𝒍𝒆 Web Services, Inc. or its Affiliates. All rights reserved. How to Support Framework Quantized Operators? Option 1 – Completely add new ops from scratch • New Relay passes and TVM schedules required

Operations and Elementary Functions 30 6.1 Arithmetic Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 6.2 Boolean Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 6.3 Bitwise Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 6.4 Updating operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 6.5 Vectorized "dot" operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 6.6 Numeric Comparisons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Operations and Elementary Functions 30 6.1 Arithmetic Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 6.2 Boolean Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 6.3 Bitwise Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 6.4 Updating operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 6.5 Vectorized "dot" operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 6.6 Numeric Comparisons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Operations and Elementary Functions 30 6.1 Arithmetic Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 6.2 Boolean Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 6.3 Bitwise Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 6.4 Updating operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 6.5 Vectorized "dot" operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 6.6 Numeric Comparisons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Operations and Elementary Functions 30 6.1 Arithmetic Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 6.2 Boolean Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 6.4 Bitwise Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 6.5 Updating operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 6.6 Vectorized "dot" operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 6.7 Numeric Comparisons . . . . . . . . . . . . . . . . . . . . . . . . . .

Operations and Elementary Functions 30 6.1 Arithmetic Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 6.2 Boolean Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 6.3 Bitwise Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 6.4 Updating operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 6.5 Vectorized "dot" operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 6.6 Numeric Comparisons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Operations and Elementary Functions 30 6.1 Arithmetic Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 6.2 Boolean Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 6.3 Bitwise Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 6.4 Updating operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 6.5 Vectorized "dot" operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 6.6 Numeric Comparisons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Operations and Elementary Functions 30 6.1 Arithmetic Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 6.2 Boolean Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 6.3 Bitwise Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 6.4 Updating operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 6.5 Vectorized "dot" operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 6.6 Numeric Comparisons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .