. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 503 38.2 Public API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 504 38.3 Sessions Idioms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1179 51.3 API docs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1180 51.4 Implementation Rounding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1351 68.9 API reference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1352 69 Delimited

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 502 38.2 Public API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 503 38.3 Sessions Idioms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1178 51.3 API docs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1179 51.4 Implementation Rounding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1350 68.9 API reference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1351 69 Delimited

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 502 38.2 Public API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 503 38.3 Sessions Idioms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1178 51.3 API docs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1179 51.4 Implementation Rounding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1350 68.9 API reference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1351 69 Delimited

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 502 38.2 Public API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 503 38.3 Sessions Idioms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1170 50.3 API docs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1171 50.4 Implementation Rounding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1342 67.9 API reference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1343 68 Delimited

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 502 38.2 Public API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 503 38.3 Sessions Idioms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1181 51.3 API docs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1182 51.4 Implementation Rounding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1353 68.9 API reference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1354 69 Delimited

to Enable Seeing and Solving Problems a. Fact – Things will go wrong in Operations! i. 2001 Microsoft Operation Framework study found the best-performing organization were better at diagnosing & fixing Etsy has a religion, it’s the Church of Graphs. If it moves, we track it. Sometimes we’ll draw a graph of something that isn’t moving yet, just in case it decides to make a run for it…Tracking everything that could become an error and will likely trigger an alert 4. Error – error conditions such as API failures, internal issues 5. Fatal – forces a termination iv. Examples of potentially significant

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 491 38.2 Public API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 492CONTENTS viii 38 Idioms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1132 50.3 API docs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1133 50.4 Implementation Rounding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1300 67.9 API reference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1301 68 Delimited

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 491 38.2 Public API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 492CONTENTS viii 38 Idioms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1132 50.3 API docs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1133 50.4 Implementation Rounding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1300 67.9 API reference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1301 68 Delimited

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 491 38.2 Public API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 492CONTENTS viii 38 Idioms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1132 50.3 API docs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1133 50.4 Implementation Rounding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1300 67.9 API reference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1301 68 Delimited

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 457 37.2 Public API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 458 37.3 Sessions Rounding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1112 65.9 API reference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1114 66 Delimited seeding) . . . . . . . . . . . . . . . . . . . . . . . . . . . 1428 86.5 Hooking into the Random API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1431 87 Reproducibility 1438 88 SHA 1439