Cos'è la latenza P99?

Cosa rappresenta la latenza di P99? Continuo a sentirne parlare nelle discussioni sulle prestazioni di un'applicazione ma non sono riuscito a trovare una risorsa online che ne parlasse.

È il 99 ° percentile . Significa che il 99% delle richieste dovrebbe essere più veloce della latenza data. In altre parole, solo l'1% delle richieste può essere più lento.

Possiamo spiegarlo attraverso un'analogia, se 100 studenti stanno correndo una gara allora 99 studenti dovrebbero completare la gara in un tempo di "latenza".

Immagina di raccogliere dati sulle prestazioni del tuo servizio e la tabella sottostante è la raccolta dei risultati (i valori di latenza sono fittizi per illustrare l'idea).

Latency    Number of requests
1s         5
2s         5
3s         10
4s         40
5s         20
6s         15
7s         4
8s         1

La latenza P99 del tuo servizio è 7s. Solo l'1% delle richieste richiede più tempo. Quindi, se puoi diminuire la latenza P99 del tuo servizio, aumenti le sue prestazioni.

Facciamo un esempio da qui

Request latency:
    min: 0.1
    max: 7.2
    median: 0.2
    p95: 0.5
    p99: 1.3

Quindi possiamo dire che, per il 99% delle richieste web, la latenza rilevata è stata di 1,3 ms (ms / microsecondi dipende dalle misure di latenza del sistema configurate) o inferiore. Come ha detto @tranmq, se diminuiamo la latenza P99 del servizio, possiamo aumentare le sue prestazioni.

E vale anche la pena notare il p95, dal momento che possono essere poche richieste rende p99 più costoso di p95 ad esempio) richieste iniziali che costruiscono cache, riscaldamento di oggetti di classe, thread init ...

Finalmente; possiamo avere circa l'1% di rumore nelle nostre misurazioni (come congestioni di rete, interruzioni, degrado del servizio), quindi la latenza p99 è un buon rappresentante praticamente del caso peggiore. E, quasi sempre, il nostro obiettivo è ridurre la latenza di p99.