Nginx proxy_read_timeout vs. proxy_connect_timeout

Ho iniziato a utilizzare Nginx come proxy inverso per un set di server che forniscono una sorta di servizio.

Il servizio può essere piuttosto lento a volte (il suo funzionamento su Java e JVM a volte si blocca nella "raccolta completa dei rifiuti" che potrebbe richiedere diversi secondi), quindi ho impostato i proxy_connect_timeout2 secondi, il che darà a Nginx il tempo sufficiente per capire che il servizio è bloccato su GC e non risponderà in tempo, e dovrebbe passare la richiesta a un altro server.

Ho anche impostato proxy_read_timeoutper impedire che il proxy inverso si blocchi se il servizio stesso impiega troppo tempo per calcolare la risposta - di nuovo, dovrebbe spostare la richiesta su un altro server che dovrebbe essere abbastanza libero da restituire una risposta tempestiva.

Ho eseguito alcuni benchmark e vedo chiaramente che proxy_connect_timeoutfunziona correttamente poiché alcune richieste ritornano esattamente nel tempo specificato per il timeout della connessione, poiché il servizio è bloccato e non accetta connessioni in entrata (il servizio utilizza Jetty come incorporato contenitore servlet). Il proxy_read_timeoutfunziona anche, come posso vedere le richieste che il ritorno dopo il timeout non specificato.

Il problema è che mi sarei aspettato di vedere alcune richieste di timeout dopo proxy_read_timeout + proxy_connect_timeout, o quasi per quel periodo di tempo, se il servizio è bloccato e non accetta connessioni quando Nginx tenta di accedervi, ma prima che Nginx possa scadere - viene rilasciato e inizia l'elaborazione, ma è troppo lento e Nginx si interromperà a causa del timeout di lettura. Credo che il servizio abbia casi del genere, ma dopo aver eseguito diversi benchmark, per un totale di diversi milioni di richieste, non sono riuscito a vedere una singola richiesta che ritorna in qualsiasi cosa sopra proxy_read_timeout(che è il timeout più grande).

Gradirei qualsiasi commento su questo problema, anche se penso che potrebbe essere dovuto a un bug in Nginx (devo ancora guardare il codice, quindi questo è solo un presupposto) che il contatore del timeout non viene ripristinato dopo la connessione ha esito positivo, se Nginx non ha letto nulla dal server upstream.

In realtà non sono stato in grado di riprodurre questo su:

2011/08/20 20:08:43 [notice] 8925#0: nginx/0.8.53
2011/08/20 20:08:43 [notice] 8925#0: built by gcc 4.1.2 20080704 (Red Hat 4.1.2-48)
2011/08/20 20:08:43 [notice] 8925#0: OS: Linux 2.6.39.1-x86_64-linode19

Ho impostato questo nel mio nginx.conf:

proxy_connect_timeout   10;
proxy_send_timeout      15;
proxy_read_timeout      20;

Ho quindi installato due server di prova. Uno che si limiterebbe a timeout su SYN e uno che accetterebbe connessioni ma non risponderebbe mai:

upstream dev_edge {
  server 127.0.0.1:2280 max_fails=0 fail_timeout=0s; # SYN timeout
  server 10.4.1.1:22 max_fails=0 fail_timeout=0s; # accept but never responds
}

Quindi ho inviato una connessione di prova:

[m4@ben conf]$ telnet localhost 2480
Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.
GET / HTTP/1.1
Host: localhost

HTTP/1.1 504 Gateway Time-out
Server: nginx
Date: Sun, 21 Aug 2011 03:12:03 GMT
Content-Type: text/html
Content-Length: 176
Connection: keep-alive

Quindi guardato error_log che mostrava questo:

2011/08/20 20:11:43 [error] 8927#0: *1 upstream timed out (110: Connection timed out) while connecting to upstream, client: 127.0.0.1, server: ben.dev.b0.lt, request: "GET / HTTP/1.1", upstream: "http://10.4.1.1:22/", host: "localhost"

poi:

2011/08/20 20:12:03 [error] 8927#0: *1 upstream timed out (110: Connection timed out) while reading response header from upstream, client: 127.0.0.1, server: ben.dev.b0.lt, request: "GET / HTTP/1.1", upstream: "http://127.0.0.1:2280/", host: "localhost"

E poi access.log che ha il timeout previsto per 30s (10 + 20):

504:32.931:10.003, 20.008:.:176 1 127.0.0.1 localrhost - [20/Aug/2011:20:12:03 -0700] "GET / HTTP/1.1" "-" "-" "-" dev_edge 10.4.1.1:22, 127.0.0.1:2280 -

Ecco il formato di registro che sto usando che include i singoli timeout upstream:

log_format  edge  '$status:$request_time:$upstream_response_time:$pipe:$body_bytes_sent $connection $remote_addr $host $remote_user [$time_local] "$request" "$http_referer" "$http_user_agent" "$http_x_forwarded_for" $edge $upstream_addr $upstream_cache_status';

Il problema è che mi sarei aspettato di vedere alcune richieste che scadevano dopo proxy_read_timeout + proxy_connect_timeout, o quasi per quel periodo di tempo, se il servizio è bloccato e non accetta connessioni quando Nginx tenta di accedervi, ma prima che Nginx possa scadere - viene rilasciato e inizia l'elaborazione, ma è troppo lento e Nginx si interromperà a causa del timeout di lettura.

Il timeout di connessione indica che TCP si blocca durante l'handshaking (ad esempio, non c'erano SYN_ACK). TCP riproverebbe a inviare SYN, ma hai dato solo per 2 secondi. su Nginx per utilizzare un altro server, quindi semplicemente non ha tempo per inviare nuovamente i SYN.

UPD. : Impossibile trovare nei documenti, ma tcpdump mostra che ci sono 3 secondi. ritardo tra il 1 ° SYN inviato e il 2 ° tentativo di invio SYN.