Come grep l'output di cURL?

70

Devo recuperare la data di scadenza di un certificato SSL. L' curlapplicazione fornisce queste informazioni:

$ curl -v https://google.com/
* Hostname was NOT found in DNS cache
*   Trying 212.179.180.121...
* Connected to google.com (212.179.180.121) port 443 (#0)
* successfully set certificate verify locations:
*   CAfile: none
  CApath: /etc/ssl/certs
* SSLv3, TLS handshake, Client hello (1):
* SSLv3, TLS handshake, Server hello (2):
* SSLv3, TLS handshake, CERT (11):
* SSLv3, TLS handshake, Server key exchange (12):
* SSLv3, TLS handshake, Server finished (14):
* SSLv3, TLS handshake, Client key exchange (16):
* SSLv3, TLS change cipher, Client hello (1):
* SSLv3, TLS handshake, Finished (20):
* SSLv3, TLS change cipher, Client hello (1):
* SSLv3, TLS handshake, Finished (20):
* SSL connection using ECDHE-ECDSA-AES128-GCM-SHA256
* Server certificate:
*        subject: C=US; ST=California; L=Mountain View; O=Google Inc; CN=*.google.com
*        start date: 2014-10-22 13:04:07 GMT
*        expire date: 2015-01-20 00:00:00 GMT
*        subjectAltName: google.com matched
*        issuer: C=US; O=Google Inc; CN=Google Internet Authority G2
*        SSL certificate verify ok.
> GET / HTTP/1.1
> User-Agent: curl/7.35.0
> Host: google.com
> Accept: */*
> 
< HTTP/1.1 302 Found
< Cache-Control: private
< Content-Type: text/html; charset=UTF-8
< Location: https://www.google.co.il/?gfe_rd=cr&ei=HkxbVMzCM-WkiAbU6YCoCg
< Content-Length: 262
< Date: Thu, 06 Nov 2014 10:23:26 GMT
* Server GFE/2.0 is not blacklisted
< Server: GFE/2.0
< 
<HTML><HEAD><meta http-equiv="content-type" content="text/html;charset=utf-8">
<TITLE>302 Moved</TITLE></HEAD><BODY>
<H1>302 Moved</H1>
The document has moved
<A HREF="https://www.google.co.il/?gfe_rd=cr&amp;ei=HkxbVMzCM-WkiAbU6YCoCg">here</A>.
</BODY></HTML>
* Connection #0 to host google.com left intact

Tuttavia, quando si esegue il piping dell'output tramite grepil risultato non si ottengono meno informazioni sullo schermo, ma piuttosto molto di più :

$ curl -v https://google.com/ | grep expire
* Hostname was NOT found in DNS cache
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0*   Trying 212.179.180.84...
* Connected to google.com (212.179.180.84) port 443 (#0)
* successfully set certificate verify locations:
*   CAfile: none
  CApath: /etc/ssl/certs
* SSLv3, TLS handshake, Client hello (1):
} [data not shown]
* SSLv3, TLS handshake, Server hello (2):
{ [data not shown]
  0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0* SSLv3, TLS handshake, CERT (11):
{ [data not shown]
* SSLv3, TLS handshake, Server key exchange (12):
{ [data not shown]
* SSLv3, TLS handshake, Server finished (14):
{ [data not shown]
* SSLv3, TLS handshake, Client key exchange (16):
} [data not shown]
* SSLv3, TLS change cipher, Client hello (1):
} [data not shown]
* SSLv3, TLS handshake, Finished (20):
} [data not shown]
* SSLv3, TLS change cipher, Client hello (1):
{ [data not shown]
* SSLv3, TLS handshake, Finished (20):
{ [data not shown]
* SSL connection using ECDHE-ECDSA-AES128-GCM-SHA256
* Server certificate:
*        subject: C=US; ST=California; L=Mountain View; O=Google Inc; CN=*.google.com
*        start date: 2014-10-22 13:04:07 GMT
*        expire date: 2015-01-20 00:00:00 GMT
*        subjectAltName: google.com matched
*        issuer: C=US; O=Google Inc; CN=Google Internet Authority G2
*        SSL certificate verify ok.
> GET / HTTP/1.1
> User-Agent: curl/7.35.0
> Host: google.com
> Accept: */*
> 
< HTTP/1.1 302 Found
< Cache-Control: private
< Content-Type: text/html; charset=UTF-8
< Location: https://www.google.co.il/?gfe_rd=cr&ei=IkxbVMy4K4OBbKuDgKgF
< Content-Length: 260
< Date: Thu, 06 Nov 2014 10:23:30 GMT
* Server GFE/2.0 is not blacklisted
< Server: GFE/2.0
< 
{ [data not shown]
100   260  100   260    0     0    714      0 --:--:-- --:--:-- --:--:--   714
* Connection #0 to host google.com left intact

Ho il sospetto che curlrilevi che non sta stampando su un terminale e che quindi fornisce un output diverso, non tutto ciò che viene riconosciuto grepcome essere stdoute viene quindi passato al terminale. Tuttavia, la cosa più vicina a questa in cui sono riuscito a trovare man curl (non cercare Google!) È questa:

PROGRESS METER
   curl  normally  displays  a  progress meter during operations, indicating the amount of transferred data, transfer speeds and estimated time
   left, etc.

   curl displays this data to the terminal by default, so if you invoke curl to do an operation and it is about to write data to the  terminal,
   it disables the progress meter as otherwise it would mess up the output mixing progress meter and response data.

   If you want a progress meter for HTTP POST or PUT requests, you need to redirect the response output to a file, using shell redirect (>), -o
   [file] or similar.

   It is not the same case for FTP upload as that operation does not spit out any response data to the terminal.

   If you prefer a progress "bar" instead of the regular meter, -# is your friend.

Come posso ottenere solo la expirylinea curldall'output? Inoltre, cosa dovrei leggere per capire meglio la situazione?

Sembra che sarebbe un buon caso d'uso per un descrittore di file "stdmeta" .

bash command-line curl

— dotancohen
fonte

superuser.com/a/1007898/429721

@EladKarako: grazie. Questa è una bella risposta, ma non è applicabile a questa situazione. Forse la shell di Windows non ha il concetto di gestori di file di output separati, ma questo è un caso diverso nelle shell di Linux.

— dotancohen,

1

Mi sento in dovere di prestare attenzione al vento e al ricciolo di Google. Sono certo che è destinato a restituire alcuni risultati utili.

— JeremyCanfield,

105

curl scrive l'output su stderr, quindi reindirizza e sopprime anche i progressi:

curl -v --silent https://google.com/ 2>&1 | grep expire

Il motivo per cui curlscrive le informazioni su stderr è che puoi farlo:
curl <url> | someprgramsenza che le informazioni blocchino l'input disomeprogram

— Anthon
fonte

2

-v fa il trucco del verboso .. grazie

— astroanu il

2

non c'è bisogno che -vtu invii parecchi messaggi di testo .. specialmente su reindirizzamenti multipli, handshake SSL e scambio di certificati !! dovresti usare o --includesolo per aggiungere le intestazioni al corpo della risposta, o meglio ancora usare --head, inoltre, rimuovi meglio \rla fine se stai pianificando di memorizzare il valore in una variabile o addirittura inviarlo all'output in seguito (vedi il mio commento sopra con Content-Lengthesempio)

19

È possibile utilizzare --stderr -come parametro per reindirizzare l'output da stderr (impostazione predefinita) a stdout. Con questa opzione è necessario utilizzare anche --silentper eliminare la barra di avanzamento.

$ curl -v --silent https://google.com/ --stderr - | grep expire
*    expire date: 2015-09-01 00:00:00 GMT

— Alessandro
fonte