Come si invia una richiesta HTTP HEAD in Python 2?

Quello che sto cercando di fare qui è ottenere le intestazioni di un determinato URL in modo da poter determinare il tipo MIME. Voglio essere in grado di vedere se http://somedomain/foo/restituirà un documento HTML o un'immagine JPEG, ad esempio. Pertanto, ho bisogno di capire come inviare una richiesta HEAD in modo da poter leggere il tipo MIME senza dover scaricare il contenuto. Qualcuno conosce un modo semplice per farlo?

modifica : questa risposta funziona, ma al giorno d'oggi dovresti semplicemente usare la libreria delle richieste come menzionato da altre risposte di seguito.

Usa httplib .

>>> import httplib
>>> conn = httplib.HTTPConnection("www.google.com")
>>> conn.request("HEAD", "/index.html")
>>> res = conn.getresponse()
>>> print res.status, res.reason
200 OK
>>> print res.getheaders()
[('content-length', '0'), ('expires', '-1'), ('server', 'gws'), ('cache-control', 'private, max-age=0'), ('date', 'Sat, 20 Sep 2008 06:43:36 GMT'), ('content-type', 'text/html; charset=ISO-8859-1')]

C'è anche un getheader(name)per ottenere un'intestazione specifica.

urllib2 può essere utilizzato per eseguire una richiesta HEAD. Questo è un po 'più carino rispetto all'utilizzo di httplib poiché urllib2 analizza l'URL per te invece di richiederti di dividere l'URL in nome host e percorso.

>>> import urllib2
>>> class HeadRequest(urllib2.Request):
...     def get_method(self):
...         return "HEAD"
... 
>>> response = urllib2.urlopen(HeadRequest("http://google.com/index.html"))

Le intestazioni sono disponibili tramite response.info () come prima. È interessante notare che puoi trovare l'URL a cui sei stato reindirizzato:

>>> print response.geturl()
http://www.google.com.au/index.html

RequestsModo obbligatorio :

import requests

resp = requests.head("http://www.google.com")
print resp.status_code, resp.text, resp.headers

Credo che anche la libreria Requests dovrebbe essere menzionata.

Appena:

import urllib2
request = urllib2.Request('http://localhost:8080')
request.get_method = lambda : 'HEAD'

response = urllib2.urlopen(request)
response.info().gettype()

Modifica: mi sono appena reso conto che esiste httplib2: D

import httplib2
h = httplib2.Http()
resp = h.request("http://www.google.com", 'HEAD')
assert resp[0]['status'] == 200
assert resp[0]['content-type'] == 'text/html'
...

testo del collegamento

Per completezza, avere una risposta Python3 equivalente alla risposta accettata utilizzando httplib .

E 'sostanzialmente lo stesso codice solo che la libreria non si chiama httplib più ma http.client

from http.client import HTTPConnection

conn = HTTPConnection('www.google.com')
conn.request('HEAD', '/index.html')
res = conn.getresponse()

print(res.status, res.reason)

import httplib
import urlparse

def unshorten_url(url):
    parsed = urlparse.urlparse(url)
    h = httplib.HTTPConnection(parsed.netloc)
    h.request('HEAD', parsed.path)
    response = h.getresponse()
    if response.status/100 == 3 and response.getheader('Location'):
        return response.getheader('Location')
    else:
        return url

Per inciso, quando si usa httplib (almeno su 2.5.2), provare a leggere la risposta di una richiesta HEAD si bloccherà (su readline) e successivamente fallirà. Se non esegui la lettura della risposta, non sei in grado di inviare un'altra richiesta sulla connessione, dovrai aprirne una nuova. Oppure accetta un lungo ritardo tra le richieste.

Ho scoperto che httplib è leggermente più veloce di urllib2. Ho cronometrato due programmi, uno utilizzando httplib e l'altro utilizzando urllib2, inviando richieste HEAD a 10.000 URL. Quello httplib è stato più veloce di diversi minuti. Le statistiche totali di httplib erano: reali 6m21.334s utente 0m2.124s sys 0m16.372s

E le statistiche totali di urllib2 erano: reali 9m1.380s utente 0m16.666s sys 0m28.565s

Qualcun altro ha input su questo?

E ancora un altro approccio (simile alla risposta di Pawel):

import urllib2
import types

request = urllib2.Request('http://localhost:8080')
request.get_method = types.MethodType(lambda self: 'HEAD', request, request.__class__)

Solo per evitare di avere metodi illimitati a livello di istanza.

Probabilmente più semplice: usa urllib o urllib2.

>>> import urllib
>>> f = urllib.urlopen('http://google.com')
>>> f.info().gettype()
'text/html'

f.info () è un oggetto simile a un dizionario, quindi puoi fare f.info () ['content-type'], ecc.

http://docs.python.org/library/urllib.html
http://docs.python.org/library/urllib2.html
http://docs.python.org/library/httplib.html

La documentazione nota che httplib normalmente non viene utilizzato direttamente.