Come utilizzare Python per accedere a una pagina Web e recuperare i cookie per un utilizzo successivo?

Voglio scaricare e analizzare la pagina Web usando Python, ma per accedervi ho bisogno di un paio di cookie impostati. Pertanto prima devo accedere tramite https alla pagina web. Il momento di accesso prevede l'invio di due parametri POST (nome utente, password) a /login.php. Durante la richiesta di accesso, desidero recuperare i cookie dall'intestazione della risposta e memorizzarli in modo da poterli utilizzare nella richiesta per scaricare la pagina web /data.php.

Come lo farei in Python (preferibilmente 2.6)? Se possibile, voglio solo usare i moduli integrati.

import urllib, urllib2, cookielib

username = 'myuser'
password = 'mypassword'

cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
login_data = urllib.urlencode({'username' : username, 'j_password' : password})
opener.open('http://www.example.com/login.php', login_data)
resp = opener.open('http://www.example.com/hiddenpage.php')
print resp.read()

resp.read()è il codice HTML diretto della pagina che desideri aprire e puoi utilizzare openerper visualizzare qualsiasi pagina utilizzando il cookie di sessione.

Ecco una versione che utilizza l'eccellente libreria di richieste :

from requests import session

payload = {
    'action': 'login',
    'username': USERNAME,
    'password': PASSWORD
}

with session() as c:
    c.post('http://example.com/login.php', data=payload)
    response = c.get('http://example.com/protected_page.php')
    print(response.headers)
    print(response.text)