Sto cercando di utilizzare Wget per scaricare una pagina, ma non riesco a superare la schermata di accesso.

Come posso inviare il nome utente / password utilizzando i dati del post nella pagina di accesso e quindi scaricare la pagina effettiva come utente autenticato?

Sulla base della pagina del manuale:

# Log in to the server.  This only needs to be done once.
wget --save-cookies cookies.txt \
     --keep-session-cookies \
     --post-data 'user=foo&password=bar' \
     --delete-after \
     http://server.com/auth.php

# Now grab the page or pages we care about.
wget --load-cookies cookies.txt \
     http://server.com/interesting/article.php

Assicurati che il --post-dataparametro sia correttamente codificato in percentuale (specialmente e commerciale!) O la richiesta probabilmente fallirà. Assicurati anche che usere passwordsiano le chiavi corrette; puoi trovare le chiavi corrette investigando il codice HTML della pagina di login (guarda nella funzione “inspect element” del tuo browser e trova l' nameattributo nei campi username e password).

Se ne hai bisogno per una volta, puoi accedere tramite browser e copiare le intestazioni necessarie in seguito:

Usa "Copia come cURL" nella scheda Rete degli Strumenti per sviluppatori (ricarica la pagina dopo l'apertura) e sostituisci il flag di intestazione di curl -He --datacon wget --headere --post-data.

Ho fornito direttamente i cookie di una connessione esistente a wget con --no-cookies e l'intestazione della richiesta HTTP del cookie. Nel mio caso si trattava di un login universitario Moodle in cui l'accesso sembra più complesso (utilizzando più richieste con un ticket di accesso). Ho aggiunto --post-data perché era una richiesta POST. Ad esempio, ottieni l'elenco di tutti gli utenti di Moodle:

wget --no-cookies --header "Cookie: <name>=<value>" --post-data 'tab=search&name=+&personsubmit=Rechercher&keywords=&keywordsoption=allmine' https://moodle.unistra.fr/message/index.php

Ho avuto lo stesso problema. La mia soluzione era fare il login tramite Chrome e salvare i dati dei cookie in un file di testo. Questo è facilmente realizzabile con questa estensione di Chrome : estensione di esportazione Chrome cookie.txt .

Quando ottieni i dati dei cookie, c'è anche un esempio su come usarli con wget. Viene fornita una semplice riga di comando copia-incolla.

Volevo un one-liner che non scaricava alcun file; ecco un esempio di piping dell'output del cookie nella richiesta successiva. Ho solo testato quanto segue su Gentoo, ma dovrebbe funzionare nella maggior parte degli ambienti * nix:

wget -q -O /dev/null --save-cookies /dev/stdout --post-data 'u=user&p=pass' 'http://example.com/login' | wget -q -O - --load-cookies /dev/stdin 'http://example.com/private/page' (questa è una riga, anche se probabilmente va a capo nel tuo browser)

Se desideri che l'output venga salvato in un file, cambia -O -in-O /some/file/name

Non hai bisogno di cURL per eseguire i dati del modulo POST. --post-data 'key1=value1&key2=value2'funziona benissimo. Nota: puoi anche passare un nome file a wget con i dati POST nel file.

Se utilizzano l'autenticazione di base:

wget http://username:password@www.domain.com/page.html

Se stanno usando i dati del modulo POST, dovrai invece usare qualcosa come cURL .

Una soluzione che utilizza lynx e wget.

Nota: Lynx deve essere stato compilato con il flag --enable-persistent-cookies affinché funzioni

Quando si desidera utilizzare wget per scaricare un file da un sito che richiede l'accesso, è sufficiente un file cookie. Per generare il file cookie, scelgo lynx. lynx è un browser web di testo. Per prima cosa hai bisogno di un file di configurazione per lynx per salvare i cookie. Crea un file lynx.cfg. Scrivi queste configurazioni nel file.

SET_COOKIES:TRUE
ACCEPT_ALL_COOKIES:TRUE
PERSISTENT_COOKIES:TRUE
COOKIE_FILE:cookie.file

Quindi avvia lynx con questo comando:

lynx -cfg=lynx.cfg http://the.site.com/login

Dopo aver inserito il nome utente e la password e selezionare "conservami su questo PC" o qualcosa di simile. Se accedi con successo, vedrai una bellissima pagina web di testo del sito. E ti disconnetti. Nella directory corrente, troverai un file cookie denominato cookie.file. Questo è ciò di cui abbiamo bisogno per wget.

Quindi wget può scaricare il file dal sito con questo comando.

wget --load-cookies ./cookie.file http://the.site.com/download/we-can-make-this-world-better.tar.gz

Esempio per scaricare con wget sul server un collegamento a file di grandi dimensioni che può essere ottenuto nel browser.

Ad esempio utilizzando Google Chrome.

Accedi dove ti serve e premi download. Vai a scaricare e copia il tuo collegamento.

Quindi apri DevTools su una pagina in cui accedi, vai su Console e ottieni i tuoi cookie, entrandodocument.cookie

Ora vai sul server e scarica il tuo file: wget --header "Cookie: <YOUR_COOKIE_OUTPUT_FROM_CONSOLE>" <YOUR_DOWNLOAD_LINK>

Puoi installare questo plugin in Firefox: https://addons.mozilla.org/en-US/firefox/addon/cliget/?src=cb-dl-toprated Inizia a scaricare quello che vuoi e clicca sul plugin. Ti dà l'intero comando per wget o curl per scaricare il file sul server. Molto facile!