Come scoprire l'URL di download reale sui siti di download che utilizzano reindirizzamenti

55

Diciamo che voglio scaricare qualcosa con, wgetma il sito Web che ha i file di cui ho bisogno reindirizza a un sito che sceglie automaticamente un mirror per me (e non è fornito alcun URL di file statico).

Il download da tali siti funziona con Firefox, ma come posso ottenere l' URL reale (non solo il collegamento alla pagina di reindirizzamento) in modo da poter scaricare questi file con wget?

download wget redirection

— Phil
fonte

3

La risposta di Breakthrough funziona, ma che senso ha allora? Lascia che FF finisca il download. Puoi aggiungere maggiori dettagli alla tua domanda? Immagino che stai cercando di automatizzare il download tramite una sorta di script e non usare wget solo per gits-n-shiggles.

— Yoopergeek,

2

quando si scarica con Firefox fare clic destro sul vostro scaricare in download di Windows e selezionare copia link per il download

— Am1rr3zA

2

@Yoopergeek: la sua risposta aiuta se il file è estremamente grande e vuoi metterlo in un download manager. ;)

— cp2141

@Yoopergeek: L'OP ha anche menzionato "wget" che è uno strumento da riga di comando linux / unix per trasferire un file senza alcuna interfaccia utente di Windows. Strumenti come questo sono utili quando si esegue una macchina virtuale nel cloud e è necessario scaricare software. Poiché wget sta solo cercando di ottenere un file, non di visualizzare pubblicità mentre attende la selezione di un mirror, l'URL diretto è essenziale.

— mightypile

1

L'addon di Cliget ti dà il comando curl per copiare e incollare nella finestra di download. addons.mozilla.org/en-US/firefox/addon/cliget

— Dagelf

53

Quando hai avviato il trasferimento in Firefox, annullalo e fai clic con il pulsante destro del mouse sul download e premi "Copia collegamento per il download". Se stai usando una versione precedente, fai clic destro su di essa e fai clic su "Proprietà", e il collegamento sarà nella finestra che si apre.

In Chrome, esegui il download normalmente, quindi vai a Menu - Download - e dovresti vedere il link diretto che è stato utilizzato. Oppure premi Ctrl+ Jper aprire la finestra.

— Sfondamento
fonte

1

Sì, sarebbe molto più semplice di quello che ho suggerito!

— Arathorn,

anche i miei pensieri, arathorn. Avevo iniziato a scrivere una risposta per usare la scheda 'net' in Firebug, ma questo è molto più semplice!

— Matt,

1

Questo non sembra funzionare per me su Github (ho provato in Firefox, Chrome, Safari). ad es .: nodeload.github.com/jverzani/gWidgets2/tarball/master

— Etienne Low-Décarie

cmd +

— maiusc

18

È possibile utilizzare l' estensione LiveHTTPHeaders per determinare l'URL effettivo del file scaricato. (Tieni d'occhio i GET in particolare.)

— Arathorn
fonte

1

è una bella idea, ci proverò. voterei se non il mio rappresentante basso;)

— Phil

qualcosa per Chrome?

— Anwar,

So che questo è un vecchio thread, ma volevo dare il mio +1 per questa risposta. La migliore soluzione è sicuramente accettabile per la maggior parte dei casi. Nel mio, ho una gui web di inventario che volevo esportare facilmente tutti i miei dispositivi in formato CSV usando il loro pulsante di esportazione. Per rendere questo script, ho preso il tuo consiglio "tieni d'occhio GET" e ho controllato la scheda di rete in F12 per vedere il file che veniva scaricato dall'esportazione. Da lì, almeno in Chrome, puoi fare clic con il pulsante destro del mouse su quel file ed eseguire copia> copia come cURL. Ho sostituito il nome del dispositivo come variabile nel collegamento e l'ho inserito in un ciclo for in bash per arricciarlo

— user2856414

16

Anche se mi piace anche wget, utilizzo un altro strumento simile: cURL . cURL ha specificamente una funzione per seguire i reindirizzamenti ( -L / --location), ed è anche gratuito come wget. Suggerisco di tenerli entrambi nella cintura degli attrezzi; hanno alcune caratteristiche complementari.

Ecco un articolo interessante che ho trovato su come utilizzare wget o cURL per scaricare da un sito che utilizza i cookie per l'autenticazione. C'è una menzione della funzione di localizzazione cURL per seguire i reindirizzamenti. (In effetti, basato su nessuna bandiera speciale menzionata per wget, mi sembrerebbe che wget possa seguire implicitamente i reindirizzamenti ..?)

— Chris W. Rea
fonte

5

Questa è la risposta che stavi cercando!

C'è solo una soluzione one-click a prova di errore : cliget

Ti dà un comando di arricciatura con intestazioni, cookie e tutto, con un pulsante Copia negli Appunti, proprio nella finestra di download.

Per Firefox : https://addons.mozilla.org/en-US/firefox/addon/cliget

Non sto collegando curlwget per Chrome qui, perché è brutto. Aggiorna questa risposta se Chrome ottiene un equivalente altrettanto elegante.

— Dagelf
fonte

Grazie! Funzionava come un incantesimo

— mudassirkhan19

4

In tali situazioni, per prima cosa avvia il download effettivo, lo metto in pausa e copia l'URL.

— ukanth
fonte

1

copiarlo da dove?

— Phil

1

Se metti in pausa il download nella finestra di download di Firefox prima che sia completato, puoi fare clic con il pulsante destro del mouse e afferrare l'URL (lo hai fatto per attivare l'URL a wgetvolte).

— nik,

3

Di solito uso l' addon di Firefox DownThemAll quando ci sono molti collegamenti da scaricare e devo selezionare URL specifici.

Mostra l'URL completo e ti consente di aggiungere in modalità di pausa in modo da poter avviare il download quando vuoi.

Come funzionalità aggiuntiva, puoi prendere l'URL e saltare del tutto il download.
Tuttavia, se è necessario scaricare il file, DownThemAll è abbastanza buono come acceleratore.

— nik
fonte

2

Non puoi usare wget direttamente usando la --trust-server-namebandiera? Verrà scaricato e salvato utilizzando il nome file a cui reindirizza.

— Zitrax
fonte

1

La tua domanda non è chiara. Ci sono 2 URL qui: quello che usi e quello che è tornato dopo il reindirizzamento. Il primo che dovresti sapere, dal momento che ha avuto origine dal tuo computer, mentre il secondo è quello visualizzato nel tuo browser. Se la domanda riguarda la posizione del file sul server reindirizzato, non c'è modo di saperlo.

Se stai provando a eseguire il debug delle chiamate emesse verso il server, puoi utilizzare il componente aggiuntivo firefox di firebug, qui esistono versioni precedenti: https://addons.mozilla.org/en-US/firefox/addons/ versioni / 1843 .

— harrymc
fonte

1

onestamente, non capisco cosa sia così poco chiaro nella mia domanda, alcuni poster qui sotto hanno addirittura capito;)

— Phil

Se il tuo unico problema è ottenere l'URL, quindi mettere in pausa il download funziona solo per file di grandi dimensioni, a meno che tu non sia molto veloce. Puoi molto più semplice trovare queste informazioni nell'elenco del gestore download: fai clic con il pulsante destro del mouse e fai Copia collegamento download.

— harrymc,

Per il downvoter: non perdere tempo qui - questo è un post molto vecchio e potrebbe non essere applicabile a te.

— harrymc,

1

Puoi usare Curl per scaricare un URL reindirizzato :

curl --location http://domainName/fileName 2> /dev/null > fileName

— Dan Gaz
fonte

0

È possibile utilizzare IDM (Internet Download Manager) quando si fa clic sul collegamento di download non diretto che reindirizzerà il collegamento e mostrerà il collegamento diretto.

0

Hai provato a passare l'URL di reindirizzamento per wget? A volte lavorano per me.

Ecco un esempio da SourceForge:

$ wget http://sourceforge.net/projects/emule/files/eMule/0.49c/eMule0.49c-Installer.exe/download?use_mirror=ufpr,Centro%20de%20Computacao%20Cientifica%20e%20Software%20Livre
--14:23:20--  http://sourceforge.net/projects/emule/files/eMule/0.49c/eMule0.49c-Installer.exe/download?use_mirror=ufpr,Centro%20de%20Computacao%20Cientifica%20e%20Software%20Livre
Resolvendo sourceforge.net... 216.34.181.60
Connecting to sourceforge.net|216.34.181.60|:80... conectado!
HTTP requisição enviada, aguardando resposta... 302 Found
Localização: http://downloads.sourceforge.net/project/emule/eMule/0.49c/eMule0.49c-Installer.exe?use_mirror=ufpr [seguinte]
--14:23:21--  http://downloads.sourceforge.net/project/emule/eMule/0.49c/eMule0.49c-Installer.exe?use_mirror=ufpr
Resolvendo downloads.sourceforge.net... 216.34.181.59
Connecting to downloads.sourceforge.net|216.34.181.59|:80... conectado!
HTTP requisição enviada, aguardando resposta... 302 Found
Localização: http://ufpr.dl.sourceforge.net/project/emule/eMule/0.49c/eMule0.49c-Installer.exe [seguinte]
--14:23:21--  http://ufpr.dl.sourceforge.net/project/emule/eMule/0.49c/eMule0.49c-Installer.exe
Resolvendo ufpr.dl.sourceforge.net... 200.236.31.1, 200.17.202.1
Connecting to ufpr.dl.sourceforge.net|200.236.31.1|:80... conectado!
HTTP requisição enviada, aguardando resposta... 200 OK
Tamanho: 3342809 (3,2M) [application/x-msdos-program]
Saving to: `eMule0.49c-Installer.exe'

100%[====================================================================================>] 3.342.809   2,35M/s   in 1,4s

14:23:23 (2,35 MB/s) - `eMule0.49c-Installer.exe' saved [3342809/3342809]

La versione che uso:

$ wget --version
GNU Wget 1.10.2

— Leonel Martins
fonte

0

C'era un componente aggiuntivo per Firefox chiamato Splitlink . Non funziona per Firefox 3+, ma ha funzionato in Firefox 2. Se riesci a trovarlo ovunque (non si trova più nella pagina dei componenti aggiuntivi ufficiali), ti fornirà ulteriori informazioni sull'URL reale.

— alex
fonte

-1

L'URL della copia di Firefox è decisamente più semplice. wget (dato che la domanda è stata taggata) è anche una buona soluzione perché puoi vedere tutti i rimbalzi intermedi, non solo l'URL finale:

$ wget 'http://sourceforge.net/projects/pdfcreator/files/PDFCreator/PDFCreator%200.9.8/PDFCreator-0_9_8_setup.exe/download'
--2009-09-10 09:59:53--  http://sourceforge.net/projects/pdfcreator/files/PDFCreator/PDFCreator%200.9.8/PDFCreator-0_9_8_setup.exe/download
Resolving sourceforge.net... 216.34.181.60
Connecting to sourceforge.net|216.34.181.60|:80... connected.
HTTP request sent, awaiting response... 302 Found
Location: http://downloads.sourceforge.net/project/pdfcreator/PDFCreator/PDFCreator%200.9.8/PDFCreator-0_9_8_setup.exe?use_mirror=voxel [following]
--2009-09-10 09:59:54--  http://downloads.sourceforge.net/project/pdfcreator/PDFCreator/PDFCreator%200.9.8/PDFCreator-0_9_8_setup.exe?use_mirror=voxel
Resolving downloads.sourceforge.net... 216.34.181.59
Connecting to downloads.sourceforge.net|216.34.181.59|:80... connected.
HTTP request sent, awaiting response... 302 Found
Location: http://voxel.dl.sourceforge.net/project/pdfcreator/PDFCreator/PDFCreator%200.9.8/PDFCreator-0_9_8_setup.exe [following]
--2009-09-10 09:59:54--  http://voxel.dl.sourceforge.net/project/pdfcreator/PDFCreator/PDFCreator%200.9.8/PDFCreator-0_9_8_setup.exe
Resolving voxel.dl.sourceforge.net... 74.63.52.167, 69.9.191.19, 69.9.191.18, ...
Connecting to voxel.dl.sourceforge.net|74.63.52.167|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 17695920 (17M) [application/octet-stream]
Saving to: `PDFCreator-0_9_8_setup.exe'

10% [=======>                                                                       ] 1,818,064    609K/s

— Giordania
fonte

-1

Se si desidera che un download manager gestisca il download anziché firefox, è possibile utilizzare l'addon Flashgot firefox.

— vtest
fonte

-1

È possibile utilizzare lo netcatstrumento (che è spesso incluso con le distribuzioni di Linux) sulla porta 80 del sito Web. Questo mostra la risposta HTTP non elaborata completa, comprese le intestazioni che contengono l'URL di destinazione di reindirizzamento. Questo è uno dei modi più diretti per ottenere la posizione di reindirizzamento, dal momento che si sta facendo la stessa cosa di chi scarica fanno quando si seguono reindirizzamenti. Ecco un esempio per l'URL http://www.example.com/example.

printf 'GET /example HTTP/1.1\r\nHost: www.example.com\r\n\r\n' | netcat www.example.com 80

...o...

In alternativa, molti browser mostrano l'URL di download effettivo nella Downloadssezione. In questi, è possibile avviare il download e annullarlo immediatamente, quindi copiare l'URL (dalla cronologia dei download).

— Abbafei
fonte