Ottenere tutti i file da una pagina Web usando curl

Vorrei scaricare i file, tutti in una volta, dalla seguente pagina utilizzando curl: http://www.ime.usp.br/~coelho/mac0122-2013/ep2/esqueleto/

Ho provato curl http://www.ime.usp.br/~coelho/mac0122-2013/ep2/esqueleto/e ha restituito un sacco di righe nel terminale, ma non ho ricevuto alcun file.

Usa wgetinvece. Puoi installarlo con brew install wgetse hai installato Homebrew o sudo port install wgetse hai installato MacPorts.

Per scaricare file da un elenco di directory, utilizzare -r(ricorsivo), -np(non seguire i collegamenti alle directory principali) e -kfare in modo che i collegamenti nei file HTML o CSS scaricati puntino a file locali (credit @xaccrocheur).

wget -r -np -k http://www.ime.usp.br/~coelho/mac0122-2013/ep2/esqueleto/

Altre opzioni utili:

• -nd (nessuna directory): scarica tutti i file nella directory corrente
• -e robots.off: ignora i file robots.txt, non scaricare i file robots.txt
• -A png,jpg: accetta solo file con estensione pngojpg
• -m (specchio): -r --timestamping --level inf --no-remove-listing
• -nc, --no-clobber: Salta il download se esistono file

curlpuò leggere solo file di singole pagine Web, il gruppo di righe che hai è in realtà l'indice di directory (che vedi anche nel tuo browser se vai a quell'URL). Per usare curle alcuni strumenti Unix magici per ottenere i file potresti usare qualcosa del genere

for file in $(curl -s http://www.ime.usp.br/~coelho/mac0122-2013/ep2/esqueleto/ |
                  grep href |
                  sed 's/.*href="//' |
                  sed 's/".*//' |
                  grep '^[a-zA-Z].*'); do
    curl -s -O http://www.ime.usp.br/~coelho/mac0122-2013/ep2/esqueleto/$file
done

che porterà tutti i file nella directory corrente.

Per esigenze più elaborate (incluso ottenere un mucchio di file da un sito con cartelle / directory), wget(come già proposto in un'altra risposta) è l'opzione migliore.

Rif: http://blog.incognitech.in/download-files-from-apache-server-listing-directory/

Puoi usare il seguente comando:

wget --execute="robots = off" --mirror --convert-links --no-parent --wait=5 <website-url>

Spiegazione con ciascuna opzione

• wget: Comando semplice per effettuare la richiesta CURL e scaricare i file remoti sul nostro computer locale.
• --execute="robots = off": Questo ignorerà il file robots.txt durante la scansione delle pagine. È utile se non si ottengono tutti i file.
• --mirror: Questa opzione rispecchierà sostanzialmente la struttura della directory per l'URL specificato. È una scorciatoia per il -N -r -l inf --no-remove-listingche significa:
  • -N: non recuperare nuovamente i file se non più recenti di quelli locali
  • -r: specifica il download ricorsivo
  • -l inf: profondità massima di ricorsione (inf o 0 per infinito)
  • --no-remove-listing: non rimuovere i file '.listing'
• --convert-links: i collegamenti in HTML o CSS scaricati puntano a file locali
• --no-parent: non salire alla directory principale
• --wait=5: attendere 5 secondi tra i recuperi. In modo che non schiacciamo il server.
• <website-url>: Questo è l'URL del sito web da cui scaricare i file.

Buon download: smiley:

Puoi usare httrack disponibile per Windows / MacOS e installabile tramite Homebrew.

Per quelli di noi che preferiscono utilizzare un'applicazione con una GUI, esiste il programma shareware economico DeepVacuum per Mac OS X , che implementa wgetin modo intuitivo , con un elenco di impostazioni predefinite in grado di gestire le attività più comuni. Puoi anche salvare le tue configurazioni personalizzate come preimpostazioni.