Come posso scaricare tutte le pagine da un sito Web?

Qualsiasi piattaforma va bene.

HTTRACK funziona come un campione per la copia dei contenuti di un intero sito. Questo strumento può anche raccogliere i pezzi necessari per far funzionare offline un sito Web con contenuto di codice attivo. Sono sorpreso dalle cose che può replicare offline.

Questo programma farà tutto il necessario.

Buona caccia!

Wget è un classico strumento da riga di comando per questo tipo di attività. Viene fornito con la maggior parte dei sistemi Unix / Linux e puoi ottenerlo anche per Windows . Su un Mac, Homebrew è il modo più semplice per installarlo ( brew install wget).

Faresti qualcosa del tipo:

wget -r --no-parent http://site.com/songs/

Per maggiori dettagli, consultare il Manuale di Wget e i suoi esempi , o ad esempio questi:

• wget: scarica interi siti web facilmente

• Esempi e script di Wget

Usa wget:

wget -m -p -E -k www.example.com

Le opzioni spiegate:

-m, --mirror            Turns on recursion and time-stamping, sets infinite 
                          recursion depth, and keeps FTP directory listings.
-p, --page-requisites   Get all images, etc. needed to display HTML page.
-E, --adjust-extension  Save HTML/CSS files with .html/.css extensions.
-k, --convert-links     Make links in downloaded HTML point to local files.

Dovresti dare un'occhiata a ScrapBook , un'estensione di Firefox. Ha una modalità di acquisizione approfondita .

Internet Download Manager ha un'utilità di acquisizione dei siti con molte opzioni, che ti consente di scaricare completamente qualsiasi sito Web desiderato, nel modo desiderato.

1. È possibile impostare il limite sulla dimensione delle pagine / dei file da scaricare

2. È possibile impostare il numero di filiali da visitare

3. È possibile modificare il modo in cui si comportano gli script / i popup / i duplicati

4. È possibile specificare un dominio, solo sotto quel dominio verranno scaricate tutte le pagine / i file che soddisfano le impostazioni richieste

5. I collegamenti possono essere convertiti in collegamenti offline per la navigazione

6. Hai modelli che ti consentono di scegliere le impostazioni sopra per te

Tuttavia, il software non è gratuito - vedi se soddisfa le tue esigenze, utilizza la versione di valutazione.

itsucks - questo è il nome del programma!

Affronterò il buffering online utilizzato dai browser ...

In genere la maggior parte dei browser utilizza una cache di navigazione per mantenere i file scaricati da un sito Web per un po 'in modo da non dover scaricare più volte immagini statiche e contenuti. Questo può accelerare un po 'le cose in alcune circostanze. In generale, la maggior parte delle cache del browser sono limitate a una dimensione fissa e quando raggiunge tale limite, eliminerà i file più vecchi nella cache.

Gli ISP tendono a disporre di server di memorizzazione nella cache che conservano copie di siti Web di accesso comune come ESPN e CNN. Questo evita loro il problema di colpire questi siti ogni volta che qualcuno sulla loro rete vi si reca. Ciò può comportare un notevole risparmio nella quantità di richieste duplicate verso siti esterni all'ISP.

Mi piace Explorer offline .
È uno shareware, ma è molto buono e facile da usare.

Anche WebZip è un buon prodotto.

Non lo faccio da molti anni, ma ci sono ancora alcuni programmi di utilità là fuori. Potresti provare Web Snake . Credo di averlo usato anni fa. Mi sono ricordato subito del nome quando ho letto la tua domanda.

Sono d'accordo con Stecy. Si prega di non martellare il loro sito. Molto brutto.

Prova BackStreet Browser .

È un browser offline potente e gratuito. Un programma di download e visualizzazione di siti Web multi-threading ad alta velocità. Effettuando più richieste simultanee del server, BackStreet Browser può scaricare rapidamente l'intero sito Web o parte di un sito tra cui HTML, grafica, applet Java, audio e altri file definibili dall'utente e salva tutti i file sul disco rigido, nel loro formato nativo, o come file ZIP compresso e visualizza offline.

Teleport Pro è un'altra soluzione gratuita che copierà tutti i file da qualunque sia il tuo target (ha anche una versione a pagamento che ti permetterà di estrarre più pagine di contenuto).

DownThemAll è un componente aggiuntivo di Firefox che scaricherà tutto il contenuto (file audio o video, ad esempio) per una determinata pagina Web con un solo clic. Questo non scarica l'intero sito, ma potrebbe essere una specie di cosa che la domanda stava cercando.

Per Linux e OS X: ho scritto grab-site per l'archiviazione di interi siti Web in file WARC . Questi file WARC possono essere sfogliati o estratti. grab-site ti consente di controllare quali URL saltare usando espressioni regolari e questi possono essere cambiati quando la ricerca per indicizzazione è in esecuzione. Viene inoltre fornito con una vasta serie di impostazioni predefinite per ignorare gli URL spazzatura.

Esiste un dashboard Web per il monitoraggio delle ricerche per indicizzazione, nonché opzioni aggiuntive per saltare contenuti video o risposte oltre una determinata dimensione.

Potenza wget

Mentre wget era già stato menzionato questa risorsa e la riga di comando erano così semplici che pensavo meritasse menzione: wget -P /path/to/destination/directory/ -mpck --user-agent="" -e robots=off --wait 1 -E https://www.example.com/

Vedi questo codice spiegato su spiega Shell

Anche il venerabile FreeDownloadManager.org ha questa funzione.

Free Download Manager lo ha in due forme in due forme: Site Explorer e Site Spider :

Site Explorer
Site Explorer consente di visualizzare la struttura delle cartelle di un sito Web e di scaricare facilmente i file o le cartelle necessari.
HTML Spider
È possibile scaricare intere pagine Web o anche interi siti Web con HTML Spider. Lo strumento può essere regolato per scaricare file solo con estensioni specificate.

Trovo che Site Explorer sia utile per vedere quali cartelle includere / escludere prima di provare a scaricare l'intero sito, specialmente quando nel sito si nasconde un intero forum che non si desidera scaricare, ad esempio.

scarica HTTracker scaricherà i siti web molto semplici passaggi da seguire.

link per il download: http://www.httrack.com/page/2/

video che può aiutarti: https://www.youtube.com/watch?v=7IHIGf6lcL4

Firefox può farlo in modo nativo (almeno FF 42 può). Usa "Salva pagina"

Credo che Google Chrome possa farlo su dispositivi desktop, basta andare sul menu del browser e fare clic su Salva pagina Web.

Si noti inoltre che servizi come Pocket potrebbero in realtà non salvare il sito Web e quindi sensibili al marciume dei link.

Si noti infine che la copia dei contenuti di un sito Web può violare il diritto d'autore, se applicabile.