Come aggirare le intestazioni mancanti dell'ultima modifica?


13

Sto correndo in wgetquesto modo:

wget --mirror --adjust-extension --convert-links --no-cookies http://tshepang.net -o log-main

Ricevo un sacco di questi messaggi:

Last-modified header missing -- time-stamps turned off.

Suppongo che ciò significhi che le pagine continuano a essere scaricate di nuovo, anche se le ho localmente.

NOTA : lo desidero in modo da non dover scaricare nuovamente i file esistenti ogni volta che eseguo il mirror dei comandi.


Sei il proprietario della pagina (se è davvero tshepang.net). In tal caso, il web server è apache e hai qualche controllo sulla sua configurazione? O almeno è abilitato .htaccess con l'opzione override consentita?
forcefsck

@forcefsck: No, il sito è gestito da Posterous. Hanno un'API per leggere tutti i post, ma è una curva di apprendimento per me questa tecnologia web.
Tshepang,

Risposte:


10

Hai provato ad aggiungere il -cparametro?

Estratto dal manuale di wget:

-c --continua

A partire da Wget 1.7, se si utilizza -c su un file non vuoto e si scopre che il server non supporta il download continuo, Wget rifiuterà di avviare il download da zero, rovinando effettivamente i contenuti esistenti. Se vuoi davvero che il download inizi da zero, rimuovi il file.

Inoltre, iniziando con Wget 1.7, se si utilizza -c su un file delle stesse dimensioni di quello sul server, Wget rifiuterà di scaricare il file e stampare un messaggio esplicativo. Lo stesso accade quando il file è più piccolo sul server rispetto a quello locale (presumibilmente perché è stato modificato sul server dall'ultimo tentativo di download) --- perché "continuare" non è significativo, non si verifica alcun download.

Dall'altro lato della medaglia, durante l'utilizzo di -c, qualsiasi file più grande sul server rispetto a quello locale verrà considerato un download incompleto e solo i byte "(lunghezza (remota) - lunghezza (locale))" verranno scaricati e puntati su la fine del file locale. Questo comportamento può essere desiderabile in alcuni casi --- per esempio, puoi usare wget -c per scaricare solo la nuova porzione che è stata aggiunta a una raccolta di dati o un file di registro.

Per quanto ne so, dovrebbe saltare i file già scaricati e della stessa dimensione.


Che dire se il file è più piccolo?
CJ7,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.