Unix & Linux wget

2

Esecuzione di migliaia di processi in background di arricciatura in parallelo nello script bash

Sto eseguendo migliaia di processi in background di curl in parallelo nel seguente script bash START=$(date +%s) for i in {1..100000} do curl -s "http://some_url_here/"$i > $i.txt& END=$(date +%s) DIFF=$(( $END - $START )) echo "It took $DIFF seconds" done Ho un server dedicato Corei7-920 da 49Gb (non virtuale). Traccio …

14 linux performance bash curl wget

2

Perché il mio wget non è morto dopo la perdita della connessione SSH?

Ho modificato il sshmio server ed eseguito wget -r -np zzz.aaa/bbb/ccce ha iniziato a funzionare. Quindi la mia connessione a Internet (a casa mia) è stata interrotta e mi sono preoccupato supponendo che wgetfosse passato hupperché la sshconnessione era andata persa e quindi il terminale era morto. Ma poi ho …

13 ssh terminal wget signals

2

Ignora "altri" domini quando scarichi con wget?

Vorrei sottoporre a scansione i collegamenti su www.website.com/XYZ e scaricare solo i collegamenti su www.website.com/ABC. Sto usando il seguente comando wget per ottenere i file che voglio: wget -I ABC -r -e robots=off --wait 0.25 http://www.website.com/XYZ Funziona perfettamente quando uso wget 1.13.4. Ma il problema è che devo usare questo …

13 command-line wget

4

Come posso limitare la dimensione del file scaricato in wget?

Voglio usare wget(da uno script php) per scaricare file di immagini, ma non voglio scaricare file di una certa dimensione. Posso limitare la dimensione del file con wget? In caso contrario, qual è il modo migliore?

13 files wget size

2

Esiste un metodo da riga di comando con cui posso verificare se un file scaricato è completo o danneggiato?

Sto scrivendo uno script che prevede il download e la manipolazione di un file e voglio assicurarmi che il file non sia incompleto (a causa, ad esempio, di una connessione interrotta) prima di lavorarci.

13 files wget curl download corruption

2

Alternative a wget

Ho un sito su un server che è fondamentalmente un mucchio di pagine HTML, immagini e suoni. Ho perso la mia password per quel server e devo prendere tutto ciò che è memorizzato lì. Posso andare pagina per pagina e salvare tutto ma il sito ha più di 100 pagine. …

13 wget

1

Come aggirare le intestazioni mancanti dell'ultima modifica?

Sto correndo in wgetquesto modo: wget --mirror --adjust-extension --convert-links --no-cookies http://tshepang.net -o log-main Ricevo un sacco di questi messaggi: Last-modified header missing -- time-stamps turned off. Suppongo che ciò significhi che le pagine continuano a essere scaricate di nuovo, anche se le ho localmente. NOTA : lo desidero in modo …

13 wget web

2

Wget restituisce binario anziché html?

Sto usando wget per scaricare una pagina HTML statica. Il validatore W3C mi dice che la pagina è codificata in UTF-8. Tuttavia, quando eseguo il cat del file dopo il download, ricevo un mucchio di sciocchezze binarie. Sono su Ubuntu e ho pensato che la codifica predefinita fosse UTF-8? Questo …

12 wget character-encoding gzip http

2

Wget: convert-links ed evitare di scaricare nuovamente file già recuperati?

Sto scaricando i dati sparsi tra più file che non cambiano una volta pubblicati. Pertanto --timestampingnon è abbastanza buono, perché controlla costantemente qualsiasi risorsa venga cambiata, che è, nel mio caso, completamente inutile. --no-clobbersi adatterebbe perfettamente. Sfortunatamente non funziona con --convert-links qualche motivo. Sono stati specificati sia --no-clobber che --convert-links, …

12 wget download

5

Scrivi l'output di wget o arriccia su un nome file personalizzato basato sull'URL

Ad esempio ho un link http://www.abc.com/123/def/ghi/jkl.mno. Voglio scaricarlo usando wgeto curle ottenere il nome del file di output come def_ghi_jkl.mno, dove la parte def_ghiè presa dal collegamento. Metterò questo wgetcomando in uno script per scaricare più file in modo che non possa dare esplicitamente il nome del file di output.

12 filenames wget curl

3

montaggio dropbox (per esplorare i file)

Voglio semplicemente essere in grado di esplorare un filesystem dropbox, senza molto carico aggiuntivo su CPU, memoria, memoria (cioè, senza salvare copie locali dei file remoti). Sembra che il client ufficiale consumi molte risorse (e farebbe operazioni inutili come la sincronizzazione) - http://www.lowendtalk.com/discussion/3179/dropbox-memory-usage-on-linux . Si può semplicemente montarlo (ad esempio, …

12 wget fuse dropbox hosting-services protocols

5

Come smetti di "wget" dopo aver ottenuto un 404?

Se si utilizza l'espansione del controvento con wget, è possibile recuperare facilmente le immagini numerate in sequenza: $ wget 'http://www.iqandreas.com/sample-images/100-100-color/'{90..110}'.jpg' Si va a prendere i primi 10 file numerati 90.jpgper 99.jpgbene, ma 100.jpge poi restituire un 404: file non trovato errore (ho solo 100 immagini memorizzate sul server). Questi file …

12 bash shell-script wget

2

Qual è l '"articolo del 2001" per bloccare i "programmi di recupero automatico" a cui fa riferimento la pagina man di wget?

La wgetpagina man lo afferma, sotto la sezione per il --random-waitparametro: Some web sites may perform log analysis to identify retrieval programs such as Wget by looking for statistically significant similarities in the time between requests. [...] A 2001 article in a publication devoted to development on a popular consumer …

11 wget man documentation

1

Wget, interrompi il tentativo dopo un errore o un timeout

Chiamo un URL con wget: /usr/bin/wget --read-timeout=7200 https://site_url/s In questo caso Wget esegue una richiesta GET ogni 15 minuti, nonostante sia impostato il timeout, perché succede? La chiamata deve essere effettuata una sola volta, come posso impostare wget su NON Riprovare? So che puoi impostare t=nma 0 è infinito e …

11 linux rhel wget

3

Come usare wget per scaricare da siti di hosting?

wget è uno strumento molto utile per scaricare rapidamente contenuti su Internet, ma posso usarlo per scaricare da siti di hosting, come FreakShare, IFile.it Depositfiles, Uploaded, Rapidshare? In tal caso, come posso farlo?

11 wget download hosting-services

Domande taggate «wget»