Creazione di un file di grandi dimensioni in meno tempo

Voglio creare un file di grandi dimensioni ~ 10G pieno di zeri e valori casuali. Ho provato ad usare:

dd if=/dev/urandom of=10Gfile bs=5G count=10

Crea un file di circa 2 GB ed esce con uno stato di uscita '0'. Non riesco a capire perché?

Ho anche provato a creare file usando:

head -c 10G </dev/urandom >myfile

Ci vogliono circa 28-30 minuti per crearlo. Ma lo voglio creato più velocemente. Qualcuno ha una soluzione?

Inoltre desidero creare più file con lo stesso modello (pseudo) casuale per il confronto. Qualcuno sa un modo per farlo?

Che ne dici di usare fallocate, questo strumento ci consente di preallocare lo spazio per un file (se il filesystem supporta questa funzione). Ad esempio, allocando 5 GB di dati in un file chiamato 'esempio', si può fare:

fallocate -l 5G example

Questo è molto più veloce di dd e assegnerà lo spazio molto rapidamente.

È possibile utilizzare ddper creare un file costituito esclusivamente da zeri. Esempio:

dd if=/dev/zero of=zeros.img count=1 bs=1 seek=$((10 * 1024 * 1024 * 1024 - 1))

Questo è molto veloce perché solo un byte è realmente scritto sul disco fisico. Tuttavia, alcuni file system non lo supportano.

Se si desidera creare un file contenente contenuti pseudo-casuali, eseguire:

dd if=/dev/urandom of=random.img count=1024 bs=10M

Ti suggerisco di usare 10M come dimensione del buffer ( bs). Questo perché 10M non è troppo grande, ma offre comunque una buona dimensione del buffer. Dovrebbe essere piuttosto veloce, ma dipende sempre dalla velocità del tuo disco e dalla potenza di elaborazione.

Usando dd, questo dovrebbe creare un file da 10 GB pieno di dati casuali:

dd if=/dev/urandom of=test1 bs=1M count=10240

count è in megabyte.

Fonte: stackoverflow - Come creare un file con una determinata dimensione in Linux?

Rispondere alla prima parte della tua domanda:

Cercare di scrivere un buffer di 5 GB alla volta non è una buona idea poiché il kernel probabilmente non lo supporta. Non ti darà alcun vantaggio in termini di prestazioni in ogni caso. Scrivere 1M alla volta è un buon massimo.

Questa domanda è stata aperta 5 anni fa. Mi sono appena imbattuto in questo e volevo aggiungere le mie scoperte.

Se lo usi semplicemente

dd if=/dev/urandom of=random.img count=1024 bs=10M

funzionerà in modo significativamente più veloce, come spiegato da xiaodongjie. Ma puoi renderlo ancora più veloce usando eatmydatalike

eatmydata dd if=/dev/urandom of=random.img count=1024 bs=10M

Ciò che eatmydatafa è disabilitare fsync rendendo la scrittura del disco più veloce.

Puoi leggere di più a riguardo su https://flamingspork.com/projects/libeatmydata/ .