Unix & Linux performance

5

Milioni di (piccoli) file di testo in una cartella

Vorremmo archiviare milioni di file di testo in un filesystem Linux, con lo scopo di essere in grado di comprimere e servire una raccolta arbitraria come servizio. Abbiamo provato altre soluzioni, come un database chiave / valore, ma i nostri requisiti di concorrenza e parallelismo rendono l'utilizzo del filesystem nativo …

15 files filesystems performance ext4

1

In che modo iotop calcola l'attività I / O relativa?

Sto eseguendo alcuni processi I / O pesanti sulla mia workstation e recentemente installato iotopper monitorarli. Ecco uno screenshot recente: Sono un po 'confuso riguardo alle letture nella IO>colonna. Indica che il mio disco funziona a circa il 1500% di attività I / O. È anche possibile? Come capire il …

15 performance io disk top

2

Il modo più veloce per eliminare i duplicati in un elenco di parole di grandi dimensioni?

Devo deduplicare un ampio elenco di parole. Ho provato diversi comandi e ho fatto alcune ricerche qui e qui in cui spiegano che il modo più veloce per deduplicare un elenco di parole sembra usare awk. awk -> O (n)? ordina -> O (n registro n)? Tuttavia ho scoperto che …

14 bash awk performance sort

2

Esecuzione di migliaia di processi in background di arricciatura in parallelo nello script bash

Sto eseguendo migliaia di processi in background di curl in parallelo nel seguente script bash START=$(date +%s) for i in {1..100000} do curl -s "http://some_url_here/"$i > $i.txt& END=$(date +%s) DIFF=$(( $END - $START )) echo "It took $DIFF seconds" done Ho un server dedicato Corei7-920 da 49Gb (non virtuale). Traccio …

14 linux performance bash curl wget

1

Ionice funziona con lo scheduler delle scadenze?

I miei sistemi Debian Wheezy usano lo deadlinescheduler. Sono abituato a usare ioniceper riprogrammare la priorità I / O dei lavori ad alta intensità di disco in periodi di grande affluenza, e aneddoticamente questo sembra aiutare (ma non ho prove concrete). La ionicemanpage , la documentazione del kernel e questo …

13 linux performance

6

Posso parallelizzare l'ordinamento?

Ad esempio per bzipc'è pbzip , una versione parallela di bzip. Esistono tali strumenti di parallelizzazione per sortmigliorare le prestazioni?

13 performance sort

4

Grep in un paio di migliaia di file

Ho una directory con 26000 file cca e ho bisogno di grep in tutti questi file. Il problema è che ne ho bisogno il più velocemente possibile, quindi non è l'ideale creare script in cui grep prenderà il nome di un file dal comando find e scriverà le corrispondenze nel …

13 files grep performance

1

Le barriere disabilitanti per ext4 sono sicure su un laptop con batteria?

La pagina di manuale dice barriersull'opzione per ext4: Le barriere di scrittura impongono il corretto ordinamento su disco dei commit dei journal, rendendo sicure le cache di scrittura su disco volatili da usare, a un certo livello di performance. Se i dischi sono supportati da una batteria in un modo …

13 hard-disk performance ext4 laptop cache

3

Attività di scrittura pesante sulle prestazioni del sistema SSD Nukes

Ho notato che quando eseguo pesanti applicazioni di scrittura, l'intero sistema rallenta. Per testarlo ulteriormente, l'ho eseguito per fare un'attività (relativamente) a CPU bassa e alta: john -incremental > file_on_SSD Questo pompa decine di migliaia di stringhe al secondo in un file sul mio disco di sistema. Quando lo fa, …

13 kernel performance io ssd

1

Utilizzo di cgroup Linux per bilanciare le prestazioni della CPU

Ho due sistemi Linux dual-core installati usando cgroup Linux con kernel relativamente recenti; uno esegue Debian Squeeze, l'altro Ubuntu 11.04 Natty Narwhal. Ho ottenuto un bilanciamento del carico della CPU con i cgroups che funzionano un po 'meglio sul sistema Debian nonostante il suo kernel più vecchio. Ma non è …

13 linux performance cgroups

2

Come impedire l'esecuzione dei lavori cron durante determinati periodi in Debian? (una "modalità di gioco" / "modalità di esecuzione")

Sembra che ho logcheck impostato come un lavoro cron e ogni volta che è processo di esecuzione grepda parte logcheckoccupa circa ¼ della mia CPU. Ora ho alcuni periodi durante i quali ho bisogno della mia piena capacità della CPU e il mio sistema occupa il minor numero di risorse …

12 debian cron performance cpu laptop

1

Perché elaborare CPU% Utilizzo maggiore del tempo totale della CPU

Quando eseguo il comando TOP, un processo mostra un consumo della CPU del 1208% e il tempo di utilizzo totale della CPU è dell'81,7% con la modalità IRIX attiva. Quando passo alla modalità IRIX disattivata, il processo mostra un utilizzo della CPU del 99% e il tempo totale della CPU …

12 performance cpu top

1

Perché `strace` non mostra che questo processo sta aspettando qualcosa?

Il potente stracemi ha deluso. Com'è possibile? time foomostra che l' fooesecuzione di alcuni secondi ("reale"), ma utilizza un tempo della CPU trascurabile, sia nello spazio utente ("utente") che nel kernel ("sys"). Per i curiosi, fooè definito di seguito. Quindi passa la maggior parte del tempo ad aspettare qualcos'altro, non …

11 performance time strace

3

Come configurare lo swappiness in Linux Memory Management?

Il parametro swappiness controlla la tendenza del kernel a spostare i processi dalla memoria fisica al disco di swap. Qual è l'impostazione predefinita e come configurarla per migliorare le prestazioni generali ?

11 linux performance swap

2

Riduzione massiccia e imprevedibile delle prestazioni di I / O in Linux

Sto usando i test Debian senza problemi per ~ 6 anni (lo sto solo aggiornando regolarmente), ma recentemente ha iniziato a mostrare un comportamento casuale che può essere riassunto come "Prestazioni di I / O basse che persistono fino al riavvio". Il problema è che improvvisamente tutte le letture e …

11 linux performance io

Domande taggate «performance»