Come elaborare un file in PowerShell riga per riga come flusso

Sto lavorando con alcuni file di testo multi-gigabyte e desidero eseguire l'elaborazione del flusso su di essi utilizzando PowerShell. È roba semplice, basta analizzare ogni riga ed estrarre alcuni dati, quindi archiviarli in un database.

Sfortunatamente, get-content | %{ whatever($_) }sembra mantenere in memoria l'intero insieme di linee in questa fase del tubo. È anche sorprendentemente lento, impiegando molto tempo per leggerlo effettivamente tutto.

Quindi la mia domanda è composta da due parti:

1. Come posso fare in modo che elabori lo stream riga per riga e non mantenga l'intera cosa memorizzata nel buffer? Vorrei evitare di utilizzare diversi giga di RAM per questo scopo.
2. Come posso farlo funzionare più velocemente? L'iterazione di PowerShell su un get-contentsembra essere 100 volte più lenta di uno script C #.

Spero che ci sia qualcosa di stupido che sto facendo qui, come perdere un -LineBufferSizeparametro o qualcosa del genere ...

Se stai davvero per lavorare su file di testo multi-gigabyte, non utilizzare PowerShell. Anche se trovi un modo per leggerlo, l'elaborazione più rapida di enormi quantità di righe sarà comunque lenta in PowerShell e non puoi evitarlo. Anche i loop semplici sono costosi, diciamo per 10 milioni di iterazioni (abbastanza reali nel tuo caso) abbiamo:

# "empty" loop: takes 10 seconds
measure-command { for($i=0; $i -lt 10000000; ++$i) {} }

# "simple" job, just output: takes 20 seconds
measure-command { for($i=0; $i -lt 10000000; ++$i) { $i } }

# "more real job": 107 seconds
measure-command { for($i=0; $i -lt 10000000; ++$i) { $i.ToString() -match '1' } }

AGGIORNAMENTO: se non hai ancora paura, prova a utilizzare il lettore .NET:

$reader = [System.IO.File]::OpenText("my.log")
try {
    for() {
        $line = $reader.ReadLine()
        if ($line -eq $null) { break }
        # process the line
        $line
    }
}
finally {
    $reader.Close()
}

AGGIORNAMENTO 2

Ci sono commenti su un codice forse migliore / più breve. Non c'è niente di sbagliato nel codice originale con fore non è uno pseudo-codice. Ma la variante più breve (più breve?) Del ciclo di lettura è

$reader = [System.IO.File]::OpenText("my.log")
while($null -ne ($line = $reader.ReadLine())) {
    $line
}

System.IO.File.ReadLines()è perfetto per questo scenario. Restituisce tutte le righe di un file, ma consente di iniziare immediatamente l'iterazione sulle righe, il che significa che non è necessario memorizzare l'intero contenuto in memoria.

Richiede .NET 4.0 o superiore.

foreach ($line in [System.IO.File]::ReadLines($filename)) {
    # do something with $line
}

http://msdn.microsoft.com/en-us/library/dd383503.aspx

Se vuoi usare PowerShell diretto controlla il codice seguente.

$content = Get-Content C:\Users\You\Documents\test.txt
foreach ($line in $content)
{
    Write-Host $line
}