Scrivi Python stdout sul file immediatamente

Quando si tenta di scrivere lo stdout da uno script Python in un file di testo ( python script.py > log), il file di testo viene creato all'avvio del comando, ma il contenuto effettivo non viene scritto fino al termine dello script Python. Per esempio:

script.py:

import time
for i in range(10):
    print('bla')
    time.sleep(5)

stampa su stdout ogni 5 secondi quando viene chiamato con python script.py, ma quando chiamo python script.py > log, la dimensione del file di registro rimane zero fino al termine dello script. È possibile scrivere direttamente nel file di registro, in modo da poter seguire l'avanzamento dello script (ad es. Utilizzando tail)?

EDIT Si scopre che python -u script.pyfa il trucco, non sapevo del buffering di stdout.

Ciò accade perché normalmente quando il processo STDOUT viene reindirizzato a qualcosa di diverso da un terminale, l'output viene bufferizzato in un buffer di dimensioni specifiche del sistema operativo (forse 4k o 8k in molti casi). Al contrario, quando si effettua l'output su un terminale, STDOUT sarà bufferizzato in linea o non bufferizzato, quindi vedrai l'output dopo ciascuno \no per ciascun carattere.

In genere è possibile modificare il buffer STDOUT con l' stdbufutilità:

stdbuf -oL python script.py > log

Ora, se dovessi tail -F log, dovresti vedere immediatamente ogni linea in uscita mentre viene generata.

In alternativa, il lavaggio esplicito del flusso di output dopo ogni stampa dovrebbe ottenere lo stesso risultato. Sembra che sys.stdout.flush()dovrebbe raggiungere questo obiettivo in Python. Se si sta utilizzando Python 3.3 o più recente, la printfunzione ha anche una flushparola chiave che fa questo: print('hello', flush=True).

Questo dovrebbe fare il lavoro:

import time, sys
for i in range(10):
    print('bla')
    sys.stdout.flush()
    time.sleep(5)

Poiché Python eseguirà il buffer stdoutper impostazione predefinita, qui ho utilizzato sys.stdout.flush()per svuotare il buffer.

Un'altra soluzione sarebbe quella di utilizzare l' -uopzione (senza buffer) di python. Quindi, farà anche questo:

python -u script.py >> log

La variazione sul tema dell'utilizzo dell'opzione di python per l'output senza buffer sarebbe quella di utilizzare #!/usr/bin/python -ucome prima riga.

Con #!/usr/bin/env pythonquell'argomento in più che non funzionerà, quindi in alternativa, si potrebbe eseguire PYTHONUNBUFFERED=1 ./my_scriipt.py > output.txto farlo in due passaggi:

$ export PYTHONUNBUFFERED=1
$ ./myscript.py

Dovresti passare flush=Truealla printfunzione:

import time

for i in range(10):
    print('bla', flush=True)
    time.sleep(5)

Secondo la documentazione, per impostazione predefinita, printnon impone nulla sul lavaggio:

Se l'output è bufferizzato viene solitamente determinato dal file, ma se l' flushargomento della parola chiave è vero, il flusso viene forzatamente scaricato.

E la documentazione per sysgli strems dice:

Quando interattivi, i flussi standard sono bufferizzati. Altrimenti, sono bufferizzati a blocchi come normali file di testo. È possibile ignorare questo valore con l' -uopzione della riga di comando.

Se sei bloccato con una versione antica di Python devi chiamare il flushmetodo del sys.stdoutflusso:

import sys
import time

for i in range(10):
    print('bla')
    sys.stdout.flush()
    time.sleep(5)