Come acquisire STDOUT / STDERR ordinato e aggiungere timestamp / prefissi?

Ho esplorato quasi tutte le domande simili disponibili , senza risultati.

Vorrei descrivere il problema in dettaglio:

Eseguo alcuni script incustoditi e questi possono produrre output standard e righe di errore standard, voglio catturarli nel loro ordine preciso come visualizzato da un emulatore di terminale e quindi aggiungere un prefisso come "STDERR:" e "STDOUT:" a loro.

Ho provato a usare pipe e persino un approccio basato su epoll su di esse, senza risultati. Penso che la soluzione sia nell'uso pty, anche se non sono un maestro in questo. Ho anche dato una sbirciatina al codice sorgente del VTE di Gnome , ma non è stato molto produttivo.

Idealmente avrei usato Go invece di Bash per ottenere questo risultato, ma non sono stato in grado di farlo. Sembra che i tubi proibiscano automaticamente di mantenere un corretto ordine delle linee a causa del buffering.

Qualcuno è stato in grado di fare qualcosa di simile? O è semplicemente impossibile? Penso che se un emulatore di terminale può farlo, allora non lo è - forse creando un piccolo programma C che gestisce i PTY in modo diverso?

Idealmente, vorrei utilizzare l'input asincrono per leggere questi 2 flussi (STDOUT e STDERR) e quindi ristamparli secondo le mie esigenze, ma l'ordine di input è cruciale!

NOTA: sono a conoscenza di stderred ma non funziona per me con gli script Bash e non posso essere facilmente modificato per aggiungere un prefisso (poiché fondamentalmente avvolge un sacco di syscall).

Aggiornamento: aggiunto sotto due elementi

• Programma di esempio che genera stdout / stderr misti
• Uscita prevista dal programma sopra

(i ritardi casuali al secondo possono essere aggiunti nello script di esempio che ho fornito per dimostrare un risultato coerente)

Aggiornamento: la soluzione a questa domanda risolverebbe anche questa altra domanda , come ha sottolineato @Gilles. Tuttavia sono giunto alla conclusione che non è possibile fare ciò che è stato chiesto qua e là. Quando si utilizzano 2>&1entrambi i flussi, questi vengono correttamente uniti a livello di pty / pipe, ma per utilizzare i flussi separatamente e nell'ordine corretto, si dovrebbe effettivamente utilizzare l'approccio di stderred che invoca l'aggancio di syscall e può essere visto come sporco in molti modi.

Non vedo l'ora di aggiornare questa domanda se qualcuno può smentire quanto sopra.

È possibile utilizzare i coprocessi. Semplice wrapper che fornisce entrambi gli output di un determinato comando a due sedistanze (una per stderrl'altra per stdout), che eseguono il tagging.

#!/bin/bash
exec 3>&1
coproc SEDo ( sed "s/^/STDOUT: /" >&3 )
exec 4>&2-
coproc SEDe ( sed "s/^/STDERR: /" >&4 )
eval $@ 2>&${SEDe[1]} 1>&${SEDo[1]}
eval exec "${SEDo[1]}>&-"
eval exec "${SEDe[1]}>&-"

Nota diverse cose:

1. È un incantesimo magico per molte persone (incluso me) - per un motivo (vedere la risposta collegata di seguito).

2. Non vi è alcuna garanzia che non cambi di tanto in tanto un paio di righe - tutto dipende dalla pianificazione dei coprocessi. In realtà, è quasi garantito che ad un certo punto lo farà. Detto questo, se si mantiene l'ordine esattamente lo stesso, è necessario elaborare i dati da entrambi stderre stdinnello stesso processo, altrimenti lo scheduler del kernel può (e lo farà) rovinare.

   Se capisco correttamente il problema, significa che dovresti istruire la shell a reindirizzare entrambi i flussi su un processo (che può essere fatto AFAIK). Il problema inizia quando quel processo inizia a decidere su cosa agire per primo: dovrebbe eseguire il polling di entrambe le origini dati e ad un certo punto entrare nello stato in cui elaborerà un flusso e i dati arriveranno ad entrambi i flussi prima che finisca. Ed è esattamente dove si rompe. Significa anche che avvolgere le syscalls di output come stderredè probabilmente l'unico modo per ottenere il risultato desiderato (e anche in questo caso potresti avere un problema quando qualcosa diventa multithread su un sistema multiprocessore).

Per quanto riguarda i coprocessi, assicurati di leggere l'eccellente risposta di Stéphane in Come usi il comando coproc in Bash? per approfondimenti.

Metodo n. 1. Utilizzando descrittori di file e awk

Che ne dici di qualcosa del genere che usa le soluzioni di questo Q&A SO intitolato: Esiste un'utilità Unix per anteporre timestamp a righe di testo? e questo D&R SO intitolato: pipe STDOUT e STDERR a due diversi processi in shell script? .

L'approccio

Passaggio 1, creiamo 2 funzioni in Bash che eseguiranno il messaggio timestamp quando chiamato:

$ msgOut () {  awk '{ print strftime("STDOUT: %Y-%m-%d %H:%M:%S"), $0; fflush(); }'; }
$ msgErr () {  awk '{ print strftime("STDERR: %Y-%m-%d %H:%M:%S"), $0; fflush(); }'; }

Passo 2 useresti le funzioni sopra come in questo modo per ottenere la messaggistica desiderata:

$ { { { ...command/script... } 2>&3; } 2>&3 | msgErr; } 3>&1 1>&2 | msgOut

Esempio

Qui ho inventato un esempio che scriverà asu STDOUT, dormirà per 10 secondi e quindi scriverà l'output su STDERR. Quando inseriamo questa sequenza di comandi nel nostro costrutto sopra, riceviamo messaggi come specificato.

$ { { echo a; sleep 10; echo >&2 b; } 2>&3 | \
    msgErr; } 3>&1 1>&2 | msgOut
STDERR: 2014-09-26 09:22:12 a
STDOUT: 2014-09-26 09:22:22 b

Metodo n. 2. Utilizzo di annotate-output

C'è uno strumento chiamato annotate-outputche fa parte del devscriptspacchetto che farà quello che vuoi. L'unica limitazione è che deve eseguire gli script per te.

Esempio

Se inseriamo la nostra sequenza di comandi dell'esempio sopra in uno script chiamato mycmds.bashcosì:

$ cat mycmds.bash 
#!/bin/bash

echo a
sleep 10
echo >&2 b

Possiamo quindi eseguirlo in questo modo:

$ annotate-output ./mycmds.bash 
09:48:00 I: Started ./mycmds.bash
09:48:00 O: a
09:48:10 E: b
09:48:10 I: Finished with exitcode 0

Il formato dell'output può essere controllato per la parte timestamp ma non oltre. Ma è un output simile a quello che stai cercando, quindi potrebbe adattarsi al conto.