Piping con Moreutils ts

Ho un flusso in entrata su una porta seriale, con nuove linee che appaiono circa una volta al secondo

wren@Raven:~$ cat /dev/ttyUSB0

A_Sensor1,B_22.00,C_50.00

A_Sensor1,B_22.00,C_50.00

A_Sensor1,B_22.00,C_50.00

A_Sensor1,B_22.00,C_50.00

A_Sensor1,B_22.00,C_50.00

Voglio eliminare le righe vuote e timestamp il resto.

sed eliminerà le righe vuote e aggiungerà un timestamp, ma non riesco a fare l'aggiornamento del timestamp, riporta solo l'ora in cui è stato invocato:

wren@Raven:~$ cat /dev/ttyUSB0 | sed -e '/^$/d' -e "s/$/`date +\,%F\,%T`/"
A_Sensor1,B_22.00,C_50.00,2014-05-14,09:44:42
A_Sensor1,B_22.00,C_50.00,2014-05-14,09:44:42
A_Sensor1,B_22.00,C_50.00,2014-05-14,09:44:42
A_Sensor1,B_22.00,C_50.00,2014-05-14,09:44:42
A_Sensor1,B_22.00,C_50.00,2014-05-14,09:44:42
A_Sensor1,B_22.00,C_50.00,2014-05-14,09:44:42
A_Sensor1,B_22.00,C_50.00,2014-05-14,09:44:42
^C

Ho trovato ts, parte di Moreutils, e posso convogliarlo per ottenere un timestamp di aggiornamento.

wren@Raven:~$ cat /dev/ttyUSB0 |  ts
May 14 09:49:26 A_Sensor1,B_22.00,C_50.00
May 14 09:49:26
May 14 09:49:27 A_Sensor1,B_22.00,C_50.00
^C

Tuttavia, non riesco a combinare correttamente ts con sed.

Questo, che sembra che dovrebbe fare quello che voglio, non produce alcun risultato

wren@Raven:~$ cat /dev/ttyUSB0 | sed -e '/^$/d' | ts
^C
wren@Raven:~$

Tuttavia, invertire l'ordine dei tubi produce un output, ma ovviamente non spoglia le linee che non sono più vuote. Altre sostituzioni funzionano bene, quindi so che la pipa su sed funziona.

wren@Raven:~$ cat /dev/ttyUSB0 |  ts | sed -e '/^$/d'
May 14 10:07:25 A_Sensor1,B_22.00,C_50.00
May 14 10:07:25
May 14 10:07:26 A_Sensor1,B_22.00,C_50.00
May 14 10:07:26
^C

Quindi sono un po 'sconcertato. Posso presumere che sed rimuova le linee indesiderate, ma il timestamp prima della rimozione deve essere l'approccio sbagliato.

Gradirei una spiegazione e qualche aiuto.

Per rispondere direttamente alla domanda, sedè buffering e questo è l'unico problema.
Puoi risolverlo dicendogli di non bufferizzare con il suo -u/ --unbufferedflag:

sed -u '/^$/d' /dev/ttyUSB0 | ts

Con un cablaggio di prova (ma è necessario eseguirlo per la prova):

$ (echo -e 'banana\n\n'; sleep 2; echo 'cheese') | sed -u '/^$/d' | ts
May 14 11:26:05 banana
May 14 11:26:07 cheese

Puoi imbatterti in situazioni simili con altri editor di stream. A quanto pare tutti vogliono bufferizzare un po '. Tutti però hanno soluzioni alternative. Ecco un sacco di comandi che ho testato:

... | mawk -W interactive '/./' | ts
... | gawk '/./ { print $0; fflush(); }' | ts
... | grep --line-buffered '.' | ts
... | perl -n -e 'print if /./' | ts

Un'altra idea è di lasciarlo gawkgestire. Può filtrare le righe non vuote ed eseguire la stampa della data per te (grazie a SO's Kieron ):

awk '/./ { print strftime("%Y-%m-%d %H:%M:%S"), $0; fflush(); }' /dev/ttyUSB0

Questo arrossisce subito dopo l'arrivo delle righe. gawkÈ particolarmente utile qui se vuoi fare altre cose ... Se vuoi controllare che la quarta colonna di output (pre ts) corrisponda a una regex, puoi (ad esempio $4~/\d{4}/). Awk (e le sue varianti) sono molto flessibili per l'elaborazione in streaming.

Un altro cablaggio di prova:

$ gawk '/./ { print strftime("%Y-%m-%d %H:%M:%S"), $0; fflush(); }' <(
      echo -e 'banana\n\n';
      sleep 2;
      echo 'cheese'
  )
2014-05-14 11:13:59 banana
2014-05-14 11:14:01 cheese

bash può gestirlo in un while readciclo

(echo -e 'banana\n\n'; sleep 2; echo 'cheese') | 
while IFS= read -r line; do 
    [[ $line ]] && echo "$(date "+%F %T") line"
done

2014-05-14 06:34:06 banana
2014-05-14 06:34:08 cheese

Puoi rimuovere le linee con solo spazi bianchi con un'espansione dei parametri complicata: rimuovi tutti gli spazi bianchi iniziali e vedi se la linea è vuota:

shopt -s extglob

(echo -e '  banana\n\t\n'; sleep 2; echo 'cheese') |
while IFS= read -r line; do
    [[ "${line/#+([[:blank:]])/}" ]] && echo "$(date "+%F %T") $line"
done