L'uso di jq all'interno della catena di tubi non produce alcun output

La questione della jqnecessità di un filtro esplicito quando viene reindirizzato l'output è discussa in tutto il Web. Ma non riesco a reindirizzare l'output se jqfa parte di una catena di pipe, anche quando è in uso un filtro esplicito.

Ritenere:

touch in.txt
tail -f in.txt | jq '.f1'
# in a different terminal:
echo '{"f1":1,"f2":2}' >> in.txt
echo '{"f1":3,"f2":2}' >> in.txt

Come previsto, l'output nel jqcomando originale dal comando è:

1
3

Ma se aggiungo qualsiasi tipo di reindirizzamento o piping alla fine del jqcomando, l'output diventa silenzioso:

rm in.txt
touch in.txt
tail -f in.txt | jq '.f1' | tee out.txt
# in a different terminal:
echo '{"f1":1,"f2":2}' >> in.txt
echo '{"f1":3,"f2":2}' >> in.txt

Nessun output appare nel primo terminale e out.txt è vuoto.

Ho provato centinaia di varianti ma è un problema sfuggente. L'unica soluzione che ho trovato , come scoperto attraverso mosquitto_sube The Things Network (che era anche il punto in cui ho scoperto il problema), è di avvolgere le funzioni tail e jq in uno script shell:

#!/bin/bash
tail -f $1 | while IFS='' read line; do
echo $line | jq '.f1'
done

Poi:

./tail_and_jq.sh | tee out.txt
# in a different terminal:
echo '{"f1":1,"f2":2}' >> in.txt
echo '{"f1":3,"f2":2}' >> in.txt

E abbastanza sicuro, l'output appare:

1
3

Questo è con l'ultimo jqinstallato tramite Homebrew:

$ echo $SHELL
/bin/bash
$ jq --version
jq-1.5
$ brew install jq
Warning: jq 1.5_3 is already installed and up-to-date

Si tratta di un bug (ampiamente non documentato) all'interno jqo con la mia comprensione delle catene di tubi?

L'output da jqviene bufferizzato quando viene convogliata l'output standard.

Per richiedere che jqsvuota il buffer di output dopo ogni oggetto, utilizzare la sua --unbufferedopzione, ad es

tail -f in.txt | jq --unbuffered '.f1' | tee out.txt

Dal jqmanuale:

--unbuffered

Svuota l'output dopo aver stampato ogni oggetto JSON (utile se stai eseguendo il piping di un'origine dati lenta e l'output del jqpiping jqaltrove).

Quello che vedi qui è il buffering C stdio in azione. Memorizzerà l'output su un buffer fino a raggiungere un certo limite (potrebbe essere 512 byte o 4KB o superiore) e quindi invierà tutto in una volta.

Questo buffering viene disabilitato automaticamente se stdout è collegato a un terminale, ma quando è collegato a una pipe (come nel tuo caso), abiliterà questo comportamento di buffering.

Il solito modo per disabilitare / controllare il buffering è usare la setvbuf()funzione (vedi questa risposta per maggiori dettagli), ma ciò dovrebbe essere fatto nel codice sorgente di jqse stesso, quindi forse non è qualcosa di pratico per te ...

C'è una soluzione alternativa ... (Un hack, si potrebbe dire.) C'è un programma chiamato "unbuffer", distribuito con "prevedono" che può creare uno pseudo-terminale e collegarlo a un programma. Quindi, anche se jqcontinuerà a scrivere su una pipe, penserà che sta scrivendo su un terminale e l'effetto buffering sarà disabilitato.

Installa il pacchetto "prevede", che dovrebbe venire con "unbuffer", se non lo hai già ... Ad esempio, su Debian (o Ubuntu):

$ sudo apt-get install expect

Quindi puoi usare questo comando:

$ tail -f in.txt | unbuffer -p jq '.f1' | tee out.txt

Vedi anche questa risposta per ulteriori dettagli su "unbuffer", e puoi trovare anche una pagina man qui .