Esiste un'utilità Unix per anteporre i timestamp a stdin?

Ho finito per scrivere una breve sceneggiatura per questo in Python, ma mi chiedevo se esistesse un'utilità in cui poter inserire del testo che anteponesse ogni riga con del testo - nel mio caso specifico, un timestamp. Idealmente, l'uso sarebbe qualcosa del tipo:

cat somefile.txt | prepend-timestamp

(Prima di rispondere a sed, ho provato questo:

cat somefile.txt | sed "s/^/`date`/"

Ma questo valuta il comando date solo una volta quando sed viene eseguito, quindi lo stesso timestamp è erroneamente anteposto a ciascuna riga.)

Potrei provare a usare awk:

<command> | awk '{ print strftime("%Y-%m-%d %H:%M:%S"), $0; fflush(); }'

Potrebbe essere necessario accertarsi che <command>produca un output con buffer di linea, ovvero svuota il flusso di output dopo ogni riga; il timestamp awkaggiunge sarà il tempo in cui la fine della riga è apparsa sulla relativa pipe di input.

Se awk mostra errori, prova gawkinvece.

tsda moreutils anteporrà un timestamp a ogni riga di input che gli dai. Puoi formattarlo anche usando strftime.

$ echo 'foo bar baz' | ts
Mar 21 18:07:28 foo bar baz
$ echo 'blah blah blah' | ts '%F %T'
2012-03-21 18:07:30 blah blah blah
$ 

Per installarlo:

sudo apt-get install moreutils

annotate , disponibile tramite quel link o come annotate-outputnel devscriptspacchetto Debian .

$ echo -e "a\nb\nc" > lines
$ annotate-output cat lines
17:00:47 I: Started cat lines
17:00:47 O: a
17:00:47 O: b
17:00:47 O: c
17:00:47 I: Finished with exitcode 0

Distillare le risposte fornite alla più semplice possibile:

unbuffer $COMMAND | ts

Su Ubuntu, provengono dai pacchetti prevedono-dev e moreutils.

sudo apt-get install expect-dev moreutils

Cosa ne pensi di questo?

cat somefile.txt | perl -pne 'print scalar(localtime()), " ";'

A giudicare dal tuo desiderio di ottenere timestamp dal vivo, forse vuoi fare l'aggiornamento dal vivo su un file di registro o qualcosa del genere? Può essere

tail -f /path/to/log | perl -pne 'print scalar(localtime()), " ";' > /path/to/log-with-timestamps

Lo lancerò là fuori: ci sono un paio di utility nei demoni chiamati tai64n e tai64nlocal che sono fatte per anteporre timestamp per registrare i messaggi.

Esempio:

cat file | tai64n | tai64nlocal

La risposta di Kieron è la migliore finora. Se hai problemi perché il primo programma sta eseguendo il buffering, puoi usare il programma unbuffer:

unbuffer <command> | awk '{ print strftime("%Y-%m-%d %H:%M:%S"), $0; }'

È installato di default sulla maggior parte dei sistemi Linux. Se è necessario crearlo da soli, fa parte del pacchetto prevede

http://expect.nist.gov

Utilizzare il comando read (1) per leggere una riga alla volta dall'input standard, quindi emettere la riga anteposta con la data nel formato scelto usando date (1).

$ cat timestamp
#!/bin/sh
while read line
do
  echo `date` $line
done
$ cat somefile.txt | ./timestamp

Non sono un ragazzo Unix, ma penso che tu possa usare

gawk '{print strftime("%d/%m/%y",systime()) $0 }' < somefile.txt

#! /bin/sh
unbuffer "$@" | perl -e '
use Time::HiRes (gettimeofday);
while(<>) {
        ($s,$ms) = gettimeofday();
        print $s . "." . $ms . " " . $_;
}'

Ecco la mia soluzione awk (da un sistema Windows / XP con MKS Tools installato nella directory C: \ bin). È progettato per aggiungere la data e l'ora correnti nella forma mm / gg hh: mm all'inizio di ogni riga dopo aver recuperato il timestamp dal sistema mentre viene letta ogni riga. Naturalmente, è possibile utilizzare il modello BEGIN per recuperare il timestamp una volta e aggiungere quel timestamp a ciascun record (lo stesso). Ho fatto questo per taggare un file di registro che veniva generato su stdout con il timestamp al momento della generazione del messaggio di registro.

/"pattern"/ "C\:\\\\bin\\\\date '+%m/%d %R'" | getline timestamp;
print timestamp, $0;

dove "pattern" è una stringa o regex (senza virgolette) da abbinare nella riga di input ed è facoltativo se si desidera abbinare tutte le righe di input.

Questo dovrebbe funzionare anche su sistemi Linux / UNIX, basta eliminare C \: \\ bin \\ lasciando la linea

             "date '+%m/%d %R'" | getline timestamp;

Questo, naturalmente, presuppone che il comando "date" porti al comando standard display / set di date Linux / UNIX senza specifiche informazioni sul percorso (ovvero, la variabile PATH dell'ambiente sia configurata correttamente).

Mescolando alcune risposte sopra da Natevw e Frank Ch. Eigler.

Ha millisecondi, funziona meglio che chiamare dateogni volta un comando esterno e il perl può essere trovato nella maggior parte dei server.

tail -f log | perl -pne '
  use Time::HiRes (gettimeofday);
  use POSIX qw(strftime);
  ($s,$ms) = gettimeofday();
  print strftime "%Y-%m-%dT%H:%M:%S+$ms ", gmtime($s);
  '

Versione alternativa con flush e read in loop:

tail -f log | perl -pne '
  use Time::HiRes (gettimeofday); use POSIX qw(strftime);
  $|=1;
  while(<>) {
    ($s,$ms) = gettimeofday();
    print strftime "%Y-%m-%dT%H:%M:%S+$ms $_", gmtime($s);
  }'

$ cat somefile.txt | sed "s/^/`date`/"

puoi farlo (con gnu / sed ):

$ some-command | sed "x;s/.*/date +%T/e;G;s/\n/ /g"

esempio:

$ { echo 'line1'; sleep 2; echo 'line2'; } | sed "x;s/.*/date +%T/e;G;s/\n/ /g"
20:24:22 line1
20:24:24 line2

ovviamente, puoi usare altre opzioni della data del programma . sostituiscilo date +%Tcon quello che ti serve.

La risposta di caerwyn può essere eseguita come una subroutine, che impedirebbe i nuovi processi per riga:

timestamp(){
   while read line
      do
         echo `date` $line
      done
}

echo testing 123 |timestamp

Disclaimer : la soluzione che sto proponendo non è un'utilità integrata Unix.

Ho affrontato un problema simile qualche giorno fa. Non mi piacevano la sintassi e i limiti delle soluzioni sopra, quindi ho rapidamente messo insieme un programma in Go per fare il lavoro per me.

Puoi controllare lo strumento qui: preftime

Esistono eseguibili predefiniti per Linux, MacOS e Windows nella sezione Rilasci del progetto GitHub.

Lo strumento gestisce linee di output incomplete e ha (dal mio punto di vista) una sintassi più compatta.

<command> | preftime

Non è l'ideale, ma ho pensato di condividerlo nel caso in cui aiuti qualcuno.

farlo con datee tre xargssu OSX:

alias predate="xargs -I{} sh -c 'date +\"%Y-%m-%d %H:%M:%S\" | tr \"\n\" \" \"; echo \"{}\"'"
<command> | predate

se vuoi millisecondi:

alias predate="xargs -I{} sh -c 'date +\"%Y-%m-%d %H:%M:%S.%3N\" | tr \"\n\" \" \"; echo \"{}\"'"

ma nota che su OSX, date non ti dà l'opzione% N, quindi dovrai installare gdate ( brew install coreutils) e quindi finalmente arrivare a questo:

alias predate="xargs -I{} sh -c 'gdate +\"%Y-%m-%d %H:%M:%S.%3N\" | tr \"\n\" \" \"; echo \"{}\"'"

Se il valore che stai anteponendo è lo stesso su ogni riga, avvia emacs con il file, quindi:

Ctrl + <space>

all'inizio del file (per contrassegnare quel punto), quindi scorrere verso il basso fino all'inizio dell'ultima riga (Alt +> andrà alla fine del file ... che probabilmente coinvolgerà anche il tasto Maiusc, quindi Ctrl + a per andare all'inizio di quella riga) e:

Ctrl + x r t

Qual è il comando da inserire nel rettangolo che hai appena specificato (un rettangolo di larghezza 0).

2008-8-21 18:45 <invio>

O qualunque cosa tu voglia anteporre ... vedrai quel testo anteposto ad ogni riga all'interno del rettangolo di larghezza 0.

AGGIORNAMENTO: Ho appena capito che non vuoi la stessa data, quindi questo non funzionerà ... anche se potresti essere in grado di farlo in emacs con una macro personalizzata leggermente più complicata, ma comunque, questo tipo di modifica del rettangolo è molto carino da sapere su ...