Ho un programma Linux che può scrivere informazioni su stdout e stderr.

Ho uno script di shell che reindirizza l'output su un file /var/log. (Via >>e 2>&1.)

C'è un modo per far ruotare quel file di registro? (dimensione massima, quindi passa a un altro file, mantieni solo un numero limitato di file)

Ho visto alcune risposte che parlano del logrotateprogramma, che suona bene, ma sembrano anche concentrarsi su programmi che generano internamente file di registro e gestiscono segnali HUP. C'è un modo per farlo funzionare con uno script di reindirizzamento dell'output di base?

In alternativa, è possibile reindirizzare l'output tramite strumenti progettati con lo scopo principale di mantenere set di file di registro con dimensioni limitate, ruotati automaticamente, come:

• Dan Bernstein è multilogdi daemontools
• Bruce Guenter del multilogdaemontools-encore
• Laurent Bercot è s6-logdi s6
• Gerrit Pape è svlogddi Runit
• Wayne Marshall è tinylogdel perp
• Il mio cyclogda nosh

Gli strumenti per elaborare i multilogformati di file di log di formattazione includono, tra gli altri:

• Russ Allbery's multilog-watch
• logrange
• Paul Kremer multilog-stamptail
• Il mio follow-log-directoriesda nosh
• Il mio export-to-rsyslogda nosh

Ulteriori letture

• Jonathan de Boyne Pollard (2015). " Registrazione ". La famiglia dei daemontools . Risposte frequentemente fornite.
• Jonathan de Boyne Pollard (2016). Non usare logrotateo newsyslogin questo secolo. . Risposte frequentemente fornite.
• https://unix.stackexchange.com/a/326166/5132

lo rotatelogsstrumento fornito con apache (nella bindirectory) (vedi documenti ) accetta input da stdin e ruota il registro dopo un determinato periodo di tempo

Se puoi farlo andare su uno dei flussi di log standard (syslog, demone, cron, utente, sicurezza, posta, ecc.) Puoi invece usare il loggercomando e pipe ad esso.

echo "Hello." | logger -p daemon.info

Altrimenti, è meglio eseguire il piping del contenuto registrato a un programma o script personalizzato per gestirlo o guardare l'impostazione della logrotateconfigurazione.

EDIT: la risposta di JdeBP sembra avere quello che potresti cercare.

Ho avuto un problema simile e inizialmente avevo scartato logrotate ma si è scoperto che logrotate può effettivamente farlo bene, la direttiva chiave è " copytruncate ". Per qualche motivo quel termine non è emerso in nessuno dei googling che ho fatto, quindi sto aggiungendo questa risposta per chiarire esattamente come usarlo per questo caso.

Il trucco è che funziona solo se il reindirizzamento viene eseguito con " >> " (append) anziché " > " (create).

File di configurazione (truncate.cfg):

/tmp/temp.log {
    size 10M
    copytruncate
    rotate 4
    maxage 100
}

Programma di prova (non rinuncia mai al file). Puoi vederlo riempire il disco e sebbene l'eliminazione del file di registro sembrerà funzionare, in realtà non libererà spazio sul disco:

cat /dev/urandom >> /tmp/temp.log

Ruota registro in esecuzione:

logrotate truncate.cfg

Quindi c'è un modo per far funzionare logrotate con lo stdout reindirizzato di un processo in corso?

Sì! Scopri la direttiva "copytruncate" offerta da logrotate. Specificare che indica a logrotate di gestire proprio questa situazione: un semplice programma che mantiene il suo file di registro aperto indefinitamente.

Un avvertimento può o meno essere un problema nella tua situazione:

Si noti che c'è un intervallo di tempo molto piccolo tra la copia del file e il suo troncamento, quindi alcuni dati di registrazione potrebbero andare persi.

Aneddoticamente, ho visto alcune fonti di log del "mondo reale" che incoraggiano gli utenti ad applicare questa direttiva. C'è qualche discussione su questa opzione qui .

Usa split, fa parte di coreutils. Può prendere lo stdin e dividerlo in blocchi (in base alla dimensione del blocco, al numero di linee, ecc.).

Esempio:

app | split --bytes 1G - /var/logs/put-prefix-here

Il trattino della nota (-) indica a "split" di usare stdin invece del file.

Mi piace multilogper il mio caso d'uso, ma il mio caso d'uso è così banale / semplice che non è esposto molto semplicemente nei documenti / esempi che ho trovato. Ecco un semplice esempio di rotazione multipla:

mkdir /tmp/myapp
./myapp | multilog t s10000 n5 '!tai64nlocal' /tmp/myapp 2>&1

Alcune note:

• questo dump accede a quella directory / tmp / myapp /
• s10000 rappresenta 10.000 byte *
• n5 rappresenta 5 file. * Il registro 'corrente' conta come uno dei file, quindi include 4 registri più vecchi + 'corrente'
• questo si basa, adattato dagli esempi forniti da François Beausoleil su: http://blog.teksol.info/pages/daemontools/best-practices
• Non capisco molte delle opzioni - ti rimando alla diversa documentazione per estendere questo ...
• I documenti avvertono che: "Note that running processor may block any program feeding input to multilog."dove "processore" è la '!tai64nlocal'parte del comando

* Per molte applicazioni, queste sono scelte sbagliate per un uso a lungo termine. Consentono di osservare il comportamento del riempimento e della rotazione dei registri più rapidamente rispetto ai registri di grandi dimensioni.

Infine, non dimenticare di fare nulla se necessario! Con nohup, non hai bisogno di 2>&1(s = 10e6 e n = 30 qui):

mkdir -p /tmp/myapp
nohup ./myapp | multilog t s10000000 n30 '!tai64nlocal' /tmp/myapp &

Questo comando dovrebbe iniziare.

Volevo solo aggiungere al commento di Sam Hendley sopra:

Il trucco è che funziona solo se il reindirizzamento viene eseguito con >>(append) anziché >(create).

Ho riscontrato lo stesso problema in cui il file originale continua a crescere se si utilizza >(crea) ma se si utilizza >>(aggiungi) Logrotate copytruncate funziona perfettamente e come previsto. Il file originale torna a zero byte e il programma continua a scrivere.

Reindirizzare STDOUT e STDERR su un file di registro rotante:

1. some-program.sh >> /tmp/output.txt 2>&1 &

2. Crea un file di configurazione logrotate sotto /etc/logrotate.dqualunque cosa, output_roll nel mio caso.

   Esempio di configurazione per il mio caso:

   /tmp/output.txt {
       notifempty
       missingok
       size 1G
       copytruncate
       start 0
       rotate 15
       compress
   }
   

3. Imposta il tuo cron job all'interno del /etc/crontabfile

   *  *  *  *  * root /usr/sbin/logrotate /etc/logrotate.d/output_roll
   

   Questo controllerà il file ogni minuto. Puoi adattarti alle tue esigenze.

4. Avvialo:

   $> service crond restart
   

5. Questo è tutto

Nota: ho anche avuto un problema con SELinux impostato su, SELINUX=enforcingquindi l'ho impostato su SELINUX=disabled.

Ho scritto un logrotee questo fine settimana. Probabilmente non lo farei se avessi letto la grande risposta di @ JdeBP e multilog.

Mi sono concentrato sul fatto che fosse leggero e in grado di bzip2 i suoi blocchi di output come:

verbosecommand | logrotee \
  --compress "bzip2 {}" --compress-suffix .bz2 \
  /var/log/verbosecommand.log

Tuttavia, c'è ancora molto da fare e testare.