Incremento contatore nel loop Bash non funzionante

Ho il seguente semplice script in cui sto eseguendo un ciclo e voglio mantenere un COUNTER. Non riesco a capire perché il contatore non si aggiorna. È dovuto alla subshell che viene creata? Come posso risolvere questo problema?

#!/bin/bash

WFY_PATH=/var/log/nginx
WFY_FILE=error.log
COUNTER=0
grep 'GET /log_' $WFY_PATH/$WFY_FILE | grep 'upstream timed out' | awk -F ', ' '{print $2,$4,$0}' | awk '{print "http://domain.com"$5"&ip="$2"&date="$7"&time="$8"&end=1"}' | awk -F '&end=1' '{print $1"&end=1"}' |
(
while read WFY_URL
do
    echo $WFY_URL #Some more action
    COUNTER=$((COUNTER+1))
done
)

echo $COUNTER # output = 0

Innanzitutto, non stai aumentando il contatore. Cambiando COUNTER=$((COUNTER))in COUNTER=$((COUNTER + 1))o COUNTER=$[COUNTER + 1]lo aumenterà.

In secondo luogo, è più complicato propagare indietro le variabili subshell fino al momento in cui si ipotizza. Le variabili in una subshell non sono disponibili al di fuori della subshell. Queste sono variabili locali per il processo figlio.

Un modo per risolverlo è utilizzare un file temporaneo per memorizzare il valore intermedio:

TEMPFILE=/tmp/$$.tmp
echo 0 > $TEMPFILE

# Loop goes here
  # Fetch the value and increase it
  COUNTER=$[$(cat $TEMPFILE) + 1]

  # Store the new value
  echo $COUNTER > $TEMPFILE

# Loop done, script done, delete the file
unlink $TEMPFILE

COUNTER=1
while [ Your != "done" ]
do
     echo " $COUNTER "
     COUNTER=$[$COUNTER +1]
done

BASH TESTATO: Centos, SuSE, RH

COUNTER=$((COUNTER+1)) 

è un costrutto piuttosto goffo nella programmazione moderna.

(( COUNTER++ ))

sembra più "moderno". Puoi anche usare

let COUNTER++

se pensi che migliora la leggibilità. A volte, Bash offre troppi modi di fare le cose - immagino la filosofia Perl - quando forse il Python "esiste un solo modo giusto per farlo" potrebbe essere più appropriato. È un'affermazione discutibile se mai ce n'è stata una! Ad ogni modo, suggerirei che l'obiettivo (in questo caso) non è solo quello di incrementare una variabile ma (regola generale) anche di scrivere codice che qualcun altro possa comprendere e supportare. La conformità fa molto per raggiungerlo.

HTH

Prova ad usare

COUNTER=$((COUNTER+1))

invece di

COUNTER=$((COUNTER))

Penso che questa singola chiamata awk sia equivalente alla tua grep|grep|awk|awkpipeline: per favore testala. Il tuo ultimo comando awk sembra non cambiare nulla.

Il problema con COUNTER è che il ciclo while è in esecuzione in una subshell, quindi qualsiasi modifica alla variabile scompare quando la subshell esce. È necessario accedere al valore di COUNTER nella stessa sottostruttura. Oppure segui il consiglio di @ DennisWilliamson, usa una sostituzione di processo ed evita del tutto la sottotitoli.

awk '
  /GET \/log_/ && /upstream timed out/ {
    split($0, a, ", ")
    split(a[2] FS a[4] FS $0, b)
    print "http://example.com" b[5] "&ip=" b[2] "&date=" b[7] "&time=" b[8] "&end=1"
  }
' | {
    while read WFY_URL
    do
        echo $WFY_URL #Some more action
        (( COUNTER++ ))
    done
    echo $COUNTER
}

count=0   
base=1
(( count += base ))

Invece di utilizzare un file temporaneo, è possibile evitare di creare una subshell attorno al whileciclo utilizzando la sostituzione del processo.

while ...
do
   ...
done < <(grep ...)

A proposito, dovresti essere in grado di trasformare tutto ciò grep, grep, awk, awk, awkin un unicoawk .

A partire da Bash 4.2, c'è lastpipeun'opzione che

esegue l'ultimo comando di una pipeline nel contesto della shell corrente. L'opzione lastpipe non ha alcun effetto se il controllo lavoro è abilitato.

bash -c 'echo foo | while read -r s; do c=3; done; echo "$c"'

bash -c 'shopt -s lastpipe; echo foo | while read -r s; do c=3; done; echo "$c"'
3

minimalista

counter=0
((counter++))
echo $counter

Questo è tutto ciò che devi fare:

$((COUNTER++))

Ecco un estratto da Learning the bash Shell , 3rd Edition, pp. 147, 148:

le espressioni aritmetiche bash sono equivalenti alle loro controparti nei linguaggi Java e C. [9] Precedenza e associatività sono le stesse di C. La tabella 6-2 mostra gli operatori aritmetici supportati. Sebbene alcuni di questi siano (o contengano) caratteri speciali, non è necessario eseguirne il backslash, poiché rientrano nella sintassi $ ((...)).

..........................

Gli operatori ++ e - sono utili quando si desidera incrementare o decrementare un valore di uno. [11] Funzionano come in Java e C, ad es. Valore ++ incrementi valore di 1. Questo si chiama post-incremento ; c'è anche un pre-incremento : ++ valore . La differenza diventa evidente con un esempio:

$ i=0
$ echo $i
0
$ echo $((i++))
0
$ echo $i
1
$ echo $((++i))
2
$ echo $i
2

Vedi http://www.safaribooksonline.com/a/learning-the-bash/7572399/

Questo è un semplice esempio

COUNTER=1
for i in {1..5}
do   
   echo $COUNTER;
   //echo "Welcome $i times"
   ((COUNTER++));    
done

Sembra che non sia stato aggiornato counterlo script, usarecounter++

Ci sono state due condizioni che hanno causato il ((var++))fallimento dell'espressione per me:

1. Se imposto bash su modalità rigorosa ( set -euo pipefail) e se inizio il mio incremento a zero (0).

2. Iniziare da uno (1) va bene ma zero fa sì che l'incremento restituisca "1" quando si valuta "++" che è un errore di codice di ritorno diverso da zero in modalità rigorosa.

Posso usare ((var+=1))o var=$((var+1))per sfuggire a questo comportamento

Lo script di origine ha qualche problema con subshell. Primo esempio, probabilmente non hai bisogno di subshell. Ma non sappiamo cosa sia nascosto sotto "Qualche altra azione". La risposta più popolare ha un bug nascosto, che aumenterà l'I / O e non funzionerà con la subshell, perché ripristina il ciclo interno.

Non aggiungere alcun segno "\", informerà l'interprete bash sulla continuazione della linea. Spero che possa aiutare te o qualcuno. Ma secondo me questo script dovrebbe essere completamente convertito in script AWK, oppure riscritto in python usando regexp o perl, ma la popolarità del perl negli anni è degradata. Meglio farlo con Python.

Versione corretta senza subshell:

#!/bin/bash
WFY_PATH=/var/log/nginx
WFY_FILE=error.log
COUNTER=0
grep 'GET /log_' $WFY_PATH/$WFY_FILE | grep 'upstream timed out' |\
awk -F ', ' '{print $2,$4,$0}' |\
awk '{print "http://example.com"$5"&ip="$2"&date="$7"&time="$8"&end=1"}' |\
awk -F '&end=1' '{print $1"&end=1"}' |\
#(  #unneeded bracket
while read WFY_URL
do
    echo $WFY_URL #Some more action
    COUNTER=$((COUNTER+1))
done
# ) unneeded bracket

echo $COUNTER # output = 0

Versione con subshell se è veramente necessaria

#!/bin/bash

TEMPFILE=/tmp/$$.tmp  #I've got it from the most popular answer
WFY_PATH=/var/log/nginx
WFY_FILE=error.log
COUNTER=0
grep 'GET /log_' $WFY_PATH/$WFY_FILE | grep 'upstream timed out' |\
awk -F ', ' '{print $2,$4,$0}' |\
awk '{print "http://example.com"$5"&ip="$2"&date="$7"&time="$8"&end=1"}' |\
awk -F '&end=1' '{print $1"&end=1"}' |\
(
while read WFY_URL
do
    echo $WFY_URL #Some more action
    COUNTER=$((COUNTER+1))
done
echo $COUNTER > $TEMPFILE  #store counter only once, do it after loop, you will save I/O
)

COUNTER=$(cat $TEMPFILE)  #restore counter
unlink $TEMPFILE
echo $COUNTER # output = 0