Analisi dei file di registro per IP frequenti

Quindi, ho hackerato questo insieme mentre subivo un attacco DDOS per estrarre ip cattivi dai miei registri. Qualcuno ha qualche miglioramento o altri suggerimenti per renderlo migliore?

Ecco l'idea generale:

1. estrarre solo ip dal file di registro
2. ordinali
3. uniq e contali
4. riordinali di nuovo

E la stringa o'pipes:
cut --delim " " -f7 /var/log/apache_access | sort | uniq -c | sort -rn > sorted-ips.txt

L'ho sempre usato:

tail -1000 /var/log/apache_access | awk '{print $1}' | sort -nk1 | uniq -c | sort -nk1

Con tailsono in grado di impostare il limite di quanto lontano voglio davvero andare - bene se non si utilizza la rotazione del registro (per qualsiasi motivo), secondo che sto facendo uso di awk- dal momento che la maggior parte dei registri sono delimitati da spazio io ' mi sono lasciato con la possibilità di estrarre informazioni aggiuntive (possibilmente quali URL stavano colpendo, stati, browser, ecc.) aggiungendo la $variabile appropriata . Infine, un difetto uniqfunziona solo in coppie toccanti - IE:

A
A
A
A
B
A
A

Produrrà:

4 A
1 B
2 A

Non l'output desiderato. Quindi ordiniamo la prima colonna (in questo caso l'IP, ma potremmo ordinare altre colonne), quindi le uniqstesse, infine ordiniamo il conteggio crescente in modo che io possa vedere i criminali più alti.

Sembra che tu sia nel bel mezzo di reinventare la ruota fail2ban .

Dai un'occhiata a fail2ban. Probabilmente fa già quello che vuoi e, in caso contrario, è facile da personalizzare.

Marco Ceppi ha ragione awksull'essere uno strumento migliore per questo, ma Awk è anche uno strumento migliore di sorte uniqpoiché questa logica può essere spostata awk. Non fa molta differenza se stai solo tagliando 1000 linee ma se vuoi guardare un enorme file di registro multi-concerto, possono essere ordini di grandezza più veloci a spostarlo in awk.

cat /var/log/apache_access | awk '{freq[$1]++} END {for (x in freq) {print freq[x], x}}' | sort -nfarà ciò di cui hai bisogno ma è molto più veloce per file di grandi dimensioni. Crea un array di IP in awk, usando l'indirizzo IP come chiave e il numero di volte in cui si verifica l'IP come valore.

L'accelerazione arriva perché awk esegue un passaggio sui dati e svolge gran parte del lavoro, tranne che per l'ordinamento dell'output finale. Utilizzando l'altro metodo, se nel registro di trasferimento sono presenti 1.000.000 di righe, awk legge quelle 1.000.000 di righe che emettono 1.000.000 di IP, quindi l'ordinamento va oltre gli interi 1.000.000 di IP, inviando i 1.000.000 di IP ora ordinati a uniq che lo riducono a un valore molto più piccolo quantità di dati prima di fornirli. Invece di eseguire il piping / eseguire più passaggi su 1.000.000 di IP, awk esegue quasi tutto in un unico passaggio.

Utilizzando un registro apache di 5.513.132 righe (1.1 concerti) sul mio laptop, ecco un confronto di velocità:

• 2m 45s cat ./apache_access | awk '{print $1}' | sort -nk1 | uniq -c | sort -nk1
• 0m 40s cat ./apache_access | awk '{freq[$1]++} END {for (x in freq) {print freq[x], x}}' | sort -n