Il greylisting è ancora un metodo efficace per prevenire lo spam?


50

Ho usato il greylisting sui miei server per molti anni, ma non so quanto sia efficace al giorno d'oggi.

È ancora buono per combattere lo spam nel 2012?

O il tipico spammer MTA è ora in grado di inviare nuovamente le e-mail greylist?


2
@Michael: per combattere lo spam. Leggi la domanda :)
neu242

1
Possiamo occuparci dei pro e dei contro del greylisting in un'altra domanda :)
neu242,

1
Ho cambiato leggermente il titolo. Ora sembra migliore?
neu242,

2
@MichaelHampton Uh, punto di interesse ... quali misure di prevenzione dello spam usi che non fanno lamentare il CEO? O forse, se più appropriato, che tipo di CEO hai che non è un viziato, piagnucoloso $ # ^ & * @ che troverà qualcosa di cui lamentarsi in qualsiasi cosa?
HopelessN00b,

1
@ HopelessN00b Il nostro CEO non è così. Non giudicherei la personalità o il comportamento di qualcuno basandosi esclusivamente sulla sua professione.
darvids0n

Risposte:


6

Un aggiornamento dal 2018:

Sono sempre stato un grande fan del greylisting. Per queste ragioni:

  • Non segna solo lo spam, ma lo blocca.
  • È legale utilizzare come fornitore di servizi in Germania (a differenza dell'eliminazione di posta indesiderata dopo la ricezione)
  • È semplice ed efficace.
  • Aggiunge carico allo spammer e non al server di posta ricevente. Quindi, anche se gli spammer possono superare il tuo greylisting, hai costretto la loro macchina a lavorare di più e quindi possono inviare meno spam in totale.
  • Blocca quasi nessuna posta legittima, a differenza degli RBL basati su IP ecc.
  • Introduce ritardi, ma è possibile inserire nella whitelist i client (server di invio) di contatti frequenti e i destinatari della whitelist che hanno davvero bisogno di e-mail con il minimo ritardo. Ricorda che l'uso di un filtro antispam come Spamassasin direttamente su tutta la tua posta (senza greylisting) può comportare ritardi anche nella posta legittima: alcuni spammer inviano così tante mail al tuo server che il filtro antispam viene sovraccaricato. Pertanto, invierà un errore temporaneo (ad es. 451) al server di invio di ulteriori messaggi di posta in arrivo. Ciò provoca gli stessi effetti del greylisting, vale a dire che la posta viene ritardata, ad eccezione del fatto che la whitelisting non è così semplice. Ovviamente, puoi utilizzare un filtro antispam cloud che si adatta a qualsiasi potenza abbia lo spammer, ma potrebbe essere più costoso.
  • Manutenzione limitata o assente. Nessuna lista nera che deve essere aggiornata e modificata nel tempo. Nessuna regola basata su pattern che deve essere aggiornata.

Ma sfortunatamente, nelle mie statistiche vedo che in quest'anno il greylisting diventa sempre meno efficace. La quantità di messaggi ritardati si avvicina piuttosto rapidamente alla quantità di messaggi greylist, il che significa che la quantità di spam bloccato sta diminuendo.

Nell'ultimo anno (365 giorni), il 55% dei messaggi greylist è riuscito a passare attraverso la greylisting, ovvero il 45% è stato bloccato.

anno delle statistiche del mailgraph

anno delle statistiche del mailgraph

Si noti che questo grafico includeva un lasso di tempo in cui i messaggi greylist non venivano conteggiati a causa di un errore di configurazione di mailgraph, ma solo di quelli in ritardo. Questo significa che questo calcolo sopravvaluta un po 'i messaggi in ritardo, in effetti un po' più di posta è stata bloccata.

Nell'ultimo mese, il 64% è stato ritardato e solo il 36% è stato bloccato.

mese delle statistiche del mailgraph

mese delle statistiche del mailgraph

Nell'ultima settimana, il 75% è stato ritardato e solo il 25% è stato bloccato.

settimana delle statistiche del mailgraph

settimana delle statistiche del mailgraph

Inoltre, esaminando la quantità totale di messaggi bloccati: questo mese il greylisting ha bloccato 4 411 messaggi, ma Amavisd (spamassasin) ha bloccato 22 763 messaggi. Ciò significa che solo il 16% dello spam viene bloccato dal greylisting, tutto il resto da amavisd.

Inoltre, sempre più provider di invio di cloud inviano da un gruppo di diverse centinaia di indirizzi IP. Tentano ogni tentativo di trasmissione da un altro IP. Pertanto, il greylisting può bloccare queste mail per giorni pari. Pertanto, è necessario inserire nella whitelist tutti i "buoni" fornitori di posta. Questo introduce nuovi sforzi di manutenzione.

Sono sempre stato un grande fan del greylisting, ma purtroppo vedo che sta diventando sempre meno efficace e penso che lo disabiliterò presto, poiché inizia a ritardare inutilmente solo il 14% delle mie e-mail senza bloccare molto spam .

Le statistiche fuorvianti

La quantità di mail bloccate nelle mie (e tue) statistiche potrebbe anche essere in gran parte fuorviante. Prendiamo una e-mail che proviene da un grande provider di posta cloud (come Microsoft * .outbound.protection.outlook.com) che non è ancora nella whitelist. Il primo tentativo fallisce. Il secondo e il terzo tentativo di trasmissione provengono da altri due server (IP), quindi non riescono, poiché la tripletta non corrisponde. Ora il quarto tentativo proviene nuovamente dal primo server e ha esito positivo. Questo verrà conteggiato come una trasmissione ritardata e quattro messaggi greylist. I miei calcoli sopra indicherebbero che 1/4 = 25% di messaggi greylist era in ritardo e che 3/4 = 75% erano bloccati. Ma in realtà, non è stato bloccato un singolo messaggio. Ora inseriamo nella whitelist i server di questi provider di posta, in modo che non vengano più inseriti nella greylist. Quello che accadrà è che la quantità di messaggi greylist diminuirà più della quantità di messaggi ritardati. Ciò significa che la quantità di messaggi bloccati che calcoliamo diminuirà. Ma non è vero che sono stati bloccati meno messaggi.

In effetti, ciò che ho fatto da febbraio 2017 è l'aggiunta di un numero sempre maggiore di provider di cloud mail alla whitelist per combattere il problema dei lunghi ritardi dovuti al greylisting. Questo può spiegare (in parte?), Perché la quantità di mail bloccate che ho calcolato sta diminuendo rapidamente. Quindi, forse, ho sempre pensato che il greylisting stia bloccando molto spam, ma la quantità di spam bloccato è stata sempre molto inferiore, è stata calcolata in modo errato. Quindi fai attenzione quando interpreti le tue statistiche.


1
È molto interessante, grazie per aver pubblicato la ricerca!
Jenny D dice Reinstate Monica il

+1 da parte mia - è tempo di riesaminare i miei dati. Concordo sul fatto che queste persone insanguinate e fastidiose che rimbalzano la posta attorno al loro server interno, in modo che ogni tentativo provenga da un server diverso, distorcono i dati. Non sono sicuro di acquistare la tua ultima sezione, che sembra sostenere che tutti o i vantaggi più evidenti del greylisting siano causati dal sovrastante conteggio delle e-mail in entrata.
MadHatter supporta Monica il

Le statistiche per il mio server di posta privato dell'ultimo anno (a luglio 2019) mostrano che solo il 15% dei messaggi è stato ritardato e l'85% bloccato. Ho dato un'occhiata ai mittenti bloccati e sembrano degli spammer. Tuttavia, non sto greylist tutto, ma solo mittenti inseriti nella lista nera di RBL (zen.spamhaus.org, spam.dnsbl.sorbs.net e psbl.surriel.com). Il greylisting ben configurato sembra ancora essere efficiente.
Michau,

1
@michau Certo, le mail sospette greylisting sono più efficienti di quelle greylisting. Rspamd è un filtro antispam piuttosto interessante che lo fa piuttosto bene. Greylist mail che raggiungono un basso punteggio di spam. Quindi, come te, sarebbe anche greylist mail da mittenti elencati RBL (purché la posta non ottenga un punteggio abbastanza alto per un rifiuto). Ma sarebbe anche greylist mail che soddisfano alcune regole di spam ma non ottengono un punteggio abbastanza alto per un rifiuto.
Christopher K.,

55

L'ho guardato per l'ultima volta quantitativamente nel luglio di quest'anno (2012). A luglio, il mio server di posta ha ricevuto circa 46.000 tentativi di recapito della posta; di questi, circa 1.750 sono tornati e sono stati autorizzati dal greylisting (e hanno superato il dominio del mittente valido, SPF e alcuni altri test non basati sul contenuto). Di questi, circa altri 1.500 sono stati filtrati dal mio filtro basato sul contenuto.

Supponendo che quelle 44.250 e-mail fossero spam (dal momento che non potevano passare al greylisting, penso che questo sia un presupposto equo), se non fosse stato per il greylisting il mio filtro basato sul contenuto avrebbe dovuto gestire 46.000 mail anziché 1.750.

Un aumento di venticinque volte del carico sul mio filtro basato sul contenuto mi richiederebbe di avere CPU molto più potenti e più memoria. Ciò a sua volta aumenterebbe i miei costi di hosting mensili, a causa del consumo energetico aggiuntivo (e, probabilmente, delle dimensioni del server).

Quindi in breve, l'ultima volta che ho contato, sì, il greylisting ha ancora molto, molto senso come parte di un sistema completo di filtro antispam . L'ho attivato per i clienti nelle ultime settimane e tutti sono estremamente soddisfatti della riduzione del carico anche sui loro sistemi di filtraggio basati sul contenuto.

Modifica : noto che non ho risposto alla domanda se sta diventando meno efficace nel tempo. Quando l'ho acceso, alla fine del 2006, la mia stima in quel momento era che stava filtrando circa il 95% dello spam. 1.750 in proporzione di 46.000 sono circa il 4%, quindi i miei dati suggeriscono che non sarà meno efficace in quel periodo di tempo.


2
Esattamente il tipo di risposta che stavo cercando. Grazie!
neu242,

3
Penso che abbia molto senso guardarlo quantitativamente nella tua situazione particolare. Ho appena controllato e il mio server di posta vede cifre molto diverse: totale per agosto e settembre, 460214 5xx scarti, 12331 4xx scarti e 22665 accetta. Pertanto, il 4,6% ha accettato e solo il 2,6% di spam (nella migliore delle ipotesi) bloccato dal greylisting. I rifiuti 5xx sono dominati dall'8,4% di utenti sconosciuti e> 90% RBL. (E non eseguo nemmeno RBL estremamente aggressivi. La stragrande maggioranza dei blocchi RBL sono XBL .) Di nuovo, il traffico catturato dagli RBL non arriva mai al greylisting.
un CVn

7
Interessante, ma non posso fare un confronto diretto perché, in linea di principio, non userò alcun RBL come test a linea chiara per la ricezione; Li uso solo come contributori per un punteggio di spamassassin. Anch'io sono stato su RBL troppo spesso, per ragioni completamente fasulle, per affidare il funzionamento della mia posta alla logica di qualcun altro. Se, tuttavia, dovessimo presumere che tutte quelle reiezioni di XBL provengano da botnet antincendio e dimenticherai, quindi se tu facessi la greylist prima di me, vedresti percentuali comparabili per me.
MadHatter supporta Monica il

1
Sì, ho preso in seria considerazione la possibilità di cambiarlo in solo un contributore del punteggio di spam e fare affidamento sul greylisting, proprio per il motivo che hai citato. Tuttavia, ciò non nega il punto che stavo sollevando, che server diversi potrebbero vedere schemi di traffico molto diversi e l'unico modo per sapere davvero se il greylisting è efficace è guardarlo dal punto di vista della tua particolare configurazione.
un CVn

1
Non sarei stato di nuovo in disaccordo, ma in realtà sono completamente d'accordo con te. Per tutti gli utenti, il modo migliore per scoprire se è una tecnica efficace nel tuo flusso di posta è provarlo nel tuo flusso di posta e misurare - Michael parla saggiamente!
MadHatter supporta Monica il

8

gli spambots di solito non eseguono ancora l'accodamento dei messaggi, ma alcuni di essi inviano lo spam due volte a tutti i destinatari con qualche minuto di ritardo per sconfiggere il greylisting. inoltre, al giorno d'oggi, lo spam dagli spambots non è più il vero problema, lo spam da account yahoo compromessi ecc. è molto più difficile da catturare.

Da quel punto di vista, il greylisting non è più efficace come una volta. In combinazione con altre tecniche anti-spam, può comunque essere utile, ad esempio se il tuo dominio è spesso nel "primo lotto" di campagne spam, il greylisting può aiutare a ritardare il messaggio abbastanza a lungo da consentire il recupero delle blacklist di dominio / ip, quindi se il lo spam sarebbe scivolato attraverso i filtri al primo tentativo di connessione, forse verrà rilevato al secondo tentativo.


La stragrande maggioranza dei tentativi di consegna di spam che ricevo proviene da Spambots. Uso altre tecniche per scoraggiare gli Spambots e la maggior parte si arrende prima che possano essere inseriti nella greylist. Sul mio server Greylisting blocca ancora circa la metà dei mittenti, elabora. Esonero i mittenti che possono essere ritenuti estremamente propensi a superare il greylisting.
BillThor,

5

Come questione tangenziale, non mi piace essere in grado di aver implementato una tecnica come il greylisting senza essere in grado di misurarne l'efficacia. Su Debian, con Postfix come MTA e Postgrey come motore della politica greylisting, puoi semplicemente apt-get install mailgraphottenere un semplice grafico della posta accettata o rifiutata. Mailgraph è un po 'vecchio stile e completamente autonomo, ma funziona e i suoi dati o tecniche potrebbero essere facilmente integrati in un moderno sistema di monitoraggio più complesso.


3

Ottieni un filtro di posta basato sulla reputazione. Il greylisting è un po ' vecchio stile e non è una soluzione completa. Esistono soluzioni alternative (dal punto di vista dello spammer) e tempi di consegna della posta imprevedibili per i tuoi utenti ...

O esternalizzare il filtro a un servizio cloud o acquistare un'appliance che ha accesso a tale elenco e ha altri metodi per convalidare lo spam. La mia raccomandazione è di solito Barracuda per il loro dispositivo o per la loro soluzione di filtro cloud . Entrambe le opzioni hanno economie di scala e euristica matura che forniscono una soluzione globale più pulita.

Guardando uno dei rapporti Barracuda Spam Filter del mio cliente per settembre 2012, su 98.457 messaggi, 1.623 sono stati tagliati prima ancora di colpire il server di posta a causa di cattivi destinatari ... 34.488 sono stati bloccati come SPAM . Sono passati solo 96 messaggi discutibili . Quelli classificati come SPAM erano una combinazione di reputazione, punteggio, intento, tre RBL, filtro bayesiano e set di regole personalizzati. Tutto in un'unità ... Tutto elaborato prima di colpire il server di posta relativamente piccolo.

inserisci qui la descrizione dell'immagine

Vedi anche: Combattere lo spamming: cosa posso fare come amministratore della posta elettronica, proprietario del dominio o utente?


2
Interessante, ma non stai rispondendo alle mie domande sul greylisting. E le tue statistiche senza numeri greylisting non sono molto rilevanti qui :)
neu242

@ neu242 Il punto è che 1). Greylisting ha svantaggi noti, 2). non può essere considerata una intera soluzione e 3). ci sono modi migliori per rilevare lo spam poiché i processi si sono evoluti negli ultimi anni.
ewwhite,

4
Il greylisting è ovviamente solo una parte del mio toolkit di prevenzione dello spam. La mia configurazione è molto simile a quella di @ MadHatter. Ma dal momento che ho chiesto in modo specifico il greylisting, mi aspettavo risposte specifiche per il greylist.
neu242,

1
@ewwhite: in realtà, non vedo come non fosse abbastanza chiaro. Per riferimento: ho verificato la cronologia delle domande. Non ho visto un cambiamento che ha influenzato questo in alcun modo.
Jürgen A. Erhard,

2
@ JürgenA.Erhard Sei un po 'in ritardo per questo. E il tuo post è maleducato. Qualsiasi soluzione di filtro antispam professionale implementata oggi non dovrebbe basarsi esclusivamente sul greylisting. Se hai altri dubbi, consulta la domanda di spam canonica sul Server Fault qui .
ewwhite
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.