Rilevamento anomalo / anomalia scalabile

Sto cercando di configurare una grande infrastruttura di dati utilizzando Hadoop, Hive, Elastic Search (tra gli altri) e vorrei eseguire alcuni algoritmi su determinati set di dati. Vorrei che gli algoritmi stessi fossero scalabili, quindi questo esclude l'uso di strumenti come Weka, R o persino RHadoop. Il Mahout Biblioteca Apache sembra essere una buona opzione, ed è dotato di algoritmi per compiti di regressione e di clustering .

Quello che sto cercando di trovare è una soluzione per il rilevamento di anomalie o anomalie.

Dato che Mahout presenta modelli nascosti di Markov e una varietà di tecniche di clustering (compresi i K-Means) mi chiedevo se sarebbe stato possibile costruire un modello per rilevare valori anomali nelle serie temporali, usando uno di questi. Le sarei grato se qualcuno che mi avesse sperimentato potesse consigliarmi

1. se è possibile, e nel caso lo sia
2. come fare, in più
3. una stima dello sforzo richiesto e
4. accuratezza / problemi di questo approccio.

Darei un'occhiata all'algoritmo t-digest . È stato unito in mahout e anche una parte di alcune altre librerie per lo streaming di big data. Puoi ottenere maggiori informazioni su questo algoritmo in particolare e il rilevamento delle anomalie dei big data in generale nelle risorse seguenti:

1. Pratico libro di rilevamento anomalie di apprendimento automatico.
2. Webinar: rilevamento di anomalie quando non sai cosa devi trovare
3. Rilevazione di anomalie in Elasticsearch .
4. Truffare miliardi di dollari con il rilevamento dell'anomalia: un approccio all'elaborazione del segnale usando Argyle Data sulla piattaforma dati Hortonworks con Accumulo

Puoi fare riferimento alla mia risposta relativa al metodo di rilevamento delle anomalie h2o R o Python in stackexchange , poiché anche questo è scalabile.