Come sapere che il tuo problema di apprendimento automatico è senza speranza?

Immagina uno scenario di apprendimento automatico standard:

Ti trovi di fronte a un ampio set di dati multivariato e ne hai una comprensione piuttosto sfocata. Quello che devi fare è fare previsioni su alcune variabili in base a ciò che hai. Come al solito, si puliscono i dati, si guardano le statistiche descrittive, si eseguono alcuni modelli, si convalidano in modo incrociato ecc., Ma dopo diversi tentativi, andare avanti e indietro e provare più modelli nulla sembra funzionare ei risultati sono miserabili. Puoi passare ore, giorni o settimane su un problema del genere ...

La domanda è: quando fermarsi? Come fai a sapere che i tuoi dati in realtà sono senza speranza e tutti i modelli fantasiosi non ti farebbero più bene che prevedere il risultato medio per tutti i casi o qualche altra soluzione banale?

Certo, questo è un problema di previsione, ma per quanto ne so, è difficile valutare la previsione per i dati multivariati prima di provare qualcosa su di esso. O mi sbaglio?

_{Disclaimer: questa domanda è stata ispirata da questa Quando devo smettere di cercare un modello? che non ha attirato molta attenzione. Sarebbe bello avere una risposta dettagliata a tale domanda come riferimento.}

Forecastability

Hai ragione sul fatto che questa è una questione di previsioni. Ci sono stati alcuni articoli sulla previsione nella rivista Foresight orientata ai praticanti della IIF . (Informativa completa: sono un editore associato.)

Il problema è che la previsione è già difficile da valutare in casi "semplici".

Alcuni esempi

Supponiamo che tu abbia una serie temporale come questa ma non parli tedesco:

Come modelleresti il ​​picco di aprile e come includeresti queste informazioni in qualsiasi previsione?

Se non sapessi che questa serie storica è la vendita di uova in una catena di supermercati svizzera, che raggiunge il picco proprio prima del calendario occidentale di Pasqua , non avresti alcuna possibilità. Inoltre, con la Pasqua che si sposta nel calendario di almeno sei settimane, tutte le previsioni che non includono la data specifica della Pasqua (supponendo, diciamo, che questo fosse solo un picco stagionale che si sarebbe ripetuto in una settimana specifica l'anno prossimo) probabilmente sarebbe molto spento.

Allo stesso modo, supponiamo di avere la linea blu in basso e di voler modellare tutto ciò che è accaduto il 28/02/2010 in modo così diverso dai modelli "normali" del 27/02/2010:

Ancora una volta, senza sapere cosa succede quando un'intera città piena di canadesi guarda una partita di finali di hockey su ghiaccio olimpico in TV, non hai alcuna possibilità di capire cosa è successo qui e non sarai in grado di prevedere quando si ripeterà qualcosa di simile.

Infine, guarda questo:

Questa è una serie temporale di vendite giornaliere in un negozio cash and carry . (A destra, hai una tabella semplice: 282 giorni hanno avuto vendite zero, 42 giorni hanno visto vendite di 1 ... e un giorno ho visto vendite di 500.) Non so di che articolo si tratta.

Fino ad oggi, non so cosa sia successo in quel giorno con vendite di 500. La mia ipotesi migliore è che alcuni clienti abbiano preordinato una grande quantità di qualsiasi prodotto fosse e lo hanno raccolto. Ora, senza saperlo, qualsiasi previsione per questo particolare giorno sarà lontana. Al contrario, supponiamo che ciò sia accaduto poco prima di Pasqua e abbiamo un algoritmo stupido che crede che questo potrebbe essere un effetto pasquale (forse queste sono uova?) E prevede felicemente 500 unità per la prossima Pasqua. Oh mio, poteva che andare storto.

Sommario

In tutti i casi, vediamo come la previsionalità può essere ben compresa solo quando abbiamo una comprensione sufficientemente profonda dei probabili fattori che influenzano i nostri dati. Il problema è che se non conosciamo questi fattori, non sappiamo che potremmo non conoscerli. Secondo Donald Rumsfeld :

[T] qui sono noti noti; ci sono cose che sappiamo di sapere. Sappiamo anche che ci sono sconosciuti noti; vale a dire sappiamo che ci sono alcune cose che non sappiamo. Ma ci sono anche incognite sconosciute - quelle che non sappiamo non lo sappiamo.

Se la predilezione della Pasqua o dei canadesi per l'hockey è per noi sconosciute, siamo bloccati - e non abbiamo nemmeno una strada da percorrere, perché non sappiamo quali domande dobbiamo porre.

L'unico modo per ottenere una gestione su questi è quello di raccogliere la conoscenza del dominio.

conclusioni

Ne traggo tre conclusioni:

1. Devi sempre includere la conoscenza del dominio nella modellazione e nella previsione.
2. Anche con la conoscenza del dominio, non è garantito che si ottengano informazioni sufficienti affinché le previsioni e le previsioni siano accettabili per l'utente. Vedi quello anomalo sopra.
3. Se "i tuoi risultati sono miserabili", potresti sperare in più di quello che puoi ottenere. Se si prevede un lancio corretto della moneta, non è possibile ottenere una precisione superiore al 50%. Non fidatevi neanche dei benchmark di accuratezza delle previsioni esterne.

La linea di fondo

Ecco come consiglierei di costruire modelli - e notare quando fermarsi:

1. Parla con qualcuno con conoscenza del dominio se non lo possiedi già da solo.
2. Identifica i principali driver dei dati che desideri prevedere, comprese le interazioni probabili, in base al passaggio 1.
3. Costruisci i modelli in modo iterativo, includendo i driver in ordine decrescente di forza secondo il passaggio 2. Valuta i modelli usando la validazione incrociata o un campione di controllo.
4. Se la precisione delle tue previsioni non aumenta ulteriormente, torna al passaggio 1 (ad es. Identificando errate predizioni errate che non puoi spiegare e discutendole con l'esperto di dominio) oppure accetta di aver raggiunto la fine del tuo capacità dei modelli. Il time-boxing della tua analisi in anticipo aiuta.

Nota che non sto sostenendo di provare diverse classi di modelli se i tuoi plateau originali. In genere, se si è iniziato con un modello ragionevole, l'utilizzo di qualcosa di più sofisticato non produrrà un grande vantaggio e potrebbe semplicemente "adattarsi eccessivamente al set di test". L'ho visto spesso e altre persone sono d'accordo .

La risposta di Stephan Kolassa è eccellente, ma vorrei aggiungere che spesso c'è anche una condizione di stop economico:

1. Quando stai facendo ML per un cliente e non per divertimento, dovresti dare un'occhiata alla quantità di denaro che il cliente è disposto a spendere. Se paga la tua azienda 5000 € e hai speso un mese per trovare un modello, perderai denaro. Sembra banale, ma ho visto "deve esserci una soluzione !!!!", pensando che ha portato a enormi sovraccarichi di costi. Quindi fermati quando il denaro è esaurito e comunica il problema al tuo cliente.
2. Se hai svolto qualche lavoro, hai spesso la sensazione di cosa sia possibile con il set di dati corrente. Prova ad applicarlo alla quantità di denaro che puoi guadagnare con il modello, se l'importo è banale o negativo (ad es. A causa del tempo di raccolta dei dati, sviluppo di una soluzione ecc.), Dovresti interrompere.

Ad esempio: avevamo un cliente che voleva prevedere quando le sue macchine si rompevano, abbiamo analizzato i dati esistenti e riscontrato essenzialmente rumore. Abbiamo approfondito il processo e abbiamo scoperto che i dati più critici non sono stati registrati ed è stato molto difficile da raccogliere. Ma senza quei dati, il nostro modello era così scarso che nessuno l'avrebbe usato ed era in scatola.

Mentre mi concentrai sull'economia quando lavoravo su un prodotto commerciale, questa regola si applica anche al mondo accademico o per progetti divertenti - mentre il denaro è meno preoccupante in tali circostanze, il tempo è ancora un bene raro. Per esempio. in ambito accademico dovresti smettere di lavorare quando non produci risultati tangibili e hai altri progetti più promettenti che potresti fare. Ma non abbandonare quel progetto - si prega di pubblicare anche risultati nulli o "bisogno di più / altri dati", sono anche importanti!

C'è un altro modo. Chiedilo a te stesso -

1. Chi o cosa rende le migliori previsioni possibili di questa particolare variabile? "
2. Il mio algoritmo di apprendimento automatico produce risultati migliori o peggiori delle migliori previsioni?

Quindi, ad esempio, se avevi un gran numero di variabili associate a diverse squadre di calcio e stavi cercando di prevedere chi avrebbe vinto, potresti guardare le probabilità del bookmaker o qualche forma di previsione di crowdfunding da confrontare con i risultati del tuo apprendimento automatico algoritmo. Se stai meglio potresti essere al limite, se peggio allora chiaramente c'è spazio per migliorare.

La tua capacità di migliorare dipende (in generale) da due cose:

1. Stai utilizzando gli stessi dati del miglior esperto in questa particolare attività?
2. Stai usando i dati in modo efficace come il miglior esperto in questo particolare compito?

Dipende esattamente da cosa sto cercando di fare, ma tendo a usare le risposte a queste domande per guidare la direzione in cui vado quando costruisco un modello, in particolare se cercare di estrarre più dati che posso usare o su cui concentrarmi cercando di affinare il modello.

Sono d'accordo con Stephan che di solito il modo migliore per farlo è chiedere a un esperto di dominio.