Modelli predittivi: le statistiche non possono forse battere l'apprendimento automatico? [chiuso]

Attualmente sto seguendo un programma master incentrato su statistiche / econometria. Nel mio master, tutti gli studenti hanno dovuto fare 3 mesi di ricerca. La scorsa settimana, tutti i gruppi hanno dovuto presentare le loro ricerche al resto degli studenti master.

Quasi tutti i gruppi hanno fatto alcuni modelli statistici e alcuni modelli di apprendimento automatico per i loro argomenti di ricerca e ogni singola previsione fuori campione è venuta a parlare dei semplici modelli di apprendimento automatico che hanno battuto i modelli statistici molto sofisticati su cui ognuno ha lavorato molto duramente negli ultimi 3 mesi. Non importa quanto siano validi i modelli statistici di tutti, una semplice foresta casuale ha quasi sempre errori di fuori campione inferiori.

Mi chiedevo se questa è un'osservazione generalmente accettata? Che se si tratta di previsioni fuori campione non c'è semplicemente modo di battere una semplice foresta casuale o un modello di potenziamento del gradiente estremo? Questi due metodi sono semplicissimi da implementare usando i pacchetti R, mentre tutti i modelli statistici che tutti hanno escogitato richiedono parecchia abilità, conoscenza e sforzo per stimare.

Cosa ne pensi di questo? L'unico vantaggio dei modelli statistici / econometrici che si ottiene l'interpretazione? O i nostri modelli non erano abbastanza buoni da non riuscire a superare significativamente le semplici previsioni casuali sulle foreste? Ci sono documenti che affrontano questo problema?

La modellistica statistica è diversa dall'apprendimento automatico. Ad esempio, una regressione lineare è sia un modello statistico che un modello di apprendimento automatico. Quindi, se si confronta una regressione lineare con una foresta casuale, si sta solo confrontando un modello di apprendimento automatico più semplice con uno più complicato. Stai Non confrontando un modello statistico per un modello di apprendimento automatico.

La modellistica statistica fornisce più dell'interpretazione; in realtà fornisce un modello di alcuni parametri di popolazione. Dipende da un ampio quadro di matematica e teoria, che consente formule per cose come la varianza dei coefficienti, la varianza delle previsioni e il test delle ipotesi. Il potenziale rendimento della modellistica statistica è molto maggiore dell'apprendimento automatico, perché è possibile fare affermazioni forti sui parametri della popolazione invece di misurare solo l'errore in caso di blocco, ma è considerevolmente più difficile affrontare un problema con un modello statistico.

È sbagliato affermare la domanda nel modo in cui è stata formulata. Ad esempio, una parte significativa dell'apprendimento automatico può essere definita apprendimento statistico . Quindi, il tuo confronto è come crostate di mele e frutta.

Tuttavia, seguirò il modo in cui l'hai inquadrata, e rivendicherò quanto segue: quando si tratta di previsione, nulla può essere fatto senza una qualche forma di statistica perché la previsione ha intrinsecamente casualità (incertezza). Considera questo: nonostante l'enorme successo dell'apprendimento automatico in alcune applicazioni che ha assolutamente nulla da mostrare nella previsione dei prezzi degli asset. Niente di niente. Perché? Perché nella maggior parte dei mercati liquidi sviluppati i prezzi delle attività sono intrinsecamente stocastici.

Puoi eseguire l'apprendimento automatico tutto il giorno per osservare e conoscere il decadimento radioattivo degli atomi e non sarà mai in grado di prevedere il tempo di decadimento dell'atomo successivo, semplicemente perché è casuale.

Come aspirante statistico sarebbe sciocco da parte tua non padroneggiare l'apprendimento automatico, perché è una delle applicazioni più calde della statistica, a meno che, ovviamente, non si sappia per certo che si andrà al mondo accademico. Chiunque probabilmente lavorerà nel settore deve padroneggiare ML. Non c'è affatto animosità o competizione tra statistiche e folle di ML. In effetti, se ti piace la programmazione ti sentirai a casa nel campo ML

Generalmente no, ma potenzialmente sì, se non specificato correttamente. Il problema che stai cercando si chiama ricevibilità. Una decisione è ammissibile se non esiste un modo meno rischioso per calcolarla.

Tutte le soluzioni bayesiane sono ammissibili e le soluzioni non bayesiane sono ammissibili nella misura in cui corrispondono a una soluzione bayesiana in ogni campione o al limite. Una soluzione Frequentista o Bayesiana ammissibile batterà sempre una soluzione ML a meno che non sia anche ammissibile. Detto questo, ci sono alcune osservazioni pratiche che rendono questa affermazione vera ma vacua.

Innanzitutto, il precedente per l'opzione bayesiana deve essere il tuo vero precedente e non una qualche distribuzione precedente utilizzata per rendere felice un editore di un diario. In secondo luogo, molte soluzioni di Frequentist sono inammissibili e al posto della soluzione standard avrebbe dovuto essere utilizzato uno stimatore di contrazione. Molte persone non sono consapevoli del lemma di Stein e delle sue implicazioni per un errore fuori campione. Infine, ML può essere un po 'più robusto, in molti casi, per errori di specificazione errata.

Quando ti sposti negli alberi delle decisioni e nei loro cugini nelle foreste, non stai usando una metodologia simile a meno che tu non stia usando anche qualcosa di simile a una rete di Bayes. Una soluzione grafica contiene al suo interno una notevole quantità di informazioni implicite, in particolare un grafico diretto. Ogni volta che aggiungi informazioni a un processo probabilistico o statistico riduci la variabilità del risultato e cambi ciò che sarebbe considerato ammissibile.

Se guardi l'apprendimento automatico dal punto di vista della composizione delle funzioni, diventa solo una soluzione statistica ma utilizza approssimazioni per rendere trattabile la soluzione. Per le soluzioni bayesiane, MCMC risparmia quantità incredibili di tempo, così come la discesa del gradiente per molti problemi di ML. Se o dovessi costruire un esatto posteriore per integrare o usare la forza bruta su molti problemi di ML, il sistema solare sarebbe morto la sua morte termica prima di ottenere una risposta.

La mia ipotesi è che tu abbia un modello errato per coloro che usano statistiche o statistiche inadeguate. Ho insegnato una lezione in cui ho dimostrato che i neonati galleggiano fuori dalle finestre se non opportunamente fasciati e in cui un metodo bayesiano ha surclassato così radicalmente un metodo frequentista su una scelta multinomiale che il metodo frequentista ha rotto anche, in attesa, mentre il metodo bayesiano ha raddoppiato il denaro dei partecipanti . Ora ho abusato delle statistiche nella prima e ho approfittato dell'inammissibilità dello stimatore frequentista nella seconda, ma un ingenuo utente di statistiche poteva facilmente fare quello che ho fatto. Li ho resi estremi per rendere ovvi gli esempi, ma ho usato dati assolutamente reali.

Le foreste casuali sono stimatori coerenti e sembrano assomigliare a determinati processi bayesiani. A causa del collegamento con gli stimatori del kernel, potrebbero essere abbastanza vicini. Se vedi una differenza sostanziale nelle prestazioni tra i tipi di soluzione, allora c'è qualcosa nel problema sottostante che stai fraintendendo e se il problema ha qualche importanza, allora devi davvero cercare l'origine della differenza poiché potrebbe anche essere il caso in cui tutti i modelli sono errati.

Un sacco di apprendimento automatico potrebbe non essere così diverso dal p-hacking, almeno per alcuni scopi.

Se testate ogni possibile modello per trovare quello che ha la massima precisione di previsione (previsione storica o previsione fuori dal gruppo) sulla base di dati storici, ciò non significa necessariamente che i risultati aiuteranno a capire cosa sta succedendo. Tuttavia, probabilmente troverà possibili relazioni che potrebbero informare un'ipotesi.

Motivare ipotesi specifiche e poi testarle usando metodi statistici può certamente essere similmente p-hacker (o simili).

Ma il punto è che se i criteri sono "massima precisione di previsione basata su dati storici", allora c'è un alto rischio di essere troppo sicuri in alcuni modelli che non si capiscono, senza avere davvero idea di cosa abbia guidato quei risultati storici e / o se possono essere informativi per il futuro.