Le prestazioni predittive dipendono più dall'esperienza dell'analista di dati che dal metodo?

Ho scoperto che alcuni studi hanno dimostrato che le prestazioni dei modelli predittivi dipendono più dall'esperienza dell'analista di dati con il metodo scelto che dalla scelta del metodo.
In altre parole, l'affermazione è che è più importante che l'analista di dati abbia familiarità con il metodo scelto piuttosto che quanto "appropriato" il metodo sembrerebbe per il problema da un punto di vista più teorico.

Ciò è stato menzionato nel contesto della chemiometria, che comporta in genere problemi di molti variati (100s - 1000s), collinearità multipla e, naturalmente, troppo pochi campioni. La previsione potrebbe essere stata una classificazione o regressione.

La mia esperienza personale suggerisce che questo è plausibile , ma è stato menzionato uno studio (ho chiesto alla persona che lo ha menzionato via e-mail dopo una ricerca rapida ma senza successo, ma non ho mai ricevuto alcuna risposta). Tuttavia, anche con una ricerca più elaborata, non sono stato in grado di rintracciare alcun documento.

Qualcuno è a conoscenza di tali risultati? In caso contrario, cosa dice l'esperienza personale di Big Guys qui?

predictive-models method-comparison

— cbeleites supporta Monica
fonte

Sono più un piccolo ragazzo qui intorno, ma ciò che ho visto in Neural Networks supporta questa ipotesi: lungi dall'essere uno strumento "out of the box" in cui "la macchina impara" qualcosa, la classificazione o la previsione di successo sembra dipendere da un molto su quanto sia intelligente la persona che dice alla rete come imparare dai dati - soprattutto in termini di preelaborazione dei dati, ma anche in termini di architettura della rete, ecc.

— Stephan Kolassa,

Penso che sia la figura 2.4 di The Elements of Statistical Learning in cui confrontano i vicini più vicini con i metodi di tipo di regressione (e ovviamente forniscono anche più punti di confronto in tutto il libro).

— Attacco

@StasK: grazie per il promemoria (peccato per me per non ricordare). Riferiscono anche che in pratica PCR, PLS e regressione della cresta sono molto simili, e anche LDA e regressione logistica. Tuttavia, anche questi ultimi metodi sono molto simili dal punto di vista teorico.

— cbeleites supporta Monica l'

In realtà, ho sentito una voce secondo cui le macchine per l'apprendimento decenti sono generalmente migliori degli esperti, perché l'inclinazione umana è quella di ridurre al minimo la varianza a scapito di distorsioni (eccessiva scorrevolezza), portando a scarse prestazioni predittive in nuovi set di dati. La macchina è calibrata per ridurre al minimo MSE e quindi tende a fare meglio in termini di previsione in un nuovo set di dati .

— guest47
fonte

Nella mia esperienza è certamente vero che gli esseri umani tendono a vestirsi troppo. Tuttavia, nella mia esperienza, hai anche bisogno di un esperto decente che scelga la macchina per l'apprendimento senza adattamento. Altrimenti qualcuno sceglie semplicemente una macchina per l'apprendimento che si veste meglio.

— cbeleites supporta Monica il

MSE in generale non protegge dal sovradimensionamento a meno che non si limiti molto il modello - e lì l'esperto rientra. Tuttavia, le persone cercano di ottimizzare, ad esempio, i iperparametri del modello. Strategie di ottimizzazione particolarmente iterative si adattano, (MSE o meno), a meno che non si possa permettersi una serie completamente nuova di dati di test indipendenti per ogni iterazione. Forse dovrei dire che provengo da un campo in cui i casi di test sono molto rari. E, in ogni caso, potresti obiettare che questa non è una macchina per l'apprendimento decente .

— cbeleites supporta Monica il