La parsimonia dovrebbe davvero essere ancora il gold standard?

Solo un pensiero:

I modelli parsimoniosi sono sempre stati il ​​punto di partenza predefinito nella selezione dei modelli, ma in che misura questo approccio è obsoleto? Sono curioso di sapere quanto la nostra tendenza alla parsimonia sia una reliquia di un tempo di regole abaci e slide (o, più seriamente, computer non moderni). La potenza di calcolo di oggi ci consente di costruire modelli sempre più complessi con capacità di previsione sempre maggiori. A causa di questo aumento del massimale della potenza di calcolo, dobbiamo davvero ancora gravitare verso la semplicità?

Certo, i modelli più semplici sono più facili da capire e interpretare, ma nell'era dei set di dati in continua crescita con un numero maggiore di variabili e uno spostamento verso una maggiore attenzione alla capacità di previsione, questo potrebbe non essere più nemmeno realizzabile o necessario.

Pensieri?

La risposta originale di Matt fa un ottimo lavoro nel descrivere uno dei vantaggi della parsimonia, ma non credo che risponda effettivamente alla tua domanda. In realtà, la parsimonia non è il gold standard. Non ora e non è mai stato. Un "gold standard" relativo alla parsimonia è l'errore di generalizzazione. Vorremmo sviluppare modelli che non si adattano troppo. Ciò è utile per la previsione (o come interpretabile o con un errore minimo) fuori campione come lo sono nel campione. Si scopre (a causa delle cose sopra esposte) che la parsimonia è in realtà un buon proxy per l'errore di generalizzazione, ma non è affatto l'unico.

Pensa davvero al perché utilizziamo la validazione incrociata o il bootstrap o i set di treni / test. L'obiettivo è creare modelli con una buona precisione di generalizzazione. Molte volte, questi modi di stimare le prestazioni al di fuori del campione finiscono per scegliere modelli con complessità inferiore ma non sempre. Ad esempio, immaginiamo che l'oracolo ci consegni il modello vero ma estremamente complesso e un modello povero ma parsimonioso. Se la parsimonia fosse davvero il nostro obiettivo, sceglieremmo il secondo, ma in realtà il primo è ciò che vorremmo imparare se potessimo. Sfortunatamente molte volte l'ultima frase è il kicker "se potessimo".

I modelli parsimoniosi sono desiderabili non solo per i requisiti di elaborazione, ma anche per le prestazioni di generalizzazione. È impossibile raggiungere l'ideale di infiniti dati che coprono completamente e accuratamente lo spazio del campione, il che significa che i modelli non parsimoniosi hanno il potenziale per sovrautilizzare e modellare il rumore o le idiosincrasie nella popolazione del campione.

È certamente possibile costruire un modello con milioni di variabili, ma per modellare il sistema useresti variabili che non hanno alcun impatto sull'output. È possibile ottenere grandi prestazioni predittive sul set di dati di allenamento, ma quelle variabili irrilevanti probabilmente riducono le prestazioni su un set di test invisibile.

Se una variabile di output è veramente il risultato di un milione di variabili di input, allora faresti bene a inserirle tutte nel tuo modello predittivo, ma solo se disponi di dati sufficienti . Per costruire con precisione un modello di queste dimensioni, occorrerebbero almeno milioni di punti dati. I modelli parsimoniosi sono belli perché in molti sistemi del mondo reale, un set di dati di queste dimensioni semplicemente non è disponibile e, inoltre, l'output è in gran parte determinato da un numero relativamente piccolo di variabili.

Penso che le risposte precedenti facciano un buon lavoro nel formulare punti importanti:

• I modelli parsimoniosi tendono ad avere migliori caratteristiche di generalizzazione.
• La parsimonia non è veramente un gold standard, ma solo una considerazione.

Voglio aggiungere alcuni commenti che derivano dalla mia esperienza lavorativa quotidiana.

La generalizzazione dell'argomentazione della precisione predittiva è, ovviamente, forte, ma è al centro dell'attenzione accademica. In generale, quando si produce un modello statistico, le economie non sono tali che la performance predittiva è una considerazione completamente dominante. Molto spesso ci sono grandi vincoli esterni sull'aspetto di un modello utile per una data applicazione:

• Il modello deve essere implementabile all'interno di un framework o sistema esistente.
• Il modello deve essere comprensibile da un'entità non tecnica.
• Il modello deve essere efficiente dal punto di vista computazionale.
• Il modello deve essere documentabile .
• Il modello deve superare i vincoli normativi .

Nei domini applicativi reali, molte se non tutte queste considerazioni vengono prima , non dopo , prestazioni predittive - e l'ottimizzazione della forma e dei parametri del modello è vincolata da questi desideri. Ognuno di questi vincoli orienta lo scienziato verso la parsimonia.

Può essere vero che in molti settori questi vincoli vengono gradualmente eliminati. Ma è proprio lo scienziato fortunato che riesce a ignorarli, ma si concentra esclusivamente sulla minimizzazione dell'errore di generalizzazione.

Questo può essere molto frustrante per la prima volta scienziato, appena uscito dalla scuola (sicuramente è stato per me, e continua ad esserlo quando sento che i vincoli posti sul mio lavoro non sono giustificati). Ma alla fine, lavorare sodo per produrre un prodotto inaccettabile è uno spreco, e questo è peggio del dolore per il tuo orgoglio scientifico.

Penso che questa sia un'ottima domanda. Secondo me la parsimonia è sopravvalutata. La natura è raramente parsimoniosa, e quindi non dovremmo necessariamente aspettarci che siano accurati modelli predittivi o descrittivi. Per quanto riguarda la domanda di interpretabilità, se si sceglie un modello più semplice che si conforma modestamente alla realtà solo perché la si capisce, cosa si capisce esattamente? Supponendo che un modello più complesso avesse un potere predittivo migliore, sembrerebbe comunque essere più vicino ai fatti reali.

La parsimonia non è un inizio d'oro. È un aspetto della modellazione. La modellazione e in particolare la previsione non possono essere copiate, cioè non puoi semplicemente consegnare uno script a un modellatore da seguire. Si definiscono piuttosto i principi su cui deve basarsi il processo di modellizzazione. Quindi, la parsimonia è uno di questi principi, la cui applicazione non può essere scritta (di nuovo!). Un modellatore considererà la complessità quando un modello di selezione.

Il potere computazionale ha poco a che fare con questo. Se sei nel settore, i tuoi modelli saranno consumati da uomini d'affari, prodotti, chiunque li chiami. Devi spiegare loro il tuo modello, dovrebbe avere un senso per loro. Avere modelli parsimoniosi aiuta in questo senso.

Ad esempio, stai prevedendo le vendite dei prodotti. Dovresti essere in grado di descrivere quali sono i driver delle vendite e come funzionano. Questi devono essere correlati ai concetti con cui opera l'azienda e le correlazioni devono essere comprese e accettate dalle imprese. Con modelli complessi potrebbe essere molto difficile interpretare i risultati del modello o attribuire le differenze con i reali. Se non riesci a spiegare i tuoi modelli al business, non ne sarai valutato.

Un'altra cosa particolarmente importante per le previsioni. Supponiamo che il tuo modello dipenda da N variabili esogene. Ciò significa che devi prima ottenere le previsioni di queste variabili per prevedere la tua variabile dipendente. Avere una N più piccola ti semplifica la vita, quindi un modello più semplice è più facile da usare.

Forse hai una recensione dell'Akaike Information Criterion , un concetto che ho scoperto solo per caso ieri. L'AIC cerca di identificare quale modello e quanti parametri sono la migliore spiegazione per le osservazioni a portata di mano, piuttosto che qualsiasi approccio Occam's Razor o approccio di parsimonia.