Qual è la differenza tra "verifica delle ipotesi" e "selezione del modello"?

In letteratura, entrambi i termini sono spesso usati come sinonimi o intrecciati. Ora sto cercando di trovare una chiara distinzione tra entrambi i termini. Dal mio punto di vista, un'ipotesi viene solitamente espressa attraverso un modello. Quindi, anche se testiamo un'ipotesi nulla vs. alternativa, dal mio punto di vista stiamo facendo la selezione del modello. Qualcuno può darmi una descrizione intuitiva di questa distinzione?

hypothesis-testing model-selection regression-strategies

— fsociety
fonte

Passando il mouse sui tag, è possibile visualizzare gli estratti wiki per il test delle ipotesi e la selezione del modello . Nonostante la loro brevità, sembrano fare un buon lavoro rispondendo alla tua domanda.

— whuber

Per me la distinzione è che con il test delle ipotesi si sta prendendo in considerazione il contrasto dei parametri del modello e non si sta intrattenendo il pensiero di cambiare il modello. Per esempio, in ANOVA, la gente è abbastanza intelligente da non convertire un 4 gradi di libertà -test per un 3 df -test quando si confrontano 5 gruppi e trovando che due dei gruppi hanno mezzi simili. Le persone che formulano modelli spesso commettono l'errore di base nel selezionare quali parametri dovrebbero essere presenti nel modello sulla base di test / confronti statistici, senza rendersi conto che ciò distorce le cose (specialmente ). L'esempio a cui ho appena accennato, la stima imparziale di $F$ $F$ $\sigma^2$ $\sigma^2$ proviene dal modello con 5 parametri di regressione (intercettazione generale + 4 variabili indicatore).

La selezione del modello spesso implica (pericolosamente) la scelta

tra una serie di famiglie o distribuzioni di modelli concorrenti
quali s dovrebbero essere nel modello $X$
come ogni dovrebbe essere modellata (ad esempio, considerazione di termini non lineari) $X$

— Frank Harrell
fonte

Grazie per la risposta. Lascia che ti faccia un esempio in cui non sono ancora sicuro. Supponiamo di voler confrontare i modelli nidificati con qualcosa come un test del rapporto di verosimiglianza. Stai confrontando modelli o stai anche testando ipotesi? Dopo tutto, i tuoi modelli potrebbero essere basati su ipotesi.

— fsociety,

@ph_singer State facendo entrambe le cose: il test del rapporto di verosimiglianza per i modelli nidificati è esso stesso un test di ipotesi. Per fare un'analogia, mentre cucini la cena, potresti usare un forno, ma usare un forno non significa che stai sempre cucinando la cena. Il forno, come un test di ipotesi, è uno strumento; cucinare la cena, come la selezione dei modelli, è un obiettivo facilitato dall'uso di strumenti.

— heropup,

Bella domanda e risposta. Una questione è se un non rifiuto dell'ipotesi debba condurre all'adozione del modello più semplice. Penso di no, nella maggior parte delle situazioni. Un'eccezione è quando si sta verificando un modello flessibile rispetto a un modello completamente lineare e il test di non linearità con, diciamo, 10 df, produce . Mi sentirei sicuro nell'adottare il modello lineare.

P = .05

$P=.05$

— Frank Harrell,

Mi dispiace che dovrebbe essere non .

P = 0.50

$P=0.50$

P = 0.05

$P=0.05$

— Frank Harrell,