Significato dei valori p nella regressione

Quando eseguo una regressione lineare in alcuni pacchetti software (ad esempio Mathematica), ottengo valori p associati ai singoli parametri nel modello. Ad esempio, i risultati di una regressione lineare che produce un risultato avranno un valore p associato con uno con . $ax+b$ $a$ $b$

Che cosa significano questi valori p individualmente su questi parametri?
Esiste un modo generale per calcolare i parametri per qualsiasi modello di regressione?
Il valore p associato a ciascun parametro può essere combinato in un valore p per l'intero modello?

Per mantenere questa domanda di natura matematica, sto cercando solo l'interpretazione dei valori di p in termini di probabilità.

probability regression

— Henry B.
fonte

La risposta di Gavin nella domanda a cui @cardinal si collega lo dice bene.

— JM non è uno statistico il

@zyx, non c'è nulla di avanzato nelle domande del PO. Queste sono domande molto comuni per le quali, secondo me, stats.SE è più appropriato --- e per cui anche i partecipanti sono più in sintonia. Math.SE e MO sono entrambe eccellenti risorse per le domande di probabilità, ma molto meno per quelle statistiche. Le domande del PO si rivolgono molto più a quest'ultimo.

— cardinale

@cardinal: ho seguito stats.SE dall'inizio della beta pubblica. Su 4800+ domande fino ad oggi non sono stato in grado di individuare uno che ponga o risponda al punto 3 dell'OP, il che è strano se questa è una query "molto comune". Né ho visto risposte concettualmente precise al punto 1 nelle poche volte in cui è emerso. Penso che queste cose dovrebbero essere pubblicate periodicamente su math.SE e MO per attirare l'attenzione di un pubblico più vasto, non migrato in pochi minuti a stats.SE. Non fa male chiedere anche a stat.SE, ma trasformare quest'ultimo nel solo posto in cui le statistiche possono essere discusse non è utile.

— zyx,

Ora c'è un thread su math.SE per le migrazioni di stats.SE in meta.math.SE.

— zyx,

(Alcuni commenti citati sopra sono stati persi durante la migrazione. Sono visibili nel post originale di math.SE, collegati di seguito accanto alle parole "migrato da ...")

— zyx,

Risposte:

Il valore p di è il valore p in un test dell'ipotesi " " (di solito un test fronte-retro ). Il valore p per è il valore p in un test dell'ipotesi " " (anche di solito un test fronte-retro ) e allo stesso modo per qualsiasi altro coefficiente nella regressione. I modelli di probabilità per questi test sono determinati da quello assunto nel modello di regressione lineare. Per la regressione lineare dei minimi quadrati, la coppia ( ) segue una distribuzione normale bivaria centrata sui valori dei parametri reali ( ) e il test di ipotesi per ciascun coefficiente è equivalente al test se $a$ $\alpha = 0$ $t$ $b$ $\beta = 0$ $t$ $a,b$ $\alpha, \beta$ $t$ $\alpha = 0$ (resp. ) basato su campioni provenienti da un'adeguata distribuzione normale [di una variabile, ovvero la distribuzione di o da solo]. I dettagli di cui appaiono le normali distribuzioni sono piuttosto complicati e implicano "gradi di libertà" e "matrici di cappello" (basato sulla notazione per alcune delle matrici che compaiono costantemente nella teoria della regressione OLS). $\beta=0$ $a$ $b$ $\hat{A}$
Sì. Di solito viene eseguito (e definito) dalla stima della massima verosimiglianza . Per la regressione lineare OLS e un piccolo numero di altri modelli ci sono formule esatte per stimare i parametri dai dati. Per regressioni più generali le soluzioni sono iterative e di natura numerica.
Non direttamente Un valore p viene calcolato separatamente per un test dell'intero modello, ovvero un test dell'ipotesi che tutti i coefficienti (delle variabili che si presume possano effettivamente variare, quindi non includendo il coefficiente del "termine costante" se esiste uno). Ma questo valore p di solito non può essere calcolato dalla conoscenza dei valori p dei coefficienti.

— ZYX
fonte

Nel tuo punto (1.) sembra esserci un po 'di confusione tra un parametro e uno stimatore . Il valore

è associato allo stimatore piuttosto che al parametro e gli stimatori sono normali bivariati, non i parametri (che, almeno, nelle statistiche classiche sono considerati fissi). Inoltre, i tuoi commenti al punto (3.) possono portare a confusione poiché è del tutto possibile (e abbastanza comune) che alcuni dei singoli valori

delle stime di regressione siano sia più grandi che più piccoli del valore

congiunto del corrispondente

test.

p

$p$

p

$p$

p

$p$

F

$F$

— cardinale

@NRH: Siamo spiacenti, puoi chiarire il tuo commento precedente. Non lo seguo ancora (ancora). :)

— cardinale

@cardinale: sembra più preciso affermare che un valore p è associato a un test di ipotesi. I parametri compaiono nell'ipotesi nulla del test e la coppia (valore osservato dello stimatore, ipotesi alternativa) determina quindi un valore p. Le ipotesi nulle dovrebbero essere descritte usando parametri, come α = 0 anziché gli stimatori a = 0, come è stato fatto [con noncuranza] nella risposta originale, ora modificata (grazie per aver sottolineato l'errore). Tuttavia, la distinzione apparentemente confusa o mancante "gli stimatori sono normali bivariati, non i parametri" è stata dichiarata esplicitamente nella risposta.

— zyx,

Mi dispiace, non ho potuto resistere. @zyx ha commentato il post originale su math.SE secondo cui le risposte su stat.SE erano spesso imprecise. Trovo che molte risposte siano abbastanza precise sebbene a volte matematiche imprecise. Questo è nella natura delle cose. Le domande e le risposte statistiche non possono sempre essere ridotte a precise dichiarazioni matematiche. In particolare non quelli difficili. Eppure la risposta fornita qui non è né particolarmente accurata né precisa secondo me.

— NRH,

Penso che sarebbe bello se chiunque effettuasse il downgrade abbia fornito un commento esplicativo.

— cardinale

Hai scritto la tua prima domanda: dipende dal tuo software preferito. Esistono in realtà due tipi di valori p che vengono utilizzati frequentemente in questi scenari, entrambi tipicamente basati su test del rapporto di verosimiglianza (ce ne sono altri ma questi sono in genere equivalenti o almeno differiscono poco nei risultati).

È importante rendersi conto che tutti questi valori p sono subordinati (parte di) al resto dei parametri. Ciò significa: supponendo che (alcune delle) altre stime dei parametri siano corrette, si verifica se il coefficiente di un parametro è zero. Tipicamente, l'ipotesi nulla per questi test è che il coefficiente è zero, quindi se si ha un piccolo valore p, significa (condizionatamente al valore degli altri coefficienti) che è improbabile che il coefficiente stesso sia zero.

Test di tipo I test per la zeroness di ciascun coefficiente in base al valore dei coefficienti che lo precedono nel modello (da sinistra a destra). Prove di tipo III (prove marginali), prova per la zeroness di ciascun coefficiente in base al valore di tutti gli altri coefficienti.

Strumenti diversi presentano valori di p diversi come impostazione predefinita, sebbene in genere si disponga di metodi per ottenerli entrambi. Se non hai un motivo al di fuori delle statistiche per includere i parametri in un certo ordine, sarai generalmente interessato ai risultati del test di tipo III.

Infine (riferendosi maggiormente alla tua ultima domanda), con un test del rapporto di verosimiglianza puoi sempre creare un test per qualsiasi insieme di coefficienti subordinato al resto. Questa è la strada da percorrere se si desidera verificare che più coefficienti siano zero allo stesso tempo (altrimenti si verificano alcuni fastidiosi problemi con più test).

— Nick Sabbe
fonte

p

$p$

ψ = c^{'} β

$\psi = c'\beta$

t = \frac{\hat{ψ} - ψ_{0}}{\hat{σ} \sqrt{c^{'} (X^{'} X)^{- 1} c}}

$t = \frac{\hat{\psi} - \psi_0}{\hat{\sigma} \sqrt{c' (X' X)^{-1} c}}$

\hat{ψ} = c^{'} \hat{β}

$\hat{\psi} = c'\hat{\beta}$

\hat{β}

$\hat{\beta}$

c

$c$

X

$X$

\hat{σ}

$\hat{\sigma}$

| | e | |^{2} / (n - (p + 1))

$||e||^2 / (n - (p+1))$

e

$e$

j

$j$

c

$c$

j

$j$

ψ_{0} = 0

$\psi_0 = 0$

t

$t$

L'essenza della questione viene catturata per esempio qui . Ricorda che Anova è solo un caso speciale di regressione. Fondamentalmente, si riduce a questo: se si esegue un test per zeroness (il coefficiente di) variabile A in un modello con o senza la variabile B, è possibile ottenere risultati diversi. Pertanto, il risultato è subordinato al modello, ai dati (anche per i valori della variabile B) e quindi ai coefficienti non nel test ma nel modello. Trovare quell'idea in matematica potrebbe essere un po 'più difficile :-)

— Nick Sabbe,

p - 1

$p-1$

p

$p$

c^{'} β

$c'\beta$

β_{j}

$\beta_j$

F = \frac{(S S_{e r} - S S_{e u}) / (d f_{e r} - d f_{e u})}{S S_{e u} / d f_{e u}}

$F = \frac{(SS_{er} - SS_{eu}) / (df_{er} - df_{eu})}{SS_{eu} / df_{eu}}$

S S_{e r}

$SS_{er}$

d f_{e r}

$df_{er}$

| | e_{r} | |^{2}

$||e_r||^2$

u

$u$

Il caso continuo dovrebbe essere completamente equivalente a una variabile codificata 0-1 dicotomica.

— Nick Sabbe,