Che cos'è un'ipotesi di una procedura statistica?
Non sono uno statistico e quindi questo potrebbe essere sbagliato, ma penso che la parola "assunzione" sia spesso usata in modo abbastanza informale e possa riferirsi a varie cose. Per me, un "presupposto" è, a rigor di termini, qualcosa che solo un risultato teorico (teorema) può avere.
Quando le persone parlano di ipotesi di regressione lineare ( vedi qui per una discussione approfondita), di solito si riferiscono al teorema di Gauss-Markov che dice che sotto ipotesi di errori non correlati, di varianza uguale, zero-media, la stima OLS è BLU , ovvero è imparziale e presenta una varianza minima. Al di fuori del contesto del teorema di Gauss-Markov, non mi è chiaro cosa significherebbe nemmeno un "presupposto di regressione".
Allo stesso modo, le ipotesi di un, per esempio, un test t di un campione si riferiscono alle ipotesi in base alle quali -statistic è distribuito e quindi l'inferenza è valida. Non si chiama "teorema", ma è un chiaro risultato matematico: se campioni sono normalmente distribuiti, allora -statistic seguirà la distribuzione di Student con gradi di libertà.t n t t n - 1ttnttn - 1
Ipotesi di tecniche di regressione penalizzate
Considera ora qualsiasi tecnica di regressione regolarizzata: regressione della cresta, lazo, rete elastica, regressione dei componenti principali, regressione dei minimi quadrati parziali, ecc. Ecc. L'intero punto di questi metodi è fare una stima parziale dei parametri di regressione e sperare di ridurre il previsto perdita sfruttando il trade-off di bias varianza.
Tutti questi metodi includono uno o più parametri di regolarizzazione e nessuno di essi ha una regola definita per la selezione dei valori di questi parametri. Il valore ottimale si trova di solito tramite una sorta di procedura di convalida incrociata, ma esistono vari metodi di convalida incrociata e possono produrre risultati leggermente diversi. Inoltre, non è raro invocare alcune regole pratiche aggiuntive oltre alla convalida incrociata. Di conseguenza, il risultato effettivo di uno qualsiasi di questi metodi di regressione penalizzati non è in realtà completamente definito dal metodo, ma può dipendere dalle scelte dell'analista.β^
Pertanto non mi è chiaro come possa esserci una dichiarazione di ottimalità teorica su , e quindi non sono sicuro che parlare di "assunzioni" (presenza o assenza delle stesse) di metodi penalizzati come la regressione della cresta abbia senso. .β^
Ma per quanto riguarda il risultato matematico che la regressione della cresta batte sempre OLS?
Hoerl & Kennard (1970) in Ridge Regressione: stima distorta per problemi non ortogonali ha dimostrato che esiste sempre un valore del parametro di regolarizzazione tale che la stima di regressione della cresta di ha una perdita attesa strettamente inferiore rispetto alla stima OLS. È un risultato sorprendente - vedi qui per qualche discussione, ma dimostra solo l'esistenza di tale , che dipenderà dal set di dati.β λλβλ
Questo risultato in realtà non richiede alcun presupposto ed è sempre vero, ma sarebbe strano affermare che la regressione della cresta non ha alcun presupposto.
Ok, ma come faccio a sapere se posso applicare la regressione della cresta o no?
Direi che anche se non possiamo parlare di ipotesi, possiamo parlare di regole empiriche . È noto che la regressione della cresta tende ad essere più utile in caso di regressione multipla con predittori correlati. È noto che tende a sovraperformare OLS, spesso con un ampio margine. Tenderà a sovraperformare anche in caso di eteroscedasticità, errori correlati o quant'altro. Quindi la semplice regola empirica afferma che se si dispone di dati multicollineari, la regressione della cresta e la convalida incrociata sono una buona idea.
Probabilmente ci sono altre utili regole pratiche e trucchi commerciali (come ad esempio cosa fare con gli outlier lordi). Ma non sono ipotesi.
Si noti che per la regressione OLS sono necessari alcuni presupposti per mantenere i valori . Al contrario, è difficile ottenere valori nella regressione della cresta. Se ciò viene fatto, viene eseguito tramite il bootstrap o un approccio simile e, di nuovo, sarebbe difficile puntare a ipotesi specifiche qui perché non ci sono garanzie matematiche.ppp