Il "Teorema del pranzo libero" non si applica ai test statistici generali?

Una donna per cui lavoravo mi ha chiesto di fare un ANOVA a senso unico su alcuni dati. Ho risposto che i dati erano misure di misure ripetute (serie temporali) e che pensavo che l'assunzione di indipendenza fosse stata violata. Ha risposto che non avrei dovuto preoccuparmi delle ipotesi, farei solo il test e avrebbe tenuto conto del fatto che le ipotesi potrebbero non essere state soddisfatte.

Non mi è sembrato giusto. Ho fatto qualche ricerca e ho trovato questo meraviglioso post sul blog di David Robinson, K-significa che il raggruppamento non è un pranzo gratuito , il che mi ha esposto al Teorema del pranzo libero. Ho guardato il documento originale e alcuni seguono le cose, e francamente la matematica è un po 'sopra la mia testa.

L'essenza di ciò - secondo David Robinson - sembra essere che il potere di un test statistico derivi dalle sue ipotesi. E dà due grandi esempi. Mentre scrivo gli altri articoli e post di blog su di esso, sembra essere sempre referenziato in termini di apprendimento supervisionato o ricerca.

Quindi la mia domanda è: questo teorema si applica ai test statistici in generale? In altre parole, si può dire che il potere di un t-test o ANOVA deriva dalla sua aderenza alle ipotesi e citare il Teorema del No Free Lunch?

Devo al mio ex capo un documento finale relativo al lavoro svolto e vorrei sapere se posso fare riferimento al teorema del pranzo libero affermando che non puoi semplicemente ignorare le ipotesi di un test statistico e dire che lo prenderai in conto durante la valutazione dei risultati.

Non conosco una prova ma scommetto che questo vale abbastanza in generale. Un esempio è un esperimento con 2 soggetti in ciascuno dei 2 gruppi di trattamento. Il test di Wilcoxon non può essere significativo a livello di 0,05, ma il test t può farlo. Si potrebbe dire che il suo potere deriva più della metà dai suoi presupposti e non solo dai dati. Al problema originale, non è appropriato procedere come se le osservazioni per soggetto fossero indipendenti. Prendere in considerazione le cose dopo il fatto non è certamente una buona pratica statistica, tranne in circostanze molto speciali (ad es. Stimatori sandwich a grappolo).

Se lo desideri, puoi citare il Teorema del No Free Lunch , ma potresti anche citare il Modus Ponens (noto anche come Legge del distacco , la base del ragionamento deduttivo), che è la radice del Teorema del No Free Lunch .

Il Teorema No Free Lunch comprende un'idea più specifica: il fatto che non esiste un algoritmo adatto a tutti gli scopi. In altre parole, il Teorema del No Free Lunch sta sostanzialmente dicendo che non esiste un proiettile magico algoritmico . Ciò si basa sul Modus Ponens, perché per un algoritmo o un test statistico per dare il risultato corretto, è necessario soddisfare le premesse.

Proprio come in tutti i teoremi matematici, se si violano le premesse, il test statistico è privo di senso e non si può ricavarne alcuna verità. Quindi, se vuoi spiegare i tuoi dati usando il tuo test, devi presumere che le premesse richieste siano soddisfatte, se non lo sono (e lo sai), allora il tuo test è completamente sbagliato.

Questo perché il ragionamento scientifico si basa sulla deduzione: in sostanza, il tuo test / legge / teorema è una regola di implicazione , che dice che se hai la premisse Apuoi concludere B: A=>Bma se non l'hai A, allora puoi avere Bo no B, ed entrambi i casi sono veri , questo è uno dei principi di base dell'inferenza / deduzione logica (la regola di Modus Ponens). In altre parole, se si violano le premesse, il risultato non ha importanza e non si può dedurre nulla .

Ricorda la tabella binaria delle implicazioni:

A   B   A=>B
F   F    T
F   T    T
T   F    F
T   T    T

Quindi nel tuo caso, per semplificare, hai Dependent_Variables => ANOVA_correct. Ora, se usi variabili indipendenti, così Dependent_Variablesè False, allora l'implicazione sarà vera, dal momento che l' Dependent_Variablesassunzione è stata violata.

Naturalmente questo è semplicistico, e in pratica il tuo test ANOVA potrebbe ancora restituire risultati utili perché c'è quasi sempre un certo grado di indipendenza tra le variabili dipendenti, ma questo ti dà l'idea del perché non puoi semplicemente fare affidamento sul test senza soddisfare i presupposti .

Tuttavia, puoi anche utilizzare i test che premettono non sono soddisfatti dall'originale riducendo il tuo problema: allentando esplicitamente il vincolo di indipendenza, il tuo risultato può essere comunque significativo, anche se non garantito (perché quindi i tuoi risultati si applicano al problema ridotto, non al problema completo, quindi non è possibile tradurre tutti i risultati tranne se è possibile dimostrare che i vincoli aggiuntivi del nuovo problema non influiscono sul test e quindi sui risultati).

In pratica, questo è spesso usato per modellare dati pratici, usando Naive Bayes per esempio, modellando variabili dipendenti (anziché indipendenti) usando un modello che assume variabili indipendenti, e sorprendentemente funziona spesso molto bene, e talvolta meglio della contabilità dei modelli per dipendenze . Puoi anche essere interessato a questa domanda su come utilizzare ANOVA quando i dati non soddisfano esattamente tutte le aspettative .

Riassumendo: se intendete lavorare su dati pratici e il vostro obiettivo non è dimostrare alcun risultato scientifico ma realizzare un sistema che funzioni (ad es. Un servizio web o qualunque applicazione pratica), l'assunzione di indipendenza (e forse altre ipotesi) può essere rilassato, ma se stai cercando di dedurre / provare qualche verità generale , allora dovresti sempre usare test che puoi garantire matematicamente (o almeno assumere in modo sicuro e dimostrabile) che soddisfi tutte le premesse .