Se ho molti risultati positivi e insignificanti, posso testare "almeno

Diciamo che ho eseguito la stessa regressione per 100 persone diverse separatamente. I miei coefficienti di interesse sono positivi (e abbastanza diversi l'uno dall'altro) ma statisticamente insignificanti in tutti i 100 risultati (diciamo che ogni valore p = 0,11).

Esiste un modo per combinare questi valori p per concludere "almeno 80 di questi risultati sono positivi" con maggiore significato di p = 0,11? Le mie ricerche online mi hanno solo mostrato come dire "almeno 1 di questi risultati è positivo" attraverso un test Fisher o simile, ma non sono stato in grado di generalizzare quel risultato. Voglio testare "H0 = tutti i 100 effetti sono uguali a 0" contro "HA = almeno 80 effetti sono positivi."

Il mio obiettivo non è quello di dire che esiste un coefficiente positivo in media, né di misurare specificamente il coefficiente. Il mio obiettivo è dimostrare, con significato, che almeno 80 persone hanno affrontato individualmente alcuni effetti positivi indipendentemente da quali 80 e indipendentemente dall'entità dell'effetto percepito da ciascun individuo.

Dovresti eseguire tutte e 100 le analisi come un singolo modello di effetti misti, con i tuoi coefficienti di interesse variabili casuali stesse. In questo modo puoi stimare una distribuzione per quei coefficienti inclusa la loro media complessiva, che ti darà il tipo di interpretazione che penso tu stia cercando.

Notando che, se come sospetto, hai una serie temporale per ogni individuo, dovrai anche correggere l'autocorrelazione dei residui.

La cosa più semplice da fare sarebbe probabilmente un test sui segni. L'ipotesi nulla è che ogni risultato abbia pari probabilità di essere positivo o negativo (come lanciare una moneta giusta). Il tuo obiettivo è determinare se i risultati osservati sarebbero abbastanza improbabili in base a questa ipotesi nulla da poter essere respinti.

Qual è la probabilità di ottenere 80 o più teste su 100 lanci di una moneta giusta? Puoi calcolarlo usando la distribuzione binomiale. In R, viene chiamata la funzione pertinente pbinome potresti ottenere un valore p (unilaterale) usando la seguente riga di codice:

pbinom(80, size = 100, prob = 0.5, lower.tail = FALSE)

Secondo questo test, la tua intuizione è corretta, sarebbe estremamente improbabile che tu ottenga 80 risultati positivi per caso se il trattamento non avesse effetto.

Un'opzione strettamente correlata sarebbe quella di utilizzare qualcosa come il test di rango firmato Wilcoxon .

Un approccio migliore , se in realtà si desidera stimare la dimensione dell'effetto (piuttosto che determinare semplicemente se tende a essere maggiore di zero o meno), sarebbe probabilmente un modello gerarchico ("misto").

Qui, il modello afferma che i risultati dei tuoi 100 individui provengono da una distribuzione e il tuo obiettivo è vedere dove si trova la media di quella distribuzione (insieme agli intervalli di confidenza).

I modelli misti ti consentono di dire qualcosa in più sulle dimensioni degli effetti: dopo aver adattato il modello, potresti dire qualcosa del tipo "stimiamo che il nostro trattamento tende a migliorare i risultati in media di tre unità, sebbene i dati siano coerenti con la media reale la dimensione dell'effetto va da 1,5 a 4,5 unità. Inoltre, ci sono alcune variazioni tra gli individui, quindi una determinata persona può vedere un effetto ovunque da -0,5 a +6,5 unità ".

Si tratta di una serie di affermazioni molto precise e utili, molto meglio del semplice "l'effetto è probabilmente positivo, in media", motivo per cui questo approccio tende a essere favorito dagli statistici. Ma se non hai bisogno di tutti quei dettagli, anche il primo approccio che ho citato potrebbe andare bene.

Forse mi sbaglio completamente, ma ciò che mi sembra è che stai cercando di fare ANOVA a misure ripetute. Basta definire questo "manichino" come un fattore all'interno del soggetto, e il modello farebbe il resto. L'importanza in sé non è molto istruttiva; è richiesto ma non sufficiente; qualsiasi modello diventerebbe significativo con un numero sufficientemente ampio di osservazioni. potresti voler ottenere le dimensioni degli effetti, come Eta-Squared (parziale), per avere un'idea di quanto "grande" sia il tuo effetto. I miei 2 centesimi.

Potrebbe essere semplice come un normale calcolo ANCOVA, ma il modo appropriato per analizzare i tuoi dati dipende dalla situazione fisica e non hai fornito quei dettagli.