Che senso ha confrontare i valori p tra loro?

Ho due popolazioni (uomini e donne), ognuna contenente campioni. Per ogni campione ho due proprietà A e B (media del primo anno e punteggio SAT). Ho usato un test t separatamente per A & B: entrambi hanno trovato differenze significative tra i due gruppi; A con e B con .$1000$$p=0.008$$p=0.002$

Va bene affermare che la proprietà B è meglio discriminata (più significativa) della proprietà A? O è che un test t è solo una misura sì o no (significativa o non significativa)?

Aggiornamento : secondo i commenti qui e quello che ho letto su Wikipedia , penso che la risposta dovrebbe essere: rilasciare il valore p insignificante e riportare la dimensione dell'effetto . qualche idea?

Molte persone sostengono che un valore- può essere significativo ( ) o no, e quindi non ha (mai) senso confrontare due valori- tra loro. Questo è sbagliato; in alcuni casi lo fa.$p$$p< \alpha$$p$

Nel tuo caso particolare non c'è assolutamente alcun dubbio che puoi confrontare direttamente i valori . Se la dimensione del campione è fissa ( ), i valori di sono monotonicamente correlati ai valori di , che a loro volta sono monotonicamente correlati alla dimensione dell'effetto misurata da Cohen's . In particolare, . Ciò significa che i tuoi valori sono in corrispondenza uno a uno con la dimensione dell'effetto e quindi puoi essere sicuro che se il valore per la proprietà A è maggiore di quello per la proprietà B, la dimensione dell'effetto per A è inferiore che per la proprietà B.$p$$n=1000$$p$$t$$d$$d=2t/\sqrt{n}$$p$$p$

Credo che questo risponda alla tua domanda.

Diversi punti aggiuntivi:

1. Questo è vero solo se la dimensione del campione è fissa. Se ottieni per la proprietà A in un esperimento con una dimensione del campione e per la proprietà B in un altro esperimento con un'altra dimensione del campione, è più difficile confrontarli.$n$$p=0.008$$p=0.002$

   • Se la domanda è in particolare se A o B siano meglio "discriminati" nella popolazione (cioè: in che modo è possibile prevedere il genere osservando i valori A o B?), Allora si dovrebbe considerare la dimensione dell'effetto. Nei casi semplici, conoscere e è sufficiente per calcolare la dimensione dell'effetto.$p$$n$

   • Se la domanda è più vaga: quale esperimento fornisce più "prove" contro il nulla? (questo può essere significativa se, ad esempio A = B) - allora la questione si complica e controversa, ma direi che il -value, per definizione, è un riassunto scalare le prove contro il nulla, per cui minore è la -value , più forte è l'evidenza, anche se le dimensioni del campione sono diverse.$p$$p$

2. Dire che la dimensione dell'effetto per B è maggiore di quella per A, non significa che sia significativamente più grande. È necessario un confronto diretto tra A e B per presentare una richiesta in tal senso.

3. È sempre una buona idea riferire (e interpretare) le dimensioni degli effetti e gli intervalli di confidenza oltre ai valori .$p$

Grazie a chiunque mi abbia appena sottovalutato, poiché ora ho una risposta completamente diversa a questa domanda. Di conseguenza, ho eliminato la mia risposta originale in quanto errata da questa prospettiva.

Nel contesto di questa domanda, che tratta solo della domanda "era A o B un discriminatore migliore nel mio studio", abbiamo a che fare con un censimento e non con un campione. Pertanto, l'uso di statistiche inferenziali come quelle utilizzate per produrre valori p è irrilevante. Le statistiche inferenziali vengono utilizzate per dedurre le stime della popolazione da quelle ottenute dal nostro campione. Se non desideriamo generalizzare a una popolazione, questi metodi non sono necessari. (Ci sono alcuni problemi specifici relativi ai valori mancanti in un censimento, ma quelli sono irrilevanti in questa situazione.)

Non vi è alcuna probabilità di ottenere un risultato in una popolazione. Abbiamo ottenuto il risultato che abbiamo ottenuto. Pertanto, la probabilità dei nostri risultati è del 100%. Non è necessario costruire un intervallo di confidenza: la stima puntuale per il campione è esatta. Non dobbiamo semplicemente stimare nulla.

Nel caso specifico di "quale variabile ha funzionato meglio con i dati che ho", tutto ciò che occorre fare è guardare i risultati in un semplice modulo di riepilogo. Una tabella può essere sufficiente, forse un grafico come un diagramma a riquadri.

Si ottiene una differenza in p, ma non è chiaro cosa significhi quella differenza (è grande, piccolo, significativo?)

Forse usa il bootstrap:

selezionare (con la sostituzione) dai dati, ripetere i test, calcolare la differenza di p (p_a - p_b), ripetere 100-200 volte

controlla quale frazione del tuo delta p è <0 (significa che p di A è inferiore a p di B)

Nota: l'ho visto fatto, ma non sono un esperto.

Aggiunta una risposta perché era troppo lungo per un commento!

Michelle ha una buona risposta, ma i molti commenti mostrano alcune discussioni comuni che emergono sui valori di p. Le idee di base sono le seguenti:

1) Un valore p più piccolo non significa che un risultato sia più o meno significativo. Significa solo che le probabilità di ottenere un risultato almeno altrettanto estremo sono meno probabili. Il significato è un risultato binario basato sul livello di significatività scelto (che si sceglie prima di eseguire il test).

2) La dimensione dell'effetto (spesso standardizzata a # di deviazioni standard) è un buon modo per quantificare "quanto diversi" due numeri. Quindi, se la Quantità A ha una dimensione dell'effetto di .8 deviazioni standard e la Quantità B ha una dimensione dell'effetto di 0,5 deviazioni standard, diresti che c'è una differenza più grande tra i due gruppi nella Quantità A rispetto alla Quantità B. Le misure standard sono :

.2 deviazioni standard = effetto "piccolo"

.5 deviazioni standard = effetto "medio"

.8 deviazioni standard = effetto "grande"