Si possono tralasciare i dati della ricerca perché non sono significativi?

Ho incontrato questa frase mentre leggevo un articolo su sciencemag.org .

Alla fine, sono state incluse le risposte di soli 7600 ricercatori in 12 paesi perché i dati rimanenti non sono stati considerati statisticamente significativi.

È questo un modo corretto di fare ricerca? Tralasciare i risultati perché non sono stati considerati statisticamente significativi?

Nel rapporto citato nel commento di whuber, si dice a pagina 104 [pag. 114 nel pdf]:

Il sondaggio è riuscito ad attivare la partecipazione di circa 8.900 dottorandi provenienti da oltre 30 paesi ...

Quindi, tra le pagine 104-105, si dice:

Durante lo svolgimento delle procedure di pulizia dei dati, il team di esperti del sondaggio Eurodoc ha deciso di eseguire un'analisi del test di potenza. Sulla base dell'assunzione di questionari completamente compilati che si tradurranno in una distribuzione multi-normale, è stato utilizzato un test di potenza per la stima dell'intervallo di confidenza. Questo è stato fatto per testare l'accuratezza dei dati. È stato deciso di accettare un livello di errore massimo del 6% ad un intervallo di confidenza del 95%. Una perdita del 16% delle dimensioni del campionamento ha portato a un campione di 12 paesi partecipanti con 7.600 partecipanti.

Quindi non è molto chiaro esattamente perché la perdita del 16% nel campione, ma l'assunzione di risposte incomplete sia probabilmente corretta. (E puoi vedere perché il giornalista era confuso.)

Quella frase in realtà non ha senso ed è chiaramente in errore.

I dati non possono essere statisticamente significativi o insignificanti. Solo le relazioni tra i dati, il prodotto di test statistici, si può parlare di in questi termini.

Se la domanda è: possiamo eliminare i dati dalle nostre analisi perché l'inclusione di tali dati significa che non possiamo rifiutare l'ipotesi nulla? La risposta è - ovviamente, spero! - no . Il messaggio che hai citato è un rapporto di notizie, non un documento scientifico. Se fosse stato un articolo che è stato rivisto, non sarebbe mai entrato.

Probabilmente, i dati non sono stati inclusi perché ci sono ragioni sostanziali per non includerli. Probabilmente, come altri hanno suggerito, i dati esclusi erano incompleti o raccolti usando metodi diversi o incomparabili.

No.

Sospetto che il giornalista intendesse dire che le altre persone sono state escluse perché i sondaggi erano incompleti o internamente incoerenti.

No, ma i giornalisti possono usare il gergo tecnico completamente senza senso.