La maggior parte delle correlazioni pubblicate nelle scienze sociali sono inaffidabili e cosa bisogna fare al riguardo? [chiuso]

9

Nonostante l'importante ma sbalorditivo sforzo "gotcha" da parte degli individui di rivelare le pratiche delle riviste predatorie , una minaccia più grande e più fondamentale incombe all'ombra della ricerca nelle scienze sociali ( sebbene ci siano certamente molti problemi che i ricercatori devono affrontare ). Per arrivare subito al punto, secondo una vista potremmo non essere in grado di fidarci dei coefficienti di correlazione derivati da campioni inferiori a 250 .

Sarebbe difficile trovare un test su cui fare più affidamento per dedurre la presenza, la direzione e la forza dell'associazione tra le misure nelle scienze sociali rispetto al coefficiente di correlazione fidato. Tuttavia, non sarebbe difficile trovare rapporti sottoposti a peer review che presentino forti affermazioni sulla relazione tra due costrutti in base a coefficienti di correlazione calcolati da dati con meno di 250 casi.

Data l'attuale crisi di replicazione delle scienze sociali (vedi il secondo link sopra), come dovremmo considerare questo rapporto relativo alla stabilizzazione dei coefficienti di correlazione solo su grandi campioni (almeno secondo alcuni standard di campo delle scienze sociali)? È un'altra crepa nel muro della ricerca sulle scienze sociali sottoposta a revisione paritaria, o è una questione relativamente banale che è stata esagerata nella sua presentazione?

Poiché non esiste probabilmente un'unica risposta corretta a questa domanda, spero invece di generare un filo in cui le risorse su questa domanda possano essere condivise, ponderate e discusse (educatamente e rispettosamente ovviamente).

correlation methodology publication-bias

— Matt Barstead
fonte

Riconosco che questa è una domanda basata sull'opinione e aggira le linee guida generali del sito. Il fatto è che una vasta gamma di persone viene su questo sito per approfondire le statistiche, inclusa una migliore comprensione delle insidie insite nelle tecniche che cercano di impiegare. La mia speranza è che, ponendo questa ampia domanda, posso aiutare a raggiungere questo obiettivo certamente vago. Imparare a calcolare un errore standard è una cosa. Imparare cosa significa esercitarlo quando si prende una decisione basata sull'evidenza è un'altra.

— Matt Barstead,

Ciò che è ancora peggio è come vengono selezionati quei casi "obbligatori 250". Vedo sempre più spesso che qualcuno pubblica un appello per completare un sondaggio di cui ha bisogno per un documento o per una tesi, su un sito di social media. Completa con l'argomento del sondaggio. Completamente ignaro di come si selezionerà automaticamente la persona. Addio a campioni casuali, in quanto i membri del gruppo sociale di qualcuno non sono casuali, di solito appartengono a gruppi ideologici / politici / economici simili e si auto-selezionano in base a quanto sono interessati all'argomento. Indicazione del "90% è a favore di X" , solo perché coloro che sono apatici non si sono offerti volontari.

— vsz

7

Aggiunta di intervalli di confidenza per i veri correlazione coefficienti stimati sarebbe una piccola (e molto semplice) primo passo nella direzione giusta. La sua larghezza ti dà immediatamente un'impressione sulla precisione della correlazione del campione e, allo stesso tempo, consente allo scrittore e anche al pubblico di testare ipotesi utili . Ciò che mi ha sempre sconcertato quando ho parlato con gli statistici della scienza sociale che un coefficiente di correlazione del campione assoluto superiore a (o qualche altro limite) era considerato significativo. Allo stesso tempo, stavano testando l'ipotesi di lavoro $\rho$ $L = 0.3$ $\rho \ne 0$ . Questo è irrilevante. Perché un coefficiente di correlazione della popolazione molto piccolo dovrebbe improvvisamente essere considerato significativo? L'ipotesi di lavoro "corretta" sarebbe . Avendo a portata di mano un intervallo di confidenza per , ipotesi come questa possono essere facilmente verificate: basta verificare che l'intervallo si trovi interamente sopra (o sotto ) e si sa se si può rivendicare un'associazione statistica "sostanziale" anche nel popolazione. $|\rho| > L$ $\rho$ $L$ $-L$

Ovviamente semplicemente aggiungere un intervallo di confidenza e usare test significativi non risolverà troppi problemi (come cattivi progetti di campionamento, omessa considerazione dei confondenti ecc.). Ma è sostanzialmente gratuito. Immagino che anche SPSS sia in grado di calcolarli!

— Michael M
fonte

1

In effetti, se SPSS può farlo ... Su una nota più seria, penso che l'idea di porre l'accento sugli EC abbia molto senso. Aiuterebbe anche con gli sforzi meta-analitici. Inoltre, mi sembra che la segnalazione di EC invece di valori p sia una sorta di approssimazione frequente di un approccio bayesiano. Ho sempre pensato che i modelli bayesiani tendano a "sentirsi" più onesti in quanto si concentrano sulla modellazione di una distribuzione di stime piuttosto che sulla ricerca della stima massima probabile per un parametro di popolazione derivato da un singolo campione.

— Matt Barstead,

4

Come nota Michael M , l'attendibilità delle correlazioni riportati - o di qualsiasi altra stima - può essere valutata utilizzando intervalli di confidenza. In una certa misura, cioè. Gli IC saranno troppo stretti se i modelli fossero stati selezionati dopo la raccolta dei dati, che stimo per accadere circa il 95% delle volte nelle scienze sociali (che dirò onestamente è una mia ipotesi completa).

Il rimedio è duplice:

Stiamo parlando di una " crisi di replicabilità ". Pertanto, repliche non riuscite ci informano che l'effetto originale era probabilmente solo un rumore casuale. Dobbiamo fare (e finanziare, scrivere, inviare e accettare) più repliche. Gli studi di replica stanno lentamente guadagnando rispettabilità, e questa è una buona cosa.
Il secondo rimedio è ovviamente la meta-analisi . Se abbiamo molte correlazioni riportato dati simili, anche se ognuno di loro ha una bassa , allora possiamo riunire le informazioni e imparare qualcosa. Idealmente, saremo anche in grado di rilevare errori di pubblicazione nel processo. $n$

— Stephan Kolassa
fonte

@Stephen, domanda: che cosa significa "replica", si deve usare gli stessi dati o dati diversi per replicare lo studio originale? C'è una differenza tra replica e ripetibilità?

— previsioni

Per il tuo primo punto, penso che gli ultimi anni abbiano visto un vero movimento sul fronte della replicabilità. Un prossimo capitolo offre alcuni consigli ai ricercatori sulle emozioni che penso si traduca bene in una serie di sottocampi nella scienza comportamentale.

— Matt Barstead,

@forecaster: una replica dovrebbe essere fatta con nuovi dati raccolti in modo indipendente, altrimenti non imparerai nulla di nuovo . "Ripetibilità" non è un termine che ho incontrato. Naturalmente, c'è sempre la domanda se la pubblicazione originale sia sufficientemente dettagliata in modo che qualcun altro possa effettivamente ripetere l'analisi.

— Stephan Kolassa,