Statistica forense: Benford e oltre

Quali sono i metodi generali per rilevare frodi, anomalie, confusione, ecc. Nelle opere scientifiche prodotte da terzi? (Sono stato motivato a chiedere questo dalla recente vicenda Marc Hauser .) Di solito per frode elettorale e contabile, viene citata una variante della legge di Benford . Non sono sicuro di come questo possa essere applicato, ad esempio, al caso Marc Hauser, perché la legge di Benford richiede che i numeri siano approssimativamente uniformi.

Come esempio concreto, supponiamo che un documento abbia citato i valori di p per un gran numero di test statistici. Si potrebbero trasformare questi in log uniformità, quindi applicare la legge di Benford? Sembra che ci sarebbero tutti i tipi di problemi con questo approccio ( ad esempio alcune ipotesi nulle potrebbero essere legittimamente false, il codice statistico potrebbe fornire valori p solo approssimativamente corretti, i test potrebbero fornire solo valori p uniformi sotto il nulla asintoticamente, ecc.)

Ottima domanda!

Nel contesto scientifico ci sono vari tipi di rapporti problematici e comportamenti problematici:

• Frode : definirei la frode come un'intenzione deliberata da parte dell'autore o dell'analista di travisare i risultati e in cui la falsa dichiarazione è di natura sufficientemente grave. L'esempio principale è la fabbricazione completa di dati grezzi o statistiche riassuntive.
• Errore : gli analisti dei dati possono commettere errori in molte fasi dell'analisi dei dati dall'inserimento dei dati, alla manipolazione dei dati, alle analisi, alla segnalazione, all'interpretazione.
• Comportamento inappropriato : esistono molte forme di comportamento inappropriato. In generale, può essere sintetizzato da un orientamento che cerca di confermare una posizione particolare piuttosto che cercare la verità.

Esempi comuni di comportamento inappropriato includono:

• Esaminare una serie di possibili variabili dipendenti e riportare solo quella statisticamente significativa
• Per non parlare delle importanti violazioni delle ipotesi
• Esecuzione di manipolazioni dei dati e procedure di rimozione anomale senza menzionarle, in particolare laddove queste procedure sono sia inadeguate sia scelte esclusivamente per rendere i risultati migliori
• Presentare un modello di conferma che è in realtà esplorativo
• Omettere risultati importanti che vanno contro l'argomento desiderato
• Scelta di un test statistico solo sulla base del fatto che i risultati abbiano un aspetto migliore
• Esecuzione di una serie di cinque o dieci studi sotto-potenziati in cui solo uno è statisticamente significativo (forse a p = .04) e quindi riportando lo studio senza menzionare gli altri studi

In generale, ipotizzerei che l' incompetenza sia correlata a tutte e tre le forme di comportamento problematico. Un ricercatore che non capisce come fare una buona scienza ma che vuole comunque avere successo avrà un maggiore incentivo a travisare i propri risultati ed è meno probabile che rispetti i principi dell'analisi etica dei dati.

Le suddette distinzioni hanno implicazioni per il rilevamento di comportamenti problematici. Ad esempio, se si riesce a discernere che una serie di risultati segnalati è errata, è necessario accertarsi se i risultati siano derivati ​​da frode, errore o comportamento inappropriato. Inoltre, suppongo che varie forme di comportamento inappropriato siano molto più comuni della frode.

Per quanto riguarda il rilevamento di comportamenti problematici, penso che sia in gran parte un'abilità che deriva dall'esperienza nel lavorare con i dati , lavorare con un argomento e lavorare con i ricercatori. Tutte queste esperienze rafforzano le tue aspettative su come dovrebbero apparire i dati. Pertanto, le principali deviazioni dalle aspettative iniziano il processo di ricerca di una spiegazione. L'esperienza con i ricercatori ti dà un'idea dei tipi di comportamenti inappropriati che sono più o meno comuni. In combinazione, ciò porta alla generazione di ipotesi. Ad esempio, se leggo un articolo di giornale e sono sorpreso dei risultati, lo studio è sottodimensionato e la natura della scrittura suggerisce che l'autore è pronto a fare un punto, io creo l'ipotesi che i risultati forse non dovrebbero essere di fiducia.

Altre risorse

• Robert P. Abelson Statistics come Argomento principale ha un capitolo intitolato "Sulla sospetta sospetta"

In realtà, la legge di Benford è un metodo incredibilmente potente. Questo perché la distribuzione in frequenza della prima cifra di Benford è applicabile a tutti i tipi di set di dati che si verificano nel mondo reale o naturale.

Hai ragione, puoi usare la legge di Benford solo in determinate circostanze. Dici che i dati devono avere una distribuzione del registro uniforme. Tecnicamente, questo è assolutamente corretto. Ma potresti descrivere il requisito in modo molto più semplice e indulgente. Tutto ciò che serve è che l'intervallo del set di dati attraversi almeno un ordine di grandezza. Diciamo da 1 a 9 o da 10 a 99 o da 100 a 999. Se attraversa due ordini di grandezza, siete in affari. E, la legge di Benford dovrebbe essere piuttosto utile.

La bellezza della legge di Benford è che ti aiuta a restringere la tua indagine molto rapidamente sugli aghi all'interno della pila di dati del fieno. Cerchi le anomalie per cui la frequenza della prima cifra è molto diversa dalle frequenze di Benford. Una volta notato che ci sono due molti 6, allora usi la Legge di Benford per concentrarti solo sui 6; ma ora lo porti alle prime due cifre (60, 61, 62, 63, ecc ...). Ora, forse scopri che ci sono molti più 63 di quelli suggeriti da Benford (lo faresti calcolando la frequenza di Benford: log (1 + 1/63) che ti dà un valore vicino allo 0%). Quindi, usi Benford per le prime tre cifre. Quando scoprirai che ci sono troppi 632 (o qualsiasi altra cosa calcolando la frequenza di Benford: log (1 + 1/632)) del previsto, probabilmente stai per qualcosa. Non tutte le anomalie sono frodi. Ma,

Se i set di dati manipolati da Marc Hauser fossero dati non vincolati naturali con un intervallo correlato sufficientemente ampio, la Legge di Benford sarebbe uno strumento diagnostico piuttosto valido. Sono sicuro che ci sono altri buoni strumenti diagnostici che rilevano anche schemi improbabili e combinandoli con la Legge di Benford avresti probabilmente molto probabilmente indagato sull'affare Marc Hauser (prendendo in considerazione i requisiti di dati citati della Legge di Benford).

Spiego un po 'di più la Legge di Benford in questa breve presentazione che potete vedere qui: http://www.slideshare.net/gaetanlion/benfords-law-4669483