Cosa dire a un cliente che ritiene che gli intervalli di confidenza siano troppo ampi per essere utili?

22

Supponiamo che io sia un consulente e che voglia spiegare al mio cliente l'utilità dell'intervallo di confidenza. Il cliente mi dice che i miei intervalli sono troppo ampi per essere utili e preferirebbe usarne uno largo la metà.

Come dovrei rispondere?

confidence-interval interpretation

— student_diversified
fonte

15

fatturarli per raccogliere più dati.

— shabbychef,

2

Questo mi ricorda un articolo da leggere sui tipi di clienti nella consulenza statistica.

@Procrastinator Ti dispiacerebbe pubblicare un collegamento a una versione PDF del documento?

— assunto normale il

1

@Max, sembra essere ovviamente disponibile solo tramite JSTOR; pubblicare un PDF sarebbe una violazione dei termini di servizio (abbastanza ragionevoli) di JSTOR ...

— Ben Bolker,

@shabbychef - spesso questo è un modo altamente inefficiente per aumentare la precisione, specialmente se il campione è già grande. ad esempio, per dimezzare la larghezza del ci di una media normale ci è necessario quadruplicare la dimensione del campione. meglio dedicare un po 'di tempo a migliorare il modello prima di partire e aumentare di quattro volte il costo maggiore!

— Probislogic,

16

Dipende da cosa il cliente intende per "utile". Il suggerimento del cliente di restringere arbitrariamente gli intervalli sembra riflettere un fraintendimento che, restringendo gli intervalli, in qualche modo ha magicamente ridotto il margine di errore. Supponendo che il set di dati sia già stato raccolto ed è stato risolto (se questo non è il caso, la battuta di @ shabbychef nei commenti ti dà la tua risposta), qualsiasi risposta al tuo cliente dovrebbe enfatizzare e descrivere perché non c'è "pranzo libero" e che si sta sacrificando qualcosa restringendo gli intervalli.

In particolare, poiché il set di dati è fisso, l'unico modo per ridurre la larghezza dell'intervallo di confidenza è diminuendo il livello di confidenza. Pertanto, hai la possibilità di scegliere tra un intervallo più ampio che sei più sicuro che contenga il vero valore del parametro o un intervallo più stretto di cui sei meno sicuro. Cioè, intervalli di confidenza più ampi sono più conservativi. Ovviamente, non puoi mai semplicemente ottimizzare la larghezza o il livello di confidenza in modo insensato, dal momento che puoi generare vagamente un intervallo di confidenza lasciandolo su tutto lo spazio dei parametri e ottenere un intervallo di confidenza infinitamente stretto, anche se avrà una copertura dello . $100 \%$ $0 \%$

Se un intervallo meno conservativo sia più utile dipende chiaramente sia dal contesto sia da come l'ampiezza dell'intervallo varia in funzione del livello di confidenza, ma ho problemi a immaginare un'applicazione in cui utilizzare un livello di confidenza molto più basso per ottenere intervalli preferenziali sarebbero preferibili. Inoltre, vale la pena sottolineare che l' intervallo di confidenza al è diventato così onnipresente che sarà difficile giustificare il motivo per cui, ad esempio, si sta utilizzando un intervallo di confidenza . $95 \%$ $60\%$

— macro
fonte

6

Non puoi semplicemente ridurre l'intervallo di confidenza senza rinunciare a qualcosa, ma c'è una piccola flessibilità analoga alla differenza tra un test a una coda e un test a due code. Inoltre, è possibile che un modello migliore degli stessi dati produca intervalli di confidenza diversi (e possibilmente più piccoli).

— Douglas Zare,

3

Penso che stai vendendo l'ultima parte solo un po 'corta. L'ubiquità dell'IC al 95 % è un fenomeno culturale. In alcuni contesti, altri valori sono comuni, ad esempio durante la stampa, le barre di errore sono spesso errori standard (ovvero il 68% di elementi della configurazione), poiché sono sicuro che tu abbia familiarità. (+1, a proposito)

— gung - Ripristina Monica

2

Nello spirito questa risposta è buona, ma penso che il secondo paragrafo sia troppo limitante. Un enorme vantaggio che lo statistico apporta a questa parte è la conoscenza di procedure alternative che possono meglio soddisfare le esigenze del cliente. In molti casi è possibile restringere la larghezza di un elemento della configurazione selezionando una diversa procedura di elemento della configurazione. Ciò non richiede né la raccolta di più dati (da -1 a @shabbychef, temo) né la riduzione del livello di confidenza. La parte davvero difficile è interpretare un elemento della configurazione in cui la procedura è stata selezionata post hoc. Ecco perché vogliamo avere questa conversazione prima di analizzare (o persino raccogliere) i dati!

— whuber

7

Sto reagendo a questo, Macro, perché in pratica non funziona bene per essere così poco flessibile. Il rischio è che il cliente ignori i tuoi consigli e si rivolga all'aiuto di qualcuno che non conosce meglio (ma rivendica sufficienti competenze in statistica). Lo scenario del PO è familiare e comune: è meglio vederlo come un'opportunità per informare ed educare il cliente e offrire loro alternative (insieme a una discussione schietta dei loro pro e contro). Dobbiamo dire "sì, l'IC può essere ridotto, ma qui ci sono alcune delle conseguenze del farlo" piuttosto che "no, sei fregato".

— whuber

2

Questo è un buon punto @whuber (+1) in situazioni in cui potrebbero essere disponibili alternative più efficienti - ancora un altro motivo per consultare uno statistico prima di raccogliere / analizzare i dati.

— Macro

2

Vorrei suggerire che dipende interamente da ciò che il tuo cliente desidera utilizzare per gli intervalli di confidenza.

Una sorta di rapporto / pubblicazione / ecc. dove sono normalmente segnalati IC al 95%. Potrei benissimo dirgli "Non è statisticamente giustificato" e lasciarlo lì, a seconda che il cliente tenda o meno di rimandare alla tua esperienza. In caso contrario, devi esprimere un giudizio sul tuo conforto professionale con ciò che vogliono.
Una sorta di documento interno - chiarirei che non sei d'accordo e chiarire quale tipo di intervallo di confidenza il lettore sta ora osservando, poiché non è del 95%.
Come misura dell'incertezza della stima, diciamo per determinare quanta analisi di sensibilità si potrebbe fare? Darei loro una cifra che mostra la distribuzione completa con sia l'IC al 95% che qualcosa di simile a un IC al 68% e li lascerei avere.

Sarei abbastanza orgoglioso di me stesso se fossi riuscito a impedire che "così eseguissi uno studio più ampio" fosse la prima cosa che mi uscisse dalla bocca.

— fomite
fonte

1

+1. Penso che i commenti che hai fatto sotto (2) sarebbero probabilmente rilevanti anche nella situazione descritta da (1).

— Macro

0

Usa la deviazione standard, come fanno la maggior parte delle persone. L'IC al 95% può essere spaventoso quando le persone sono abituate all'IC al 68%.

— Geoph Twombly
fonte

4

Mi sembra che in questo caso siamo semplicemente interessati a mostrare l'accuratezza, diciamo, della media del campione, non la variabilità dei singoli valori. Perché consiglieresti la deviazione standard , in particolare?

— chl

Inizialmente, Fisher suggeriva IC al 95% come approssimazione a 2 deviazioni standard.

— Patrick Caldon,

1

@Patrick, sembra che tu abbia perso il punto di chl (così come Fisher, che non ha fatto un errore del genere) o hai scritto "deviazione standard" dove intendevi " errore standard ". La maggior parte degli EC si basa su errori standard, ovviamente, non su deviazioni standard. 2 SD non approssima né un CI né viceversa.

— whuber

Naturalmente, l'errore standard è solo la deviazione standard della media, quindi è solo una terminologia. Cioè, dire che gli EC non sono basati su deviazioni standard non è proprio vero. Non si basano sulla deviazione standard del campione, ma invece sulla deviazione standard della media.

— Aaron - Ripristina Monica il

2

Non tutte le stime sono medie. Esistono errori standard per le stime diverse dalle medie ed è l'errore standard della stima che viene utilizzato per generare intervalli di confidenza per un parametro basato sulla variabilità di una stima, come suggerisce whuber.

— Michael R. Chernick,

0

Fornisci un intervallo di confidenza a un certo livello standard come 90% o 95%. Il cliente può giudicare se l'intervallo è troppo ampio per essere utile. Ma ovviamente questo non significa che puoi accorciarlo per renderlo utile. Puoi suggerire che aumentando la dimensione del campione diminuirai la larghezza di un intervallo a un dato livello di confidenza poiché diminuisce approssimativamente di un fattore della radice quadrata della dimensione del campione.

— Michael R. Chernick
fonte