Di recente ho finito di leggere The Lady Tasting Tea , un libro divertente sulla storia della statistica. Alla fine del libro, l'autore, David Salsburg , propone tre problemi filosofici aperti in statistica, le soluzioni a cui sostiene avrebbero implicazioni maggiori per l'applicazione della teoria statistica alla scienza. Non avevo mai sentito parlare di questi problemi prima, quindi sono interessato alle reazioni degli altri nei loro confronti. Mi sto avventurando in un territorio di cui ho poca conoscenza, quindi descriverò solo la rappresentazione di Salsburg di questi problemi e porrò due domande generali su questi problemi di seguito.

I problemi filosofici di Salsburg sono:

1. I modelli statistici possono essere utilizzati per prendere decisioni?
2. Qual è il significato di probabilità quando applicato alla vita reale?
3. Le persone comprendono davvero la probabilità?

Statistiche e processo decisionale

Come esempio del problema presentato nella domanda 1, Salsburg presenta il seguente paradosso. Supponiamo di organizzare una lotteria con 10000 biglietti non numerati. Se utilizziamo la probabilità per decidere se un determinato biglietto vincerà la lotteria rifiutando questa ipotesi per i biglietti con probabilità inferiori, diciamo, .001, respingeremo l'ipotesi di un biglietto vincente per tutti i biglietti della lotteria!

Salsburg usa questo esempio per sostenere che la logica è incompatibile con la teoria della probabilità poiché la teoria della probabilità è attualmente intesa e che, pertanto, attualmente non abbiamo un buon mezzo per integrare le statistiche (che, nella sua forma moderna, si basa in gran parte su teoria della probabilità) con un modo logico di prendere decisioni.

Il significato della probabilità

Come astrazione matematica, Salsburg sostiene che la probabilità funziona bene, ma quando proviamo ad applicare i risultati alla vita reale, ci imbattiamo nel problema che la probabilità non ha alcun significato concreto nella vita reale. Più specificamente, quando diciamo che domani esiste una probabilità del 95% di pioggia, non è chiaro a quali entità si applichi il 95%. Si applica alla serie di possibili esperimenti che potremmo condurre per ottenere conoscenze sulla pioggia? Si applica all'insieme di persone che potrebbero uscire e bagnarsi? Salsburg sostiene che la mancanza di un mezzo per interpretare le probabilità crea problemi per qualsiasi modello statistico basato sulla probabilità (cioè, la maggior parte di essi).

Le persone capiscono la probabilità?

Salsburg sostiene che un tentativo di risolvere i problemi con la mancanza di un mezzo concreto per interpretare la probabilità è attraverso il concetto di " probabilità personale ", proposto da Jimmie Savage e Bruno de Finetti, che comprende la probabilità come convinzioni personali sulla probabilità di eventi futuri. Tuttavia, affinché la probabilità personale fornisca una base coerente per la probabilità, le persone devono avere una comprensione comune di quale sia la probabilità e un mezzo comune per utilizzare l'evidenza per trarre conclusioni sulla probabilità. Sfortunatamente, prove come quelle prodotte da Kahneman e Tversky suggeriscono che le credenze personali potrebbero essere una base difficile su cui creare una base coerente per la probabilità. Salsburg suggerisce che i metodi statistici che modellano le probabilità come credenze (forse come i metodi bayesiani? Sto allargando le mie conoscenze qui) dovranno affrontare questo problema.

Le mie domande

1. In che misura i problemi di Salsburg sono davvero problemi per le statistiche moderne?
2. Abbiamo compiuto progressi nel trovare soluzioni a questi problemi?

Possiamo usare le statistiche / probabilità per prendere decisioni? Certo che possiamo, il modo in cui dovremmo procedere è scegliere il corso di azione che minimizza la nostra perdita attesa. In questo caso, tutti i numeri della lotteria hanno la stessa probabilità di arrivare; se tutti forniscono lo stesso premio, la perdita prevista è la stessa per qualsiasi numero, quindi non importa quale scegliamo. Se avessimo anche la possibilità di non giocare alla lotteria, quello sarebbe probabilmente il modo di agire che dovremmo prendere in quanto minimizzerà la nostra perdita attesa supponendo che la lotteria realizzi un profitto per qualcuno (o almeno copra i costi di gestione della lotteria ). Naturalmente questo è solo buon senso ed è coerente con la logica e potrebbe essere espresso in termini puramente probabilistici.

Mi sembra che la domanda derivi da una visione piuttosto limitata di come le statistiche possano essere utilizzate per prendere decisioni, non deve essere fatta con test di ipotesi quasi-pescatori.

Vorrei suggerire che il libro di Jaynes sulla teoria della probabilità è un buon modo per affrontare i punti (2) e (3), le probabilità possono rappresentare misure oggettive di plausibilità senza che siano "probabilità personali", ma mi aspetto che @probabilityislogic possa spiegarlo meglio di me può.

Non penso che queste siano davvero domande a cui si può rispondere in modo conclusivo. (IOW, sono, in effetti, filosofici). Detto ciò...

Statistiche e processo decisionale

Sì, possiamo usare le statistiche nel processo decisionale.

Tuttavia, ci sono limiti alla sua applicabilità; IOW, bisogna capire cosa si sta facendo.

Questo è pienamente applicabile a qualsiasi teoria.

Il significato della probabilità

Il 95% di probabilità di pioggia domani significa che se il costo di preparazione per una pioggia (ad esempio, prendere l'ombrello) è Ae il costo di essere catturato dalla pioggia non preparata (ad esempio, muta umida) B, allora dovresti portare l'ombrello con te iff A < 0.95 * B .

Le persone capiscono la probabilità?

No, le persone non capiscono molto, per lo meno con ogni probabilità.

Kahneman e Tversky hanno dimostrato che l'intuizione umana è imperfetta su molti livelli, ma l' intuizione e la comprensione non sono identiche, e direi che le persone capiscono anche meno di quanto intuiscano.

In che misura i problemi di Salsburg sono davvero problemi per le statistiche moderne?

Nil. Non credo che a nessuno importi di questi problemi tranne i filosofi e quelli di umore filosofico.

Abbiamo compiuto progressi nel trovare soluzioni a questi problemi?

Chiunque si preoccupi ha una risoluzione. La mia risoluzione personale è sopra.