Taleb e il cigno nero

Il libro di Taleb "The Black Swan" è stato un best seller del New York Times quando è uscito diversi anni fa. Il libro è ora alla sua seconda edizione. Dopo l'incontro con gli statistici a un JSM (una conferenza statistica annuale), Taleb ha attenuato in qualche modo la sua critica alle statistiche. Ma il fulcro del libro è che le statistiche non sono molto utili perché si basano sulla distribuzione normale e su eventi molto rari: i "Cigni neri" non hanno distribuzioni normali.

Pensi che questa sia una critica valida? Taleb manca di alcuni aspetti importanti della modellistica statistica? È possibile prevedere eventi rari almeno nel senso che è possibile stimare le probabilità di accadimenti?

Ho letto il cigno nero un paio d'anni fa. L'idea del cigno nero è buona e l'attacco all'errore ludico (vedere le cose come se fossero giochi di dadi, con probabilità conoscibili) è buono ma le statistiche sono scandalosamente travisate, con il problema centrale che è l'affermazione sbagliata che tutte le statistiche cadono a pezzi se le variabili non sono normalmente distribuiti. Ero abbastanza infastidito da questo aspetto per scrivere a Taleb la lettera seguente:

Caro dottor Taleb

Di recente ho letto "Il cigno nero". Come te, sono un fan di Karl Popper e mi sono trovato d'accordo con molto di ciò che c'è dentro. Penso che la tua esposizione all'errore ludico sia fondamentalmente sana e attiri l'attenzione su un problema reale e comune. Tuttavia, penso che gran parte della Parte III delinei il tuo argomento generale, fino al punto di screditare il resto del libro. Questo è un peccato, poiché ritengo che gli argomenti relativi ai cigni neri e alle "incognite sconosciute" siano meriti senza fare affidamento su alcuni degli errori nella parte III.

La questione principale che desidero sottolineare - e su cui cerco la tua risposta, in particolare se ho frainteso i problemi - è la tua falsa rappresentazione del campo delle statistiche applicate. A mio giudizio, i capitoli 14, 15 e 16 dipendono in gran parte da un argomento di paglia, che travisa statistiche ed econometria. Il campo di econometria che descrivi non è quello che mi è stato insegnato quando ho studiato statistica applicata, econometria e teoria del rischio attuariale (presso la Australian National University, ma usando testi che sembravano piuttosto standard). I problemi che sollevi (come i limiti delle distribuzioni gaussiane) sono ben compresi e veramente compresi e insegnati, anche a livello universitario.

Ad esempio, fai di tutto per mostrare come la distribuzione del reddito non segue una distribuzione normale e la presenti come argomento contro la pratica statistica in generale. Nessuno statistico competente affermerebbe mai che lo fa, e i modi per affrontare questo problema sono ben definiti. Il solo uso di tecniche del livello più elementare di "econometria del primo anno", ad esempio, trasformando la variabile prendendo il suo logaritmo renderebbe i tuoi esempi numerici molto meno convincenti. Una tale trasformazione, infatti, invaliderebbe molto di ciò che dici, perché allora la varianza della variabile originale aumenta all'aumentare della sua media.

Sono sicuro che ci sono alcuni econometrici incompetenti che fanno regressioni OLS ecc. Con una variabile di risposta non trasformata come dici tu, ma ciò li rende semplicemente incompetenti e usa tecniche che sono ben stabilite per essere inadeguate. Sarebbero certamente falliti anche nei corsi di laurea, che trascorrono molto tempo alla ricerca di modi più appropriati di modellare variabili come il reddito, riflettendo la distribuzione effettiva osservata (non gaussiana).

La famiglia di modelli lineari generalizzati è un insieme di tecniche sviluppate in parte per aggirare i problemi che sollevi. Molte delle famiglie esponenziali di distribuzioni (ad es. Distribuzioni Gamma, esponenziali e Poisson) sono asimmetriche e hanno una varianza che aumenta all'aumentare del centro della distribuzione, aggirando il problema che si evidenzia con l'utilizzo della distribuzione gaussiana. Se questo è ancora troppo limitante, è possibile eliminare del tutto una "forma" preesistente e semplicemente specificare una relazione tra la media di una distribuzione e la sua varianza (ad esempio, consentendo alla varianza di aumentare proporzionalmente al quadrato della media), utilizzando il metodo di stima "quasi-verosimiglianza".

Certo, potresti sostenere che questa forma di modellistica è ancora troppo semplicistica e una trappola intellettuale che ci induce a pensare che il futuro sarà come il passato. Potresti avere ragione e penso che la forza del tuo libro sia quella di far sì che persone come me lo considerino. Ma hai bisogno di argomenti diversi da quelli che usi nei capitoli 14-16. Il grande peso che attribuisci al fatto che la varianza della distribuzione gaussiana è costante indipendentemente dalla sua media (che causa problemi di scalabilità), ad esempio, non è valida. Quindi è la tua enfasi sul fatto che le distribuzioni della vita reale tendono ad essere asimmetriche piuttosto che curve a campana.

Fondamentalmente, hai adottato una semplificazione eccessiva dell'approccio più elementare alla statistica (modellistica ingenua di variabili grezze come avere distribuzioni gaussiane) e mostrato, a grandi linee, (correttamente) le carenze di un approccio così semplificato. Quindi lo usi per creare il divario per screditare l'intero campo. Questo è un grave errore logico o una tecnica di propaganda. È sfortunato perché sminuisce il tuo argomento generale, gran parte del quale (come ho detto) ho trovato valido e convincente.

Sarei interessato a sentire quello che dici in risposta. Dubito di essere il primo ad aver sollevato questo problema.

cordiali saluti

PE

Non ho letto il libro, ma come detto la critica mi sembra abbastanza irragionevole. Se gli eventi estremi sono importanti, la statistica ha strumenti adeguati nella cassetta degli attrezzi, come la teoria dei valori estremi, e un buon statistico saprà come usarli (o almeno scoprirà come usarli e sarà sufficientemente coinvolto con lo scopo di l'analisi da guardare). La critica sembra essere "le statistiche sono cattive perché ci sono cattivi statistici che conoscono solo le normali distribuzioni".

Dire che "la spinta del libro è che la statistica non è molto utile" è inesatto, penso. Dopo aver letto il libro, ciò che sembra dire è che cose come la finanza quantitativa o qualsiasi tipo di negoziazione di titoli che presume una distribuzione normale sia fondamentalmente difettosa (in realtà, nel libro, chiama le persone che affermano di utilizzare questi modelli per fare previsioni , "ciarlatani"). Secondo Taleb, mentre la distribuzione normale fa un ottimo lavoro nel modellare i valori di cose tangibili / fisiche (ad es. Altezza, peso, durata della vita ecc.), Sistemi come i mercati sono spesso guidati dall'emozione umana e quindi sono inclini a grandi oscillazioni che le normali distribuzioni non possono prevedere con precisione.

Non capisco bene le statistiche e fino a quando non ho letto le risposte qui, non avevo mai sentito parlare di cose come la teoria del valore estremo. Indipendentemente da ciò, The Black Swan e Fooled By Randomness sembrano avere premesse simili, che è "la distribuzione normale non è sempre OK". Non ricordo che diffamasse l'intero campo delle statistiche.

Ho letto "Il cigno nero", mi è piaciuto e sono uno statistico. Non ho trovato insopportabile la sua "critica della statistica". Punto per punto:

1. Taleb non ha inventato il concetto di cigno nero. Era stato un esempio favorito nel pensiero filosofico per un bel po '!
2. Taleb non critica tanto le "statistiche", quanto certe (cattive) applicazioni.
3. Il libro è stato un bestseller. Non era diretto verso gli statistici, ma al grande pubblico. Ha fatto molto bene a insegnare al pubblico cose che gli statistici sapevano molto bene, ma molti altri lettori (la maggioranza!) Non lo sapevano. Quindi abbiamo potuto imparare molto da quel libro su come "vendere" le statistiche.
4. Più importante (per me), Taleb includeva molti riferimenti all'antica filosofia scettica greca. Nessun altro ha menzionato questo punto qui, ma penso che l'inclusione sia stata il vero punto di forza del libro!
5. Il libro è un'opera letteraria, non un'opera tecnica. Se vuoi criticare Taleb per il suo lavoro tecnico, vai alla sua homepage e scarica alcuni dei suoi articoli tecnici.

Per coloro a cui non piace questa risposta, o che non amano il libro, possono dare un'occhiata agli argomenti tecnici di Taleb nel nuovo https://fernandonogueiracosta.files.wordpress.com/2014/07/07/taleb-nassim-silent-risk. pdf "Rischio silenzioso", che è tecnico.

Non ho letto il cigno nero, ma se la sua critica delle statistiche è davvero semplice come dici tu, allora è ridicola. Ovviamente alcune statistiche si basano sulla distribuzione normale, ma molto no.

È possibile modellare eventi rari? Certo che possono. La vera domanda è quanto bene possano essere modellati. E quella domanda avrà risposte diverse in diversi campi, in base a quanto sappiamo degli eventi rari e dei loro antecedenti.

Nel NY Times Magazine di oggi c'è un interessante articolo di Nate Silver su come le previsioni del tempo sono migliorate negli ultimi dieci anni circa. Ciò include una migliore modellizzazione di eventi rari come gli uragani.

Vale la pena leggere il libro?

Anche io non ho letto il libro, ma non c'è modo che il suo punto possa essere semplicistico come dire che ci sono distribuzioni con code più grosse della normale distribuzione. Questo sarebbe un commento alle altre risposte, ma non ho accumulato abbastanza riconoscimenti su questo sito web.

Da Wikipedia:

"Afferma che la statistica è fondamentalmente incompleta come campo in quanto non può prevedere il rischio di eventi rari ..."

Questa domanda è anche abbastanza simile a Qual è l'opinione della comunità sul Quarto quadrante?

Consiglio vivamente la recensione di questo libro di Dennis Lindley. Contiene una serie di argomenti devastanti contro la povera e arrogante esposizione di idee nel libro:

http://onlinelibrary.wiley.com/doi/10.1111/j.1740-9713.2008.00281.x/abstract

Il cigno nero è un altro esempio in cui essere un "best-seller" non garantisce contenuti di alta qualità.

Non credo che Taleb direbbe effettivamente che le tecniche statistiche basate sulla distribuzione gaussiana non siano utili. Il suo punto nel libro era che sono molto utili per molti (ma non tutti) processi e modelli fisici o biologici. Fa alcuni punti positivi e altri cattivi (The Black Swan e Linked sono stati l'inizio della pestilenza "tutto è una legge di potere!" Che ci perseguita ancora oggi), ma è importante ricordare che il libro è una raccolta di opere letterarie e filosofiche saggi pensati per il laico.

Detto questo, penso che a Taleb piaccia aggravare le persone. Puoi vederlo nella sua battaglia con Myron Scholes. In questo caso potrebbe essere stato utile come educazione statistica a livello universitario, e talvolta a livello universitario, una sorta di schivata sull'ipotesi di distribuzioni gaussiane. Immagino che durante i suoi anni in finanza abbia incontrato un gran numero di domande con una grande conoscenza di Black-Scholes e di altre tecniche, ma che non hanno preso in considerazione ipotesi di fondo come la distribuzione. Ho il sospetto che Taleb stia frugando nell'istituto scolastico per non aver educato adeguatamente.

Quelli di voi che non hanno letto il libro sono lontani dalla base. Fa una GRANDE distinzione tra scalabile e non scalabile. Per questioni non scalabili, le statistiche tradizionali serviranno abbastanza bene. Non lo sta criticando in alcun modo. I cigni neri hanno origine in scala e sono difficili da prevedere dati empirici passati. Il libro parla di come questi eventi possono avere un impatto enorme e generalmente vengono spiegati solo dopo il fatto. L'epistemologia è eccellente.

Senza leggere il libro sento che le campane gaussiane falliscono perché non hanno mai dato una chiara definizione di "densità di probabilità"; oltre a ciò, non forniscono mai un set completo di punti delle curve di Lorenz che includono allo stesso tempo il totale della variabile distribuita e il totale delle popolazioni che percepiscono la prima. Se si usa "densità" è necessario spiegare in merito a quale variabile; ad esempio se parli di chilogrammi per litro si riferisce a una densità di peso correlata al volume. Questo passo non è dato dalla teoria gaussiana nei libri di testo. Nessuna meraviglia che i giovani non capiscano correttamente le statistiche.