Confutazione basata sull'entropia del paradosso della freccia indietro del tempo bayesiano di Shalizi?

In questo articolo , la talentuosa ricercatrice Cosma Shalizi sostiene che per accettare pienamente una visione soggettiva bayesiana, si deve anche accettare un risultato non fisico secondo cui la freccia del tempo (data dal flusso di entropia) dovrebbe effettivamente tornare indietro . Questo è principalmente un tentativo di argomentare contro la massima entropia / visione bayesiana totalmente soggettiva avanzata e resa popolare da ET Jaynes .

In LessWrong , molti collaboratori sono molto interessati alla teoria della probabilità bayesiana e anche all'approccio bayesiano soggettivo come base per teorie di decisione formale e un trampolino di lancio verso la forte intelligenza artificiale Eliezer Yudkowsky è un collaboratore comune lì e stavo leggendo questo post quando ho ho trovato questo commento (molti altri buoni commenti arrivano poco dopo sulla pagina del post originale).

Qualcuno può commentare la validità della confutazione di Shalizi da parte di Yudkowsky. In breve, l'argomento di Yudkowsky è che il meccanismo fisico con cui un agente di ragionamento aggiorna le sue convinzioni richiede lavoro e quindi ha un costo termodinamico che Shalizi sta spazzando sotto il tappeto. In un altro commento, Yudkowsky lo difende, dicendo:

"Se si prende la prospettiva di un osservatore perfetto onnisciente logicamente al di fuori del sistema, la nozione di" entropia "è praticamente insignificante, come lo è" probabilità "- non si deve mai usare la termodinamica statistica per modellare qualsiasi cosa, basta usare la precisione deterministica equazione d'onda ".

Qualche probabilista o meccanico statistico può commentarlo? Non mi importa molto degli argomenti dell'autorità riguardo allo status di Shalizi o di Yudkowsky, ma mi piacerebbe davvero vedere un riepilogo dei modi in cui i tre punti di Yudkowsky offrono critiche all'articolo di Shalizi.

Per conformarsi alle linee guida delle FAQ e rendere questa una domanda concretamente rispondibile, tieni presente che sto chiedendo una risposta specifica e dettagliata che riprenda l'argomento in tre fasi di Yudkowsky e indichi dove nell'articolo di Shalizi quei tre passaggi confutano ipotesi e / o derivazioni, oppure, d'altra parte, indica dove nel documento di Shalizi sono affrontati gli argomenti di Yudkowsky.

Ho spesso sentito l'articolo di Shalizi propagandato come prova di ferro che il bayesianismo soggettivo in piena regola non può essere difeso ... ma dopo aver letto l'articolo di Shalizi alcune volte, mi sembra un argomento giocattolo che non potrebbe mai essere applicato a un osservatore che interagisce con tutto ciò che viene osservato (cioè tutta la fisica reale). Ma Shalizi è un grande ricercatore, quindi accolgo con favore le seconde opinioni perché è molto probabile che non capisca parti importanti di questo dibattito.

— ely
fonte

A Shalizi piace essere provocatorio ... la sua argomentazione mi sembra essenzialmente la stessa dell'argomentazione creazionista secondo cui l'evoluzione viola la seconda legge della termodinamica perché gli organismi "successivi" sono più complessi, in modo organizzato, rispetto agli organismi "precedenti", ma la seconda legge afferma che l'entropia non sta diminuendo. Tuttavia, 1) non c'è nulla nella seconda legge che impedisce la riduzione locale dell'entropia, e 2) l'argomento implica che nessuno può imparare nulla di nulla, mai (perché l'apprendimento tramite l'aggiornamento bayesiano dovrebbe essere diverso da qualsiasi altro processo di apprendimento?)

— jbowman,

Non mi farei arrabbiare da un dibattito tra Shalizi e Yudkowsky; né è un'autorità. (Shalizi scrive bene, però.) Comunque, non pensi che la fisica sia una sede migliore per questa domanda?

— Emre,

Hai letto molti post della sequenza di Yudkowsky? Penso che scriva anche abbastanza bene. Entrambe queste figure hanno posizioni controverse, ma Shalizi sembra davvero averlo fuori per bayesianismo soggettivo. Il motivo per cui ho chiesto qui è perché si lega profondamente con il più statistico documento statistico che Shalizi ha scritto con Andrew Gelman, che è anche pieno di problemi filosofici (anche se Gelman è un professionista totale quando si tratta di pratica). ( link )

— ely,

Ho cercato di ridimensionare le equazioni, ma non riesco ancora a farlo. Penso che il problema più grande di Shazili sia la sua seconda ipotesi sulla Sezione 1, vale a dire che puoi semplicemente aggiornare il punto di fase (casuale) usando la regola di Bayes. Come sottolinea Yudkowsky, questo trascura il fatto che quando misuri di nuovo e aggiorni la tua distribuzione iniziale, devi aggiungere il TUO contributo al sistema ...

X

$X$

— Néstor,

... e questo si presenta in molte forme: cercare di controllare il tuo sistema (che è unico ogni volta, rendendo il problema forse essenzialmente stocastico, nel cui caso la nozione di entropia non avrebbe senso ... forse dovremmo parlare di tasso di entropia?). Ho cercato di convincermi che questo contributo può essere modellato come una trasformazione lineare del vettore punto-fase : questo spiegherebbe che la disuguaglianza che Shazili usa non è valida, perché l'entropia risultante avrebbe un termine in più (il logaritmo del determinante della trasformazione lineare).

X

$X$

— Néstor,

Risposte:

In breve: 1: 0 per Yudkowsky.

Cosma Shalizi considera una distribuzione di probabilità soggetta ad alcune misurazioni. Aggiorna di conseguenza le probabilità (qui non è importante se si tratta dell'inferenza bayensiana o di qualsiasi altra cosa).

Non sorprende affatto, l'entropia della distribuzione di probabilità diminuisce.

Tuttavia, fa una conclusione errata che dice qualcosa sulla freccia del tempo:

Queste ipotesi invertono la freccia del tempo, cioè rendono l'entropia non crescente.

Come è stato sottolineato nei commenti, ciò che conta per la termodinamica, è l'entropia di un sistema chiuso . Cioè, secondo la seconda legge della termodinamica , l'entropia di un sistema chiuso non può diminuire. Non dice nulla sull'entropia di un sottosistema (o di un sistema aperto); altrimenti non potresti usare il tuo frigorifero.

E una volta che misuriamo sth (cioè interagiamo e raccogliamo informazioni) non è più un sistema chiuso. O non possiamo usare la seconda legge, oppure - dobbiamo considerare un sistema chiuso fatto del sistema misurato e dell'osservatore (cioè noi stessi).

In particolare, quando misuriamo lo stato esatto di una particella (mentre prima ne conoscevamo la distribuzione), in effetti abbassiamo la sua entropia. Tuttavia, per archiviare le informazioni abbiamo bisogno di aumentare la nostra entropia almeno della stessa quantità (in genere c'è un enorme sovraccarico).

Quindi Eliezer Yudkowsky fa un buon punto:

1) Le misurazioni usano il lavoro (o almeno la cancellazione in preparazione per la misurazione successiva usa il lavoro).

In realtà, l'osservazione sul lavoro non è la più importante qui. Mentre la termodinamica riguarda la relazione (o il commercio) dell'entropia con l'energia, puoi aggirare (cioè non abbiamo bisogno di ricorrere al principio di Landauer , di cui Shalizi è scettico ). Per raccogliere alcune nuove informazioni è necessario cancellare le informazioni precedenti.

Per essere coerenti con la meccanica classica (e anche quantistica), non è possibile effettuare una funzione di mappatura arbitraria di nulla su tutti gli zeri (senza effetti collaterali). Puoi fare una funzione mappando la tua memoria a zero , ma allo stesso tempo scaricando le informazioni da qualche parte, il che aumenta efficacemente l'entropia dell'ambiente.

(Quanto sopra ha origine dalla dinamica hamiltoniana - ovvero conservazione dello spazio delle fasi nel caso classico e unità di evoluzione nel caso quantico.)

PS: un trucco per oggi - "ridurre l'entropia":

Lancia una moneta imparziale, ma non guardare il risultato ( bit). $H = 1$
Apri gli occhi. Ora conosci il suo stato, quindi la sua entropia è bit. $H = 0$

— Piotr Migdal
fonte

è questa versione tl; dr corretta: "Il documento di Shalizi è solo una riaffermazione specializzata del demone di Maxwell"?

— Artem Kaznatcheev,

@ArtemKaznatcheev Fondamentalmente sì. Ma più nel gusto sistemi chiusi vs aperti. Ma per quelli a cui non piace leggere c'è la prima riga;).

— Piotr Migdal,

Mi piace questa risposta, ma faccio fatica a conciliarmi con una discussione su un altro thread. Guarda questo link e trova la discussione / risposta avviata dall'utente "pragmatist". Se aggiungi un paragrafo o due affrontando tale argomento (o spiegando perché tale argomento è valido / non è d'accordo con la tua risposta sopra), sarò felice di accettare.

— ely,

@EMS Beh, "Potresti commentare una discussione?" non è il più adatto per SE (e in generale, ci sono molti argomenti). Inoltre, in effetti, ho giustificato la critica del documento di Shalizi. Includere anche la critica di una critica di una critica di un documento richiede troppo. Potresti essere più specifico, cioè indicare punti esatti? Tuttavia: "Quando facciamo meccanica statistica, di solito non siamo interessati all'entropia del sistema più l'osservatore" - falso (sistemi aperti vs sistemi chiusi), "l'evoluzione del sistema non sarà unitaria" - vera, ma nemmeno classicamente non puoi diminuire l'entropia totale.

— Piotr Migdal,

@EMS Il principio di cancellazione è più profondo di stat. mech. - come ho detto, se non lo soddisfa confuta la meccanica quantistica e classica. E ancora una volta: non è possibile applicare regole per sistemi chiusi a sistemi aperti - quindi la maggior parte degli argomenti del pragmatico o non sono scientifici (cioè in cosa credere o no) o ignorare la fisica.

— Piotr Migdal,

Il difetto di Shalizi è molto semplice e deriva dall'ipotesi I, secondo cui l'evoluzione del tempo è invertibile (reversibile).

L'evoluzione temporale degli stati INDIVIDUALI è reversibile. L'evoluzione temporale di una distribuzione su ALL OF PHASE SPACE non è certamente reversibile, a meno che il sistema non sia in equilibrio. Il documento tratta l'evoluzione temporale delle distribuzioni su tutto lo spazio delle fasi, non quello dei singoli stati, e quindi l'assunzione di invertibilità è totalmente non fisica. Nel caso dell'equilibrio, i risultati sono banali.

La freccia del tempo deriva da questo fatto, in realtà, che l'evoluzione temporale delle distribuzioni non è reversibile (la ragione per cui i gradienti scendono e i gas si diffondono). È noto che l'irreversibilità emerge dai "termini di collisione"

Se lo prendi in considerazione, la sua argomentazione cade a pezzi. Entropia informativa = entropia termodinamica, ancora, per ora. : D

— Ethan
fonte

Perché a un livello fondamentale la QM è deterministica - l'equazione di Schrodinger descrive esattamente come un sistema si evolve nel tempo e non vi è alcuna incertezza a riguardo - ed è lineare , sembrerebbe che la reversibilità nell'evoluzione dei singoli stati implicherebbe immediatamente la reversibilità in qualsiasi distribuzione di tali stati. Vorrei quindi vedere la tua giustificazione matematica della tua affermazione contraria, perché mostrerà più chiaramente ciò che ora stai assumendo implicitamente solo sulle equazioni dinamiche.

— whuber

Per una distribuzione di equilibrio, le cose sono banali, l'evoluzione del tempo è reversibile. Per un sistema dissipativo, in cui il volume dello spazio delle fasi non è costante, molti stati della distribuzione iniziale potrebbero essere mappati su un singolo stato della distribuzione finale, o viceversa (non più reversibile). Ciò è evidente nel caso, ad esempio, della libera espansione di un gas ideale. Il moto di ogni singola particella è chiaramente reversibile, ma l'espansione stessa non lo è, poiché comporta un cambiamento nel volume dello spazio delle fasi. Il gas non si "espande" mai. Se non sei ancora felice, posso trovare un po 'di matematica per te.

— Ethan,

Dato che stai accusando Shalizi di sbagliare, offrire una sorta di supporto matematico oggettivo sarebbe una buona idea. Ma fai attenzione a non allontanarti troppo dal focus di questo sito, che riguarda l'analisi dei dati, non la fisica! Tuttavia, l'esempio della libera espansione non mi sembra dispositivo, perché in un universo (ipoteticamente) compatto non sembra esserci nulla del genere: il gas si espande in qualche altro posto.

— whuber

A volte a volte dimentico su quale scambio di stack sono attivo. Forse farò iniziare qualcosa laggiù. Ma per il gas, la variazione di entropia è TdS = dU + pdV ma dU è zero se siamo adiabatici, quindi dS = pdV / T. Secondo la legge del gas ideale dS = nRdV / V, passando da v1 a v2 cambia l'entropia di ln (v2 / v1). Fondamentalmente tutti i processi macroscopici spontanei (cioè riproducibili) sono irreversibili. Ma forse ottenere questo dai principi di base non è banale (Boltzmann ci ha passato la vita)

— Ethan

Il documento collegato lo assume esplicitamente

L'operatore di evoluzione T è invertibile.

Ma se usi QM in modo convenzionale, allora questo assunto non regge. Supponiamo di avere uno stato X1 che può evolversi in X2 o X3 con uguale probabilità. Diresti che lo stato X1 si evolve nell'insieme ponderato [1/2 X2 + 1/2 X3]. Shalizi dimostra che questo set non ha più entropia di X1.

Ma noi, come osservatori o come parte di quel sistema, possiamo solo guardare uno dei rami, X2 o X3. Scegliendo quale di questi due rami dobbiamo guardare aggiunge un po 'di nuova entropia e questa selezione non è invertibile. Questo è da dove proviene l'aumento dell'entropia nel tempo. Ciò che Shalizi ha fatto è usare la matematica in cui tutta l'entropia ha origine nella ramificazione quantistica, quindi dimenticare che accade la ramificazione quantistica.

— jimrandomh
fonte

L'articolo (come la seconda legge) si occupa di sistemi chiusi. La meccanica quantistica è completamente reversibile su un sistema chiuso (cioè tutti gli operatori sono unitari). L'unica operazione non reversibile nella meccanica quantistica è la misurazione; se si misura un sistema chiuso, questo non è più chiuso dal punto di vista della termodinamica. Se il tuo osservatore è all'interno del sistema e misura un sottosistema, allora l'osservatore + sottosistema si evolvono insieme insieme, e quindi l'operazione è invertibile (questo trucco è chiamato informalmente "Chiesa del più grande spazio di Hilbert"). Pertanto, l'argomento di "QM" è errato.

— Artem Kaznatcheev,

Questo è solo se credi all'interpretazione di Copenhagen (o ad altri che separano la "misurazione" dai processi unitari). Molti mondi sostengono che la misurazione è solo la solita legge unitaria e quindi è perfettamente reversibile; è solo un artefatto dello stato iniziale dell'universo che è verosimilmente improbabile vederne l'inversione (potrei non spiegarlo molto bene, non sono un fisico). In ogni caso, non sono convinto che questa risposta debba essere annullata a causa di questa critica.

— ely,

@EMS Non importa quale interpretazione usi, il QM di un sistema chiuso è reversibile. Ma nel contesto più ampio della domanda originale, i dettagli della risposta del rispondente su QM sono irrilevanti: Shalizi affronta già questo punto nella sezione II.A in un senso più generale; anche una forma corretta di questa risposta non va al di là della mancanza che lo stesso Shalizi sottolinea.

— Artem Kaznatcheev,

Come menzionato in un altro thread che ne discute, questa risposta sembra essere solo il rovescio dell'altra risposta data: se insisti sui requisiti di sistema chiusi, devi trovare la tua fonte di entropia (cioè il "sistema chiuso" di Shalizi deve includere il persona con un po 'di entropia per "accadere di procedere lungo un ramo (sconosciuto) dei due rami". Cioè, sembra che questa risposta stia anche dicendo che il documento di Shalizi è solo una riaffermazione del Demone di Maxwell. Ancora una volta, potrei essere fraintendendolo a causa della mancanza di formazione fisica fisica

— ely,