Un Multinomiale (1 / n,…, 1 / n) può essere caratterizzato come Dirichlet discretizzato (1, .., 1)?


24

Quindi questa domanda è leggermente disordinata, ma includerò grafici colorati per compensare quello! Prima lo sfondo e poi le domande.

sfondo

Supponi di avere una distribuzione multinomiale dimensionale con probabilità uguali sulle categorie. Sia i conteggi normalizzati ( ) di quella distribuzione, ovvero:n nn nπ = ( π 1 , , π n ) π=(π1,,πn)cc

( c 1 , , c n ) Multinomiale ( 1 / n , , 1 / n )π i = c in

(c1,,cn)Multinomial(1/n,,1/n)πi=cin

Ora la distribuzione su ha il supporto su -simplex ma con passaggi discreti. Ad esempio, con questa distribuzione ha il seguente supporto (i punti rossi):π πn nn = 3n=3

inserisci qui la descrizione dell'immagine

Un'altra distribuzione con supporto simile è la distribuzione -dimensional , ovvero una distribuzione uniforme sull'unità simplex. Ad esempio, qui ci sono disegni casuali da un :n Dirichlet ( 1 , , 1 ) Dirichlet ( 1 , 1 , 1 )nDirichlet(1,,1)Dirichlet(1,1,1)

inserisci qui la descrizione dell'immagine

Ora ho avuto l'idea che la distribuzione di dalla distribuzione potesse essere caratterizzata come disegno da un che sono discretizzati al supporto discreto di . La discretizzazione che avevo in mente (e che sembra funzionare bene) è prendere ogni punto nel simplex e "arrotondarlo" al punto più vicino che è a sostegno di . Per il simplex tridimensionale si ottiene la seguente partizione in cui i punti in ciascuna area colorata devono "arrotondare" al punto rosso più vicino:π Multinomiale ( 1 / n , , 1 / n ) Dirichlet ( 1 , , 1 ) π ππMultinomial(1/n,,1/n)Dirichlet(1,,1)ππ

inserisci qui la descrizione dell'immagine

Poiché la distribuzione di Dirichlet è uniforme, la densità / probabilità risultante per ciascuno dei punti è proporzionale all'area / volume che viene "arrotondato" a ciascun punto. Per i casi bidimensionali e tridimensionali queste probabilità sono:

inserisci qui la descrizione dell'immagine ( queste probabilità provengono dalle simulazioni Monte Carlo )

Quindi sembra che, almeno per le dimensioni 2 e 3, la distribuzione di probabilità risultante dalla discretizzazione di in questo modo particolare sia uguale alla distribuzione di probabilità per . Questo è il risultato normalizzato di una distribuzione . Ho anche provato con 4 dimensioni e sembra funzionare lì.Dirichlet ( 1 , , 1 ) π Multinomiale ( 1 / n , , 1 / n )Dirichlet(1,,1)πMultinomial(1/n,,1/n)

Domande)

Quindi la mia domanda principale è:

Quando discretizza un Dirichlet uniforme in questo modo particolare, la relazione con un vale per ulteriori dimensioni? La relazione regge del tutto? (L'ho provato solo usando la simulazione Monte Carlo ...)Multinomiale ( 1 / n , , 1 / n )Multinomial(1/n,,1/n)

Inoltre mi chiedo:

  • Se questa relazione è valida, è un risultato noto? E c'è qualche fonte che posso citare per questo?
  • Se questa discretizzazione di un Dirichlet uniforme non ha questa relazione con il Multinomiale. C'è qualche costruzione simile che ha?

Un po 'di contesto

La mia ragione per porre questa domanda è che sto osservando la somiglianza tra Bootstrap non parametrico e Bootstrap bayesiano, e poi questo è emerso. Ho anche notato che il motivo sulle aree colorate sul simplex tridimensionale sopra sembra (e dovrebbe essere) un diagramma di Voronoi. Un modo (spero) che tu possa pensare a questo è come una sequenza di Triangolo / Simpex di Pascal ( http://www.math.rutgers.edu/~erowland/pascalssimplices.html ). Laddove le dimensioni delle aree colorate seguono la seconda fila del triangolo di Pascal nel caso 2-d, la terza fila del tetraedro di Pascal nel caso 3-d, e così via. Questo spiegherebbe la connessione con la distribuzione multinomiale, ma qui sono davvero in acque profonde ...


2
divertimento! (Come al solito.) Ma mi manca la connessione dei calzini.
Xi'an,

Bene, ho iniziato a disegnare calze con sostituzione. Ma poi ho iniziato a pensare al Boostrap bayesiano, una cosa ha portato all'altra, ed è così che sono finito qui :)
Rasmus Bååth,

2
@ Xi'an forse sono i calzini piuttosto che i cuccioli che dovrebbero diventare la mascotte bayesiana?
Tim

Risposte:


14

Quelle le due distribuzioni sono diverse per ogni .n 4n4

Notazione

Ho intenzione di ridimensionare il tuo simplex di un fattore , in modo che i punti reticolari abbiano coordinate intere. Questo non cambia nulla, penso solo che renda la notazione un po 'meno ingombrante.nn

Sia lo specchio , dato come lo scafo convesso dei punti , ..., in . In altre parole, questi sono i punti in cui tutte le coordinate sono non negative e dove le coordinate si sommano a .S ( n - 1 ) ( n , 0 , , 0 ) ( 0 , , 0 , n ) R n nS(n1)(n,0,,0)(0,,0,n)Rnn

Let denota l'insieme di punti reticolari , cioè quei punti in cui tutte le coordinate sono integrali.Λ SΛS

Se è un punto reticolare, lasciamo che denoti la sua cella Voronoi , definita come quei punti in che sono (rigorosamente) più vicini a rispetto a qualsiasi altro punto in .P V P S P ΛPVPSPΛ

Abbiamo messo due distribuzioni di probabilità che possiamo mettere su . Uno è la distribuzione multinomiale, in cui il punto ha la probabilità . L'altro chiameremo il modello Dirichlet e assegna a ciascun una probabilità proporzionale al volume di .Λ ( un 1 , . . . , Un n ) 2 - n n ! / ( a 1 ! a n ! ) P Λ V PΛ(a1,...,an)2nn!/(a1!an!)PΛVP

Giustificazione molto informale

Sto sostenendo che il modello multinomiale e il modello Dirichlet forniscono diverse distribuzioni su , ogni volta che .Λ n 4Λn4

Per vedere questo, considera il caso , e i punti e . Dichiaro che e sono congruenti tramite una traduzione del vettore . Ciò significa che e hanno lo stesso volume e quindi che e hanno la stessa probabilità nel modello di Dirichlet. D'altra parte, nel modello multinomiale, hanno diverse probabilità ( E ) E segue che le distribuzioni non possono essere uguali.n = 4 A = ( 2 , 2 , 0 , 0 ) B = ( 3 , 1 , 0 , 0 ) V A V B ( 1 , - 1 , 0 , 0 ) V A V B A B 2 - 44 ! / ( 2 ! 2 ! ) 2 - 4n=4A=(2,2,0,0)B=(3,1,0,0)VAVB(1,1,0,0)VAVBAB244!/(2!2!)4 ! / 3 !244!/3!

Il fatto che e siano congruenti deriva dalla seguente affermazione plausibile ma non ovvia (e piuttosto vaga):V A V BVAVB

Reclamo plausibile : la forma e le dimensioni di sono influenzate solo dai "vicini immediati" di , (cioè quei punti in che differiscono da da un vettore che assomiglia , dove e possono trovarsi in altri luoghi)V P P Λ P ( 1 , - 1 , 0 , , 0 ) 1 - 1VPPΛP(1,1,0,,0)11

È facile vedere che le configurazioni dei "vicini immediati" di e sono le stesse, e quindi segue che e sono congruenti.A B V A V BABVAVB

Nel caso , possiamo giocare allo stesso gioco, con e , ad esempio.n 5 A = ( 2 , 2 , n - 4 , 0 , , 0 ) B = ( 3 , 1 , n - 4 , 0 , , 0 )n5A=(2,2,n4,0,,0)B=(3,1,n4,0,,0)

Non credo che questa affermazione sia del tutto ovvia e non lo dimostrerò, invece di una strategia leggermente diversa. Tuttavia, penso che questa sia una risposta più intuitiva al perché le distribuzioni sono diverse per .n 4n4

Prova rigorosa

Prendi e come nella giustificazione informale sopra. Dobbiamo solo dimostrare che e sono congruenti.A B V A V BABVAVB

Dato , definiremo come segue: è l'insieme di punti , per il quale . (In un modo più digeribile: Let . è l'insieme di punti per i quali la differenza tra più alto e più basso è minore di 1.)P = ( p 1 , , p n ) Λ W P W P ( x 1 , , x n ) S max 1 i n ( a i - p i ) - min 1 i n ( a i - p i ) < 1 v i = aP=(p1,,pn)ΛWPWP(x1,,xn)Smax1in(aipi)min1in(aipi)<1i - p i W P v ivi=aipiWPvi

Mostreremo che .V P = W PVP=WP

Passo 1

Reclamo: .V PW PVPWP

È abbastanza semplice: supponiamo che non sia in . Lascia che e supponi (senza perdita di generalità) che , . Poiché , sappiamo anche che .X = ( x 1 , , x n ) W P v i = x i - p i v 1 = max 1 i n v i v 2 = min 1 i n v i v 1 - v 21 n i = 1 v i = 0 v 1X=(x1,,xn)WPvi=xipiv1=max1inviv2=min1inviv1v21ni=1vi=0> 0 > v 2v1>0>v2

Lascia ora . Poiché e hanno entrambe coordinate non negative, così fa , e segue , e quindi . D'altra parte, . Quindi, è almeno vicino a come a , quindi . Ciò mostra (prendendo i complementi) che .Q = ( p 1 + 1 , p 2 - 1 , p 3 , , p n ) P X Q Q S Q Λ d i s t 2 ( X , P ) - d i s t 2 ( X , Q ) = v 2 1 + v 2 2 - (Q=(p1+1,p21,p3,,pn)PXQQSQΛ1v1)2(1+v2)2=2+2(v1v2)0dist2(X,P)dist2(X,Q)=v21+v22(1v1)2(1+v2)2=2+2(v1v2)0XXQQPPXVPXVPVpWPVpWP

Passo 2

Reclamo : I sono disgiunti a coppie.WPWP

Supponiamo altrimenti. Consenti a e essere punti distinti in e lascia . Poiché e sono distinti ed entrambi in , deve esserci un indice cui e uno in cui . Senza perdita di generalità, supponiamo che e . Riorganizzando e sommando, otteniamo .P=(p1,,pn)P=(p1,,pn)Q=(q1,,qn)Q=(q1,,qn)ΛΛXWPWQXWPWQPPQQΛΛiipiqi+1piqi+1piqi1piqi1p1q1+1p1q1+1p2q21p2q21q1p1+p2q22q1p1+p2q22

Considera ora i numeri e . Dal fatto che , abbiamo . Allo stesso modo, implica che . Sommando questi, otteniamo e abbiamo una contraddizione.x1x1x2x2XWPXWPx1p1(x2p2)<1x1p1(x2p2)<1XWQXWQx2q2(x1q1)<1x2q2(x1q1)<1q1p1+p2q2<2q1p1+p2q2<2

Passaggio 3

Abbiamo dimostrato che e che sono disgiunti. Il copre fino a un set di misura zero e ne consegue che (fino a un set di misura zero). [Poiché e sono entrambi aperti, in realtà abbiamo esattamente, ma questo non è essenziale.]VPWPVPWPWPWPVPVPSSWP=VPWP=VPWPWPVPVPWP=VPWP=VP

Ora abbiamo quasi finito. Considera i punti e . È facile vedere che e sono congruenti e si traducono reciprocamente: l'unico modo in cui potrebbero differire è se il confine di (diverso dalle facce su cui giacciono e ) si `` taglierebbe '' o o ma non l'altro. Ma per raggiungere una tale parte del confine di , dovremmo cambiare una coordinata di o di almeno 1, il che sarebbe sufficiente a garantire di portarci fuori daA=(2,2,n4,0,,0)A=(2,2,n4,0,,0)B=(3,1,n4,0,,0)B=(3,1,n4,0,,0)WAWAWBWBSSAABBWAWAWBWBSSAABBWAWAe comunque. Pertanto, anche se sembra diverso dai punti di vantaggio e , le differenze sono troppo lontane per essere colte dalle definizioni di e , e quindi e sono congruenti.WBWBSABWAWBWAWB

Ne consegue quindi che e hanno lo stesso volume, e quindi il modello Dirichlet assegna loro la stessa probabilità, anche se hanno probabilità diverse nel modello multinomiale.VAVB


Wow, rigoroso! Grazie! Quindi la leggera corrispondenza che speravo fosse accidentale immagino ...
Rasmus Bååth
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.