cosa si intende per integrazione numerica è troppo costoso?

Sto leggendo l'inferenza bayesiana e ho trovato la frase "l'integrazione numerica della probabilità marginale è troppo costosa"

Non ho un background in matematica e mi chiedevo che cosa significhi esattamente costoso qui? È solo in termini di potenza di calcolo o c'è qualcosa di più.

— discretetimeisnice
fonte

Significa che richiede troppa potenza computazionale, probabilmente in termini di tempo della CPU (poiché tutte le risorse di elaborazione sono essenzialmente essenzialmente memoria o CPU).

— Sycorax dice di reintegrare Monica il

In realtà, a volte la larghezza di banda di comunicazione può diventare un problema (ad esempio tra cache / RAM / disco in serie o tra nodi di calcolo in parallelo).

— GeoMatt22,

Significa che ci vuole troppo tempo, per un singolo computer, nostro per una rete di computer, per eseguire il calcolo.

— Jack Maddington,

E se è necessaria la probabilità marginale all'interno di un ciclo, ciò che conta come troppo costoso è molto meno. Per esempio. una routine di integrazione di 1 secondo suona veloce, ma potrebbe essere "troppo costosa" se devi farlo 1 milione di volte ...

— Matthew Gunn,

Costoso in termini di sforzo computazionale, in quanto richiede più sforzo per calcolarlo di quanto tu possa permetterti, in quanto richiede troppo tempo o ha bisogno di troppi processori per fare in un tempo ragionevole.

— user253751,

Risposte:

Nel contesto dei problemi computazionali, inclusi i metodi numerici per l'inferenza bayesiana, la frase "troppo costoso" potrebbe generalmente riferirsi a due problemi

un problema particolare è troppo "grande" per essere calcolato per un particolare " budget "
un approccio generale si ridimensiona male, ovvero presenta un'elevata complessità computazionale

In entrambi i casi, le risorse computazionali che comprendono il "budget" possono consistere in elementi quali cicli della CPU ( complessità temporale ), memoria ( complessità dello spazio ) o larghezza di banda di comunicazione ( all'interno o tra nodi di calcolo). Nel secondo caso, "troppo costoso" significherebbe intrattabile .

Nel contesto del calcolo bayesiano, la citazione si riferisce probabilmente a problemi con emarginazione su un gran numero di variabili .

Ad esempio, inizia l'abstract di questo recente documento

L'integrazione è influenzata dalla maledizione della dimensionalità e diventa rapidamente intrattabile con l'aumentare della dimensionalità del problema.

e continua a dire

Proponiamo un algoritmo randomizzato che ... a sua volta può essere utilizzato, ad esempio, per il calcolo marginale o la selezione del modello.

(Per fare un confronto, questo recente capitolo del libro discute i metodi considerati "non troppo costosi".)

— GeoMatt22
fonte

Questa è un'ottima risposta Aggiungerò, tuttavia, che "costoso" può essere preso sempre più letteralmente. - si può aumentare drasticamente la propria potenza computazionale e la propria memoria (a livelli di supercomputer, per tutto il tempo necessario), molto facilmente in questi giorni (e abbastanza a buon mercato) ... ma per grandi problemi funzionerà comunque per essere troppo costoso - - in quanto costerà letteralmente più denaro di quanto tu abbia a disposizione.

— Glen_b -Restate Monica,

@Glen_b questo è un buon punto! Immagino che questo significato sia meno comune nella letteratura pubblicata ... ma più comune nelle proposte (e nelle loro recensioni!)

— GeoMatt22

@ GeoMatt22 In realtà è un altro modo di affermare lo stesso significato, se ci pensi.

— user253751,

@ GeoMatt22 Grazie! Ora capisco perfettamente cosa significa costoso in un contesto bayesiano.

— discretetimeisnice,

Ti darò un esempio su un caso discreto per mostrare perché l'integrazione / somma è molto costosa.

Supponiamo di avere variabili binarie casuali e di avere la distribuzione congiunta . (In effetti, è impossibile archiviare la distribuzione congiunta in una tabella, perché ci sono valori. Supponiamo che ora l'abbiamo nella tabella e nella RAM.) $100$ $P(X_1, X_2, \cdots, X_{100})$ $2^{100}$

Per ottenere una distribuzione marginale su , dobbiamo sommare altre variabili casuali. (In caso continuo, è integrato sopra.) $P(X_1)$

P (X_{1}) = \sum_{X_{2}} \sum_{X_{3}} \dots \sum_{X_{100}} P (X_{1}, X_{2}, \dots, X_{100})

$P(X_1)=\sum_{X_2}\sum_{X_3}\cdots \sum_{X_{100}}P(X_1, X_2, \cdots, X_{100})$

Stiamo sommando oltre variabili, pertanto, vi è un numero esponenziale di operazioni, in questo caso è , che è un numero enorme che tutti i computer della terra non saranno in grado di fare. $99$ $2^{99}$

Nella letteratura dei modelli grafici probabilistici , tale modo di calcolare la distribuzione marginale è chiamato approccio "forza bruta" per eseguire "inferenza". Per nome, possiamo sapere che è costoso. E le persone usano molti altri modi per eseguire l'inferenza, ad esempio ottenere la distribuzione marginale in modo efficace. "Altri modi" tra cui inferenza approssimativa , ecc.

— Haitao Du
fonte

Forse potresti anche commentare perché l'approccio bayesiano è utile qui, come la domanda sollevata in questo contesto.

— Tim

Di solito quando si esegue l'inferenza bayesiana è facile incontrare, ad esempio, una forte integrazione rispetto alle variabili di disturbo. Un altro esempio può essere un campionamento numerico come in questo caso da una funzione di probabilità, il che significa eseguire un campionamento casuale da una data distribuzione. Con l'aumentare del numero di parametri del modello, questo campionamento diventa estremamente pesante e sono stati sviluppati vari metodi computazionali per accelerare la procedura e consentire implementazioni molto veloci, mantenendo ovviamente un alto livello di accuratezza. Queste tecniche sono ad esempio MC, MCMC, Metropolis ecc. Dai un'occhiata all'analisi dei dati bayesiani di Gelman et. al dovrebbe darti un'ampia introduzione! in bocca al lupo

— LCOL
fonte

Questa risposta non sembra rispondere alla domanda principale del PO sul significato di "costoso" in questo contesto. O almeno non molto chiaramente.

— Shufflepants,

La breve spiegazione è di introdurre il lettore al significato della domanda computazionale quando si esegue un'analisi specifica nella statistica bayesiana, poiché ha dichiarato di non essere un matematico. Spero comunque che fosse chiaro a qualcuno

— Lcol,