Statistiche e Big Data

Domande e risposte per le persone interessate alle statistiche, all'apprendimento automatico, all'analisi dei dati, al data mining e alla visualizzazione dei dati

1
Come affrontare l'iperdispersione nella regressione di Poisson: quasi-verosimiglianza, GLM binomiale negativo o effetto casuale a livello di soggetto?
Mi sono imbattuto in tre proposte per affrontare l'overdispersione in una variabile di risposta di Poisson e un modello di partenza a effetti fissi: Usa un quasi modello; Usa GLM binomiale negativo; Utilizzare un modello misto con un effetto casuale a livello di soggetto. Ma quale scegliere effettivamente, e perché? …
2
Diverse definizioni AIC
Da Wikipedia esiste una definizione di Information Criterion (AIC) di Akaike come , dove è il numero di parametri e è la probabilità logaritmica del modello.AIC=2k−2logLAIC=2k−2log⁡L AIC = 2k -2 \log L log LkkklogLlog⁡L\log L Tuttavia, le nostre note di Econometria presso un'università molto rispettata affermano che . Qui è …
2
Aspettativa del massimo delle variabili Gumbel iid
Continuo a leggere su riviste economiche di un particolare risultato utilizzato in modelli di utilità casuali. Una versione del risultato è: if Gumbel ( , quindi:μ,1),∀iϵi∼iid,ϵi∼iid,\epsilon_i \sim_{iid}, μ,1),∀iμ,1),∀i\mu, 1), \forall i E[maxi(δi+ϵi)]=μ+γ+ln(∑iexp{δi}),E[maxi(δi+ϵi)]=μ+γ+ln⁡(∑iexp⁡{δi}),E[\max_i(\delta_i + \epsilon_i)] = \mu + \gamma + \ln\left(\sum_i \exp\left\{\delta_i \right\} \right), dove γ≈0.52277γ≈0.52277\gamma \approx 0.52277 è la costante …
2
Matrice di covarianza mal condizionata nella regressione GP per l'ottimizzazione bayesiana
Contesto e problema Sto usando i processi gaussiani (GP) per la regressione e la successiva ottimizzazione bayesiana (BO). Per regressione uso il pacchetto gpml per MATLAB con diverse modifiche personalizzate, ma il problema è generale. È risaputo che quando due input di training sono troppo vicini nello spazio di input, …
2
Il teorema di Slutsky è ancora valido quando due sequenze convergono entrambe in una variabile casuale non degenerata?
Sono confuso su alcuni dettagli sul teorema di Slutsky : Sia , due sequenze di elementi casuali scalari / vettoriali / a matrice.{Xn}{Xn}\{X_n\}{Yn}{Yn}\{Y_n\} Se converge nella distribuzione in un elemento casuale e converge in probabilità in una costante , quindi condizione che sia invertibile, dove indica la convergenza nella distribuzione.XnXnX_nXXXYnYnY_ncccXn+Yn …
3
Perché è importante fare una distinzione tra regressione "lineare" e "non lineare"?
Qual è l'importanza della distinzione tra modelli lineari e non lineari? La domanda Modello lineare non lineare o generalizzato: come ti riferisci alla regressione logistica, di Poisson, ecc.? e la sua risposta fu un chiarimento estremamente utile della linearità / non linearità dei modelli lineari generalizzati. Sembra estremamente importante distinguere …
1
Distribuzione di probabilità speciale
Se è una distribuzione di probabilità con valori diversi da zero su , per quale tipo di esiste una costante tale che per tutti ?p(x)p(x)p(x)[0,+∞)[0,+∞)[0,+\infty)p(x)p(x)p(x)c>0c>0c\gt 0∫∞0p(x)logp(x)(1+ϵ)p(x(1+ϵ))dx≤cϵ2∫0∞p(x)log⁡p(x)(1+ϵ)p(x(1+ϵ))dx≤cϵ2\int_0^{\infty}p(x)\log{\frac{ p(x)}{(1+\epsilon)p({x}(1+\epsilon))}}dx \leq c \epsilon^20<ϵ<10<ϵ<10\lt\epsilon\lt 1 La disuguaglianza sopra è in realtà una divergenza di Kullback-Leibler tra la distribuzione e una versione compressa di essa …
1
Valore atteso di
Sono curioso di sapere l'affermazione fatta in fondo alla prima pagina in questo testo riguardo alla regolazione diR2adjustedRadjusted2R^2_\mathrm{adjusted} R2adjusted=1−(1−R2)(n−1n−m−1).Radjusted2=1−(1−R2)(n−1n−m−1).R^2_\mathrm{adjusted} =1-(1-R^2)\left({\frac{n-1}{n-m-1}}\right). Il testo afferma: La logica della correzione è la seguente: nella regressione multipla ordinaria, un predittore casuale spiega in media una proporzione 1/(n–1)1/(n–1)1/(n – 1) della variazione della risposta, in …
2
Derivata di un processo gaussiano
Credo che la derivata di un processo gaussiano (GP) sia un altro GP, e quindi vorrei sapere se ci sono equazioni in forma chiusa per le equazioni di previsione della derivata di un GP? In particolare, sto usando il kernel di covarianza esponenziale quadrata (chiamato anche gaussiano) e voglio sapere …
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.