Statistiche e Big Data

3

Ho eseguito un CV 5 volte per selezionare il K ottimale per KNN. E sembra che più grande diventa K, più piccolo è l'errore ... Scusa se non avevo una leggenda, ma i diversi colori rappresentano prove diverse. Ce ne sono 5 in totale e sembra che ci sia una …

15 model-selection k-nearest-neighbour

2

Spiegazione per gradi di libertà non interi in t test con varianze disuguali

La procedura T-Test SPSS riporta 2 analisi quando si confrontano 2 medie indipendenti, un'analisi con varianze uguali assunta e una con varianze uguali non ipotizzata. I gradi di libertà (df) quando si assumono varianze uguali sono sempre valori interi (e uguale n-2). I df quando non si ipotizzano varianze uguali …

15 hypothesis-testing t-test heteroscedasticity degrees-of-freedom t-distribution

3

Come scegliere un numero ottimale di fattori latenti nella fattorizzazione a matrice non negativa?

Data una matrice Vm×nVm×n\mathbf V^{m \times n} , la fattorizzazione a matrice non negativa (NMF) trova due matrici non negative Wm×kWm×k\mathbf W^{m \times k} e Hk×nHk×n\mathbf H^{k \times n} (cioè con tutti gli elementi ≥0≥0\ge 0 ) per rappresentare la matrice decomposta come: V≈WH,V≈WH,\mathbf V \approx \mathbf W\mathbf H, WW\mathbf …

15 cross-validation unsupervised-learning latent-variable matrix-decomposition nnmf

4

Significato delle caratteristiche latenti?

Sto cercando di capire i modelli di fattorizzazione a matrice per i sistemi di raccomandazione e leggo sempre "caratteristiche latenti", ma cosa significa? So cosa significa una funzionalità per un set di dati di training, ma non sono in grado di comprendere l'idea di funzionalità latenti. Ogni articolo sull'argomento che …

15 machine-learning data-mining recommender-system

3

Calcola in pratica la divergenza di Kullback-Leibler?

Sto usando KL Divergence come misura di dissomiglianza tra 2 p.m.f.p.m.f.p.m.f. PPP e QQQ . =-∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))DKL(P||Q)=∑i=1Nln(PiQi)PiDKL(P||Q)=∑i=1Nln⁡(PiQi)PiD_{KL}(P||Q) = \sum_{i=1}^N \ln \left( \frac{P_i}{Q_i} \right) P_i =−∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))=−∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))=-\sum P(X_i)ln\left(Q(X_i)\right) + \sum P(X_i)ln\left(P(X_i)\right) Se allora possiamo facilmente calcolare che P ( X i ) l n ( Q ( X i ) ) = 0 …

15 distributions distance kullback-leibler

1

Come calcolare la purezza?

Nell'analisi dei cluster come calcoliamo la purezza? Qual è l'equazione? Non sto cercando un codice per farlo per me. Sia cluster k e c j la classe j.ωkωk\omega_kcjcjc_j Quindi la purezza è praticamente accuratezza? sembra che stessero sommando la quantità di classe veramente classificata per cluster sulla dimensione del campione. …

15 clustering

4

Come mantenere le variabili invarianti di tempo in un modello a effetti fissi

Ho dati sui dipendenti di una grande azienda italiana da oltre dieci anni e vorrei vedere come il divario di genere nei guadagni uomo-donna è cambiato nel tempo. A questo scopo corro OLS pooled: yI t= X'I tβ+ δm a l eio+ ∑t = 110γtdt+ εiotyiot=Xiot'β+δmun'leio+Σt=110γtdt+εiot y_{it} = X'_{it}\beta + …

15 hypothesis-testing estimation econometrics fixed-effects-model

2

Mischiare dati continui e binari con SVM lineare?

Quindi ho giocato con gli SVM e mi chiedo se questa è una buona cosa da fare: Ho un set di funzionalità continue (da 0 a 1) e un set di funzionalità categoriche che ho convertito in variabili fittizie. In questo caso particolare, codifico la data della misurazione in una …

15 categorical-data svm feature-selection linear-model feature-construction

1

Serie storiche biologiche multivariate: VAR e stagionalità

Ho un set di dati di serie temporali multivariate che include variabili biologiche e ambientali interagenti (più eventualmente alcune variabili esogene). Oltre alla stagionalità, non vi è una chiara tendenza a lungo termine nei dati. Il mio scopo è vedere quali variabili sono correlate tra loro. Le previsioni non sono …

15 r time-series var seasonality

1

Qualitivamente cos'è l'entropia incrociata

Questa domanda fornisce una definizione quantitativa dell'entropia crociata, in termini di formula. Sto cercando una definizione più nozionale, Wikipedia dice: Nella teoria dell'informazione, l'entropia incrociata tra due distribuzioni di probabilità misura il numero medio di bit necessari per identificare un evento da un insieme di possibilità, se uno schema di …

15 entropy information-theory

1

Perché non riesco ad abbinare l'output glmer (family = binomial) con l'implementazione manuale dell'algoritmo Gauss-Newton?

Vorrei abbinare le uscite di lmer (davvero glmer) con un esempio binomiale di giocattoli. Ho letto le vignette e credo di capire cosa sta succedendo. Ma a quanto pare non lo faccio. Dopo essermi bloccato, ho corretto la "verità" in termini di effetti casuali e ho seguito solo la stima …

15 r mixed-model optimization lme4-nlme

1

Teorema della distribuzione di Cauchy e del limite centrale

Per mantenere il CLT abbiamo bisogno della distribuzione che desideriamo approssimare per avere media e varianza finita . Sarebbe vero dire che per il caso della distribuzione di Cauchy, la cui media e varianza sono indefinite, il Teorema del limite centrale non fornisce una buona approssimazione anche asintoticamente?μμ\muσ2σ2\sigma^2

15 probability central-limit-theorem asymptotics cauchy

1

Il modo migliore per presentare visivamente le relazioni da un modello lineare multiplo

Ho un modello lineare con circa 6 predittori e presenterò le stime, i valori F, i valori p, ecc. Tuttavia, mi chiedevo quale sarebbe stato il miglior diagramma visivo per rappresentare l'effetto individuale di un singolo predittore su la variabile di risposta? Dispersione? Trama condizionale? Trama degli effetti? eccetera? Come …

15 r regression data-visualization multiple-regression partial-plot

1

Assia di funzione logistica

Ho difficoltà a derivare l'Assia della funzione oggettiva, l(θ)l(θ)l(\theta) , nella regressione logistica dove l(θ)l(θ)l(\theta) è: l(θ)=∑i=1m[yilog(hθ(xi))+(1−yi)log(1−hθ(xi))]l(θ)=∑i=1m[yilog⁡(hθ(xi))+(1−yi)log⁡(1−hθ(xi))] l(\theta)=\sum_{i=1}^{m} \left[y_{i} \log(h_\theta(x_{i})) + (1- y_{i}) \log (1 - h_\theta(x_{i}))\right] hθ(x)hθ(x)h_\theta(x) è una funzione logistica. Dell'Hessiana èXTDXXTDXX^T D X . Ho provato a ricavarlo calcolando∂2l(θ)∂θi∂θj∂2l(θ)∂θi∂θj\frac{\partial^2 l(\theta)}{\partial \theta_i \partial \theta_j} , ma poi non …

15 logistic

2

Confuso con le variazioni MCMC Metropolis-Hastings: Passeggiata casuale, Passeggiata non casuale, Indipendente, Metropoli

Nel corso delle ultime settimane ho cercato di capire l'algoritmo (i) MCMC e Metropolis-Hastings. Ogni volta che penso di capirlo mi rendo conto di sbagliarmi. La maggior parte degli esempi di codice che trovo online implementano qualcosa che non è coerente con la descrizione. vale a dire: dicono di implementare …

15 mcmc metropolis-hastings